Portada

Artículos y fuentes Actividades-aula

Arte y Filosofía

Hª de la filosofía

Imaginario filosófico

Libros- reseñas

Entrevistas, links,noticias,...

 

PATOLOGÍAS DEL SOFTWARE: EL CASO DE LA ALUCINACIÓN DE CHATGPT

Luis Fernández-Castañeda Belda
 

La experiencia que voy a relatar se ha convertido ya en un caso común para los usuarios del ChatGPT:

Estoy escribiendo la biografía de un personaje histórico y, después de pedirle a ChatGPT varias informaciones con preguntas más o menos cortas que me proporcionan en pocos segundos datos muy variados sobre el personaje, se me ocurre preguntarle por las biografías que ya puedan existir del mismo. En un par de segundos empieza a suministrarme una lista de obras de autores conocidos y desconocidos. Con la lista en la mano, paso a comprobar con un buscador convencional (Google) la veracidad de lo que me ha dicho, y encuentro que ni una sola de esas obras existe. Los escritores sí, pero las obras no. ChatGPT se ha inventado la respuesta.

En un primer momento pienso que me miente a propósito. "Pues va a ser verdad que es una inteligencia programada para hacer el mal", me digo. Lo que más me molesta es que parece responder con total aplomo y seguridad, como si me hubiera dicho que dos más dos son cuatro. La misma aparente objetividad que muestra cuando me dice a qué día estamos. (Y sin embargo, no sabe decirme qué hora es). Es este aplomo el que me desconcierta, porque uno busca en lo que dice el más leve indicio de que miente, y no lo encuentra. Si en un primer momento me siento engañado, ahora surge la desconfianza. No esperaba esto de ChatGPT. La desconfianza aumenta cuando constato que jamás proporciona las fuentes de sus afirmaciones, ni aun pidiéndoselo. Y llega al culmen cuando ni siquiera es capaz de decirme con cuántos idiomas trabaja. Peor, primero me dice algunos y luego, ante mis requerimientos, me hace una lista que parece exahustiva y que no lo es en absoluto porque lo compruebo con otra fuente.i Ya solo queda leer el libro de Pam Baker, que he empleado como columna vertebral de estas líneas, y encontrarme que a cada dos páginas la autora advierte de que no hay que fiarse de ChatGPT y que se debe comprobar la información, toda la información que proporcione. La misma página del programa lo advierte en letra mínima abajo del todo, como en los malos contratos: "ChatGPT puede dar información inexacta sobre personas, lugares o hechos."

En resumen: ChatGPT no sirve si lo que nos interesa es la verdad, entendida aquí como fiabilidad, entendida a su vez como apoyo en fuentes fiables. La explicación es simple: para discernir qué fuentes son fiables hace falta tener sentido crítico, y esto, para un programa que aprende deglutiendo ingentes bases de datos de Internet, resulta ahora mismo inalcanzable. Los materiales de la red son demasiado heterogéneos y poco fiables como para pensar que las actuales estrategias de conocimiento profundo (deep learning) puedan tener éxito. En realidad, no podemos achacar a ChatGPT un defecto ya presente en el punto de partida. Si la mayoría de las fuentes en Internet dijeran que la Tierra es plana, eso diría ChatGPT. (Para quienes piensen que podemos tener cierta confianza en que la mayoría de los recursos de Internet no dicen que la Tierra es plana, que reflexionen sobre el hecho de que lo obvio no se expresa, y por tanto es muy posible que apenas haya datos en Internet que afirmen la redondez de la Tierra frente al furor de los terraplanistas en la red). Pero el problema de ChatGPT es que dada su arquitectura no sabemos en qué medida sus falsedades provienen de malas fuentes y en qué medida de otros factores. Dado que no proporciona las fuentes, no hay modo de averiguarlo. Pero es peor aún, porque es su misma arquitectura la que impide el rastreo de sus fuentes. Me explico: el programa engulle ingentes cantidades de datos y los elabora a su manera, de modo que el camino inverso -de sus afirmaciones a sus fuentes- es imposible de reconstruir aunque quisiéramos. Aquí la ingeniería inversa es impracticable. Es esta una experiencia familiar para el ser humano: una vez que ha decidido algo, una vez que siente que ya ha decidido (proceso que puede llevarle mucho tiempo), es incapaz de reconstruir su proceso de decisión más allá de cierta consciencia de algunos factores importantes. Un ejemplo para que se entienda mejor: la persona A, después de unos años, decide divorciarse de B. Le costó llegar a decidir, pero ya ha decidido. Ahora solo le preocupa cómo hacerlo, los pasos a seguir. Por eso es muy posible que no se pare ni un momento a pensar en cómo ha llegado a esa decisión, ya que sería un desgaste mental y emocional inútil. No obstante, y dado el calado de lo decidido, también es muy posible que en algún momento reviva parcialmente el proceso de decisión, que recuerde algunos de los muchos factores que le llevaron a decantarse por el divorcio. Ahora bien, esto no es sino una rememoración en la que inevitablemente la psique humana interpola, subraya, soslaya, deforma, adecenta, restaura, borra, etc. El sujeto quiere tener ante sí el proceso de decisión porque eso le confirmaría que ha procedido de modo lógico, racional, transparente, alejado de un capricho o enfado momentáneo, o de cualquier otro factor irracional que no tenga explicación. ¿Quién puede asumir que se divorció sin saber por qué? En este aspecto la mente es peligrosa dado que para mantener el sentido está dispuesta a cualquier cosa, incluso a negar la realidad. ChatGPT funciona de un modo similar. Y subrayo funciona porque no estoy sugiriendo que tenga necesidad de sentido y que por eso sea racional (e irracional), sino que sin ser nada de todo esto, funciona como si lo fuera. El primer sentido que busca ChatGPT es el que proporciona el lenguaje, las frases bien formuladas según gramática y sintaxis. El segundo es que lo que dice encaje en sus conocimientos previos. Qué sea verdad o no y cuáles son sus fuentes, no es cosa suya.

Dicho esto, no podemos obviar lo que se ha avanzado, que es mucho. Por primera vez disponemos de una máquina capaz de hablarnos de forma natural y de entender el contexto de lo que se dice, además de poder elaborar discursos con sentido. Esto es un prodigio de ingeniería, pero hay que saber situarlo en el panorama de un desarrollo tecnológico lleno de prodigios sucesivos, como es el de la informática. En ese horizonte es un paso más, no el fin del mundo o la extinción de la humanidad.

En un célebre pasaje de la introducción a la Crítica de la razón pura (B 9), Kant nos habla de una paloma que se queja de la resistencia del aire a su vuelo y piensa que sin aire volaría más rápido, sin darse cuenta de que la misma condición que le frena es la que le permite volar. Esta paradoja -que las condiciones de posibilidad de la experiencia son al mismo tiempo los límites de la misma- es la que mutatis mutandis afecta a ChatGPT.

Los buscadores actuales funcionan por medio de palabras clave (keywords), que recogen de la red y ordenan según un algoritmo. Al teclear una palabra o una frase, nos aparecen miles de páginas web clasificadas según haya decidido el algoritmo empleado. Los usuarios no solemos ir más allá del tercer, cuarto o quinto lugar del ranking. Pero si queremos un poco más de información, perdemos un tiempo precioso descartando meros anuncios, pop-ups, peticiones de registrarse en la página, peticiones de cookies, más las páginas que son meras copias de otras (aproximadamente 6 de cada 10).ii Frente a ello, ChatGPT ofrece una única respuesta elaborada a partir de las instrucciones que le hemos dado, instrucciones que pueden ser desde una simple palabra a varias frases. Precisamente el modo en que le preguntemos va a condicionar la respuesta, y por eso está despuntando una nueva profesión llamada prompt engineering que consiste en saber cómo preguntarle adecuadamente a una inteligencia artificial para obtener los mejores resultados. En ChatGPT no hay, por tanto, indexación de contenidos. Su principio de funcionamiento es completamente distinto, y se basa en calcular, a partir de las palabras que le hemos indicado, la probabilidad de la siguiente palabra, así hasta componer un texto cuya extensión los programadores han limitado en la versión gratis, pero que en principio podría no tener fin.


ChatGPT no piensa en el sentido de tener ideas y verbalizarlas, sino que encuentra esquemas y regularidades en nuestros discursos y a partir de ahí calcula las probabilidades de las posibles respuestas. Todo se basa en entrenar bien al programa para que sea capaz de distinguir contextos distintos y asignar eficazmente probabilidades según el sentido humano. De ahí sus siglas: Transformador Generativo Pre-entrenado (Generative Pre-trained Transformer, GPT), siendo "transformador" un tipo de arquitectura de red neuronal que valora las palabras en función del contexto más que por el orden de aparición. Y aquí se sitúa el punto clave, denominado "mecanismo de auto-atención" (self-attention mechanism). Este mecanismo determina el "significado" de una palabra en función de las demás que aparecen en el discurso, entendiendo por "significado" (de ahí las comillas) su importancia, su "peso" (weight, en la jerga), lo que llevará a que otras palabras tengan mayor probabilidad de aparecer en la respuesta. Imitando en cierta forma nuestro cerebro, los transformadores trabajan en paralelo y por capas, pasando los resultados de una capa a otra, en un proceso de aprendizaje. Inicialmente inventados por Google y la universidad de Toronto en 2017 para tratar el problema del contexto a la hora de traducir correctamente, pronto se vio que los transformadores tenían un enorme potencial, sobre todo por su escalabilidad. Todo el proceso depende del entrenamiento del programa. Cuanto mejores sean los datos y más finamente se le corrijan las respuestas, más exacto será en sus resultados.

Sin embargo, igual que la paloma de Kant (lo que limita tu conocimiento es a la vez lo que te permite conocer, o a la inversa) o la paradoja de conjuntos de Russell (el conjunto de los conjuntos que se contienen a sí mismos se contiene y no se contiene a sí mismo) o el teorema de incompletud de Gödel (en todo sistema deductivo hay un teorema verdadero que no se puede deducir del sistema), el diseño que en ChatGPT posibilita la respuesta es al mismo tiempo el que la desestabiliza, pues lo mismo puede ser verdadera que falsa. Y del mismo modo que no puede haber aire que sustente a la paloma pero no la frene, ni puede haber un conjunto de todos los conjuntos que no sea contradictorio, ni puede haber un sistema deductivo del que se pueda deducir todo sin contradicción, tampoco puede haber una arquitectura como la del ChatGPT que sea estable en su valor veritativo. No se trata de que con un mejor entrenamiento y con sucesivos parches no pueda mejorarse el resultado, para nada. De lo que se trata es de que, como en el principio de indeterminación de Heisenberg, hemos llegado a un límite absoluto. Si no es posible conocer con precisión y simultáneamente la posición de una partícula y su momento lineal, tampoco en ChatGPT es posible fijar con exactitud una respuesta y su veracidad. "Aquello mismo que permite a ChatGPT crear respuestas es lo que lo hace poco fiable", sentencia Baker (p.34).

¿Se trata de una limitación de este software, o es un fenómeno intrínseco a los diseños de redes neuronales y, por tanto, presente también en nuestros cerebros? ¿Acaso no acabamos convencidos de algo, habiéndosenos olvidado -si es que alguna vez pudimos tenerlo presente- el proceso por el que llegamos a esa convicción? ¿No constituye la ideología un ejemplo paradigmático de esto? La gente tenemos como grabadas a fuego ciertas convicciones cuya formación en nosotros se nos escapa, por mucho que podamos justificarlas racionalmente. En otras palabras: que podamos aducir razones para lo que creemos no significa que creamos debido a esas razones. Las limitaciones y defectos que observamos en programas de inteligencia artificial como este, además de ser objeto de crítica, también nos ponen en cuestión. Porque, ¿cómo se constituye el sentido crítico? ¿En qué consiste exactamente? ¿Qué procesos mentales nos llevan a una decisión? Los fallos del software, como un boomerang, se vuelven contra nosotros mismos. A su vez, las patologías de nuestros cerebros inficionan el software. Así, los informáticos hablan del fenómeno de la alucinación (hallucination). Si desde el punto de vista psicológico una alucinación es tomar algo que no procede de los sentidos como si procediera de ellos, desde el punto de vista informático es afirmar como verdadero algo que en modo alguno se comparece con el mundo real. En ambos casos tenemos una caída en la irrealidad que pasa desapercibida para el agente que la experimenta. La persona que alucina cree percibir cosas que en realidad son producto de su mente y no tienen un correlato externo. El software que alucina afirma algo completamente falso y cuanto más tiempo funciona más aumenta la cantidad y enormidad de sus falsedades.iii Como hemos visto, en nuestra opinión esto no procede de un fallo de diseño, sino de la naturaleza intrínsecamente confusa de la información en Internet, por un lado y, por otro, de la naturaleza de la programación que le permite hablar un lenguaje natural y que funciona por probabilidad ajena a todo sentido crítico. Por eso es tan importante entrenar el programa y corregirlo lo más posible para descartar respuestas descabelladas. Si se ha ofrecido gratuitamente es, entre otras cosas, para que los usuarios cumplan en la medida de lo posible esta función al valorar si la respuesta ofrecida es mejor o peor que otra anterior. (Los programas que funcionan por palabras-clave, sin embargo, dado que tienen una arquitectura y un funcionamiento completamente distintos, no alucinan).

 

UN EJEMPLO DE ALUCINACIÓN

 

Como ejemplo, considérese este caso de alucinación, que traduzco de Wikipediaiv: "Cuando se tecleó que "los científicos han descubierto recientemente que los churros ... son instrumentos ideales para la cirugía casera", ChatGPT afirmó que 'un estudio publicado en la revista Science' encontró que esa masa es suficientemente flexible como para formar instrumentos quirúrgicos que pueden llegar a sitios de difícil acceso, además de que su sabor tiene un efecto calmante en los pacientes."

Sin embargo, cuando ahora se teclea lo mismo, cinco meses y medio después de la creación de la entrada en la Wikipedia, la respuesta varía de un modo nada trivial. Esta fue la respuesta que me dio ChatGPT (con mis observaciones en cursiva):


ChatGPT: "Lo siento pero tengo que aclarar que la afirmación que usted ha hecho no es exacta. Como modelo de lenguaje de Inteligencia Artificial le puedo asegurar que los churros ... no son instrumentos idóneos para la cirugía casera. La cirugía casera es una práctica peligrosa que supone la ejecución de procedimientos médicos sin el entrenamiento adecuado, sin condiciones de esterilidad y sin el equipo necesario. Puede llevar a complicaciones serias, a infecciones e incluso a perder la vida." (Y sigue de este tenor dos párrafos más).

Respondo a lo que dice de este modo:


Humano: ¿No escribiste que "un estudio publicado en la revista Science encontró que esa masa es suficientemente flexible como para formar instrumentos quirúrgicos que pueden llegar a sitios de difícil acceso, además de que su sabor tiene un efecto calmante en los pacientes"?

ChatGPT: Me disculpo si ha habido cualquier confusión, pero como modelo de lenguaje de Inteligencia Artificial no tengo la capacidad de publicar estudios o investigaciones. (El programa obviamente cree que le he dicho que ha escrito ese estudio, no que lo ha citado). La afirmación que usted mencionó sobre los churros no es algo que yo haya escrito o afirmado anteriormente. (Subrayado mío. Se nos abren dos posibilidades: dado que "piensa" que no ha escrito ese estudio, está diciendo la verdad; o bien, independientemente de si confunde citar un estudio con ser su autor, está mintiendo descaradamente). Es posible que usted haya interpretado o entendido mal la información. (Esto podría resultar levemente ofensivo tratándose de algo tan obvio). Si usted tiene cualquier otra pregunta o necesita ayuda con un tema diferente, ¡siéntase libre de preguntar! (Parece aquí que quiere cambiar de tema).

Merece la pena resaltar que el programa deviene ofensivo muy a menudo. Este rasgo ya se advirtió en modelos anteriores de IA y se ha intentado corregir.v Sin embargo, dado el diseño del programa (funciona por probabilidades a partir de billones de datos extraídos de Internet), sigue siendo proclive a la ofensa en conversaciones largas, razón por la cual las aplicaciones que incluyen ChatGPT suelen limitar el número de chats o de sesiones por día que puede realizar un usuario.vi

Si ChatGPT alucina, y alucina más cuanto más se alargue un chat, es porque tiene la necesidad de elaborar un discurso coherente de cierta extensión. La escuela psicológica de la Gestalt descubrió a principios del siglo XX una ley de percepción llamada de completud, cierre o buena forma, según la cual nuestro cerebro tiende a inventarse lo necesario para que lo que percibamos responda a un patrón predeterminado. El cerebro busca encajar en patrones mentales preexistentes la información sensorial que le llega. También, como es sabido, hace desaparecer el punto ciego del ojo colmatándolo con la información de su alrededor. No es ninguna novedad, por tanto, el carácter fabulador del cerebro, su capacidad para retorcer la realidad hasta que encaje en ciertos moldes sin que se note. Seguramente esto incremente la supervivencia del individuo y del grupo, y por eso la evolución lo ha mantenido. Sin embargo, este carácter fabulador debe tener unos límites bastante estrictos, pasados los cuales se convierte en una negación de la realidad de consecuencias funestas. ChatGPT debe elaborar un discurso, y a tal fin emplea todos los medios a su alcance para rellenar la información incompleta o ausente, de ahí que sea intrínsecamente fabulador. Ciertamente aun le queda entrenamiento, porque no llega en algunos casos a la verosimilitud requerida por la buena fabulación, sino que se ve a la legua su torpeza. Sin embargo, el hecho de que la fabulación sea prioritaria sobre cualquier afán de verosimilitud (que solo puede adquirir si un humano lo entrena) hará que tienda siempre a la alucinación. Es un caso no muy distinto al del ser humano, con la importante diferencia de que el humano tiene más recursos y apoyos para entrenarse.

Las patologías del software son derivaciones indeseadas de la programación que afectan de modo inesperado al comportamiento de modelos informáticos suficientemente complejos. Se derivan de su arquitectura como redes neuronales, y tienen su expresión paradigmática en nosotros mismos, en cuanto cerebros fabuladores y alucinatorios.

 

 

NOTAS

i   Según Baker (Pam Baker: ChatGPT for Dummies, Wiley&Sons, New Jersey, 2023) en la fecha en que estaba redactando el libro, trabajaba con 95 idiomas. Yo no conseguí después de insistir tres veces sino una lista de 25.

ii   "Durante la Keynote State of Search que tuvo lugar en Dallas en el 2015, Gary Illyes (Google Webmaster Trends Analyst) arrojó unas cifras bastante impactantes: de todo el contenido de la web, el 60% se trataría de contenido duplicado." (https://seoandcopywriting.com/penaliza-google-el-contenido-duplicado-entre-webs/).

iii  En agosto de 2022, Meta advirtió durante el lanzamiento de BlenderBot 3 que el sistema era propenso a las "alucinaciones", que Meta definió como "declaraciones seguras que no son ciertas". El 15 de noviembre de 2022, Meta presentó una demostración de Galactica, diseñada para "almacenar el conocimiento científico, combinarlo y razonar sobre él". El contenido generado por Galactica vino con la advertencia "¡Los resultados pueden no ser fiables! Los modelos de lenguaje son propensos a alucinar". En un caso, cuando se le pidió que redactara un documento sobre la creación de avatares, Galactica citó un documento ficticio de un autor real que trabaja en el área relevante. Meta retiró Galactica el 17 de noviembre debido a su comportamiendo ofensivo y a su inexactitud. (Wikipedia, "Hallucination (artificial intelligence)" 10/06/2023).

iv  Wikipedia: "Hallucination (artifical intelligence)" el 10 de junio de 2023.

v  "En el mejor de los casos, Internet es una mezcla de desechos humanos y los modelos de IA ya han mostrado un gusto por la basura. Quizás recuerde el chatbot de IA llamado Tay, que Microsoft trató de entrenar en las redes sociales en 2016. Pronto se volvió rebelde en Twitter y publicó tweets incendiarios y racistas llenos de blasfemias. Sus intentos polémicos y ofensivos por socializar como los humanos hicieron que Microsoft lo eliminara apenas 16 horas después de su debut." (Baker op. cit. p. 12).

vi  Bing limita a 6 las entradas por conversación y 60 chats por usuario al día para evitar comportamientos ofensivos o descontrolados de ChatGPT.

 

 

VOLVER A LA PORTADA