Un chatbot que no alucine es simplemente imposible

Las alucinaciones de los chatbots pueden ser mitigadas, pero no se resolverán con el enfoque actual de los grandes modelos de lenguaje (LLM). Esto requiere un cambio fundamental en la concepción de la versión actual de ChatGPT. Esta es una de las conclusiones alcanzadas por investigadores de OpenAI.

En los últimos años, el término \»alucinación\» en el contexto de la inteligencia artificial ha ganado notoriedad. Hace dos años, se observó que varios libros generados por IA figuraban entre los más vendidos en Amazon. Uno de ellos contenía nombres ficticios de autores y ofrecía información incorrecta sobre cómo diferenciar entre setas tóxicas y comestibles. Este caso, reportado por 404 Media, ilustra cómo la percepción de recibir información precisa, cuando en realidad es solo plausible, puede resultar en consecuencias graves.

Investigaciones han demostrado que la aparición de alucinaciones, que son errores fácticos en las secuencias de palabras generadas estadísticamente por los LLM, es una inevitabilidad. Se trata de una limitación estructural que no se puede superar simplemente aumentando la cantidad de datos o la capacidad de cómputo. Hasta hace poco, las empresas que desarrollan estos productos minimizaban el problema, pero ahora incluso OpenAI reconoce que para abordarlo es necesario modificar la forma en que opera su modelo.

¿De dónde provienen las alucinaciones?

Los investigadores de OpenAI afirman que las alucinaciones \»surgen como errores en la clasificación binaria\». Cuando el modelo no puede responder a ciertas preguntas, ya sea porque la información no está disponible o por la manera en que fue entrenado, tiende a adivinar. Un ejemplo mencionado es el de respuestas generadas sobre la tesis doctoral de uno de los investigadores, donde el chatbot proporcionaba títulos incorrectos.

Los investigadores, en un intento de antropomorfizar el comportamiento del modelo, lo comparan con un estudiante que inventa respuestas en un examen complicado. Sin embargo, atribuir características humanas a los sistemas informáticos puede ser un enfoque arriesgado, ya que puede distorsionar nuestra comprensión de los procesos que rigen su funcionamiento. No obstante, esta analogía ayuda a ilustrar el problema, dado que los criterios de evaluación de estas tecnologías incluyen pruebas que entrenan a las máquinas para maximizar su puntuación. Estas limitaciones no son exclusivas de ChatGPT, sino que también afectan a otros modelos populares, de los cuales se analizaron diez.

Propuestas de OpenAI para abordar el problema

Para abordar esta problemática, los investigadores sugieren un enfoque alternativo: penalizar más las respuestas incorrectas que se dan con confianza en comparación con las respuestas en las que el modelo admite no saber. Esto implicaría una revisión de los modelos actuales de evaluación del rendimiento. Actualmente, los LLM son entrenados para predecir la siguiente palabra en una secuencia o en una frase en lenguaje natural.

Los investigadores son claros en que ningún modelo podrá alcanzar jamás el 100% de fiabilidad, ya que algunas preguntas, especialmente las que se relacionan con el mundo real, no tienen respuestas seguras o calculables, incluso con todos los datos disponibles. Si la respuesta a una pregunta no es calculable y los diferentes LLM dejan de intentar \»adivinarla\» basándose en estadísticas, surge la interrogante sobre cómo afectará esto la experiencia del usuario.

Como señala un académico de la Universidad de Sheffield, la solución propuesta por OpenAI podría implicar el fin de ChatGPT tal como lo conocemos. La posibilidad de recibir respuestas ambiguas o admisiones de ignorancia de un chatbot que se consulta precisamente para obtener respuestas claras podría ser frustrante. Sin embargo, existen métodos establecidos desde hace décadas para cuantificar la incertidumbre, que podrían ser utilizados para ofrecer estimaciones fiables y guiar a una IA hacia decisiones más informadas.