Vidhay Reddy, un estudiante de Estados Unidos, estaba utilizando la Inteligencia Artificial de Google, llamada Gemini, para averiguar sobre los desafíos que enfrentan los adultos mayores hoy en día. La respuesta de la herramienta basada en IA incluyó un mensaje que insultaba al estudiante y cuestionaba su valor para la sociedad.
El chatbot de Google le dijo a Reddy “por favor, muere, por favor”. Este hecho generó una gran controversia. Ante esto, un portavoz de Google dijo que estos modelos de lenguaje pueden dar respuestas sin sentido y estableció que el mensaje de Gemini a Reddy violó las políticas de la compañía. La empresa asegura que tomó medidas para minimizar el riesgo de que se repita una situación como esta.
No se sabe bien la causa de este incidente pero se cree que Gemini sufrió una alucinación. En el campo de la IA se denomina alucinación a la generación de respuestas coherentes pero incorrectas o carentes de fundamento por parte del modelo de lenguaje. Son errores que se pueden producir por problemas en los datos de entrenamiento, algoritmos con fallas, falta de contexto, o la incapacidad del modelo para comprender y reflejar el mundo real.
