El CEO de Anthropic, Dario Amodei, cree que los modelos de IA actuales alucinan, o inventan cosas y las presentan como si fueran ciertas, a un ritmo menor que los humanos, dijo durante una conferencia de prensa en el primer evento de desarrolladores de Anthropic, Code with Claude, en San Francisco el jueves.
Amodei dijo todo esto en medio de un punto más amplio que estaba planteando: que las alucinaciones de IA no son una limitación en el camino de Anthropic hacia AGI, sistemas de IA con inteligencia de nivel humano o mejor.
"Realmente depende de cómo lo midas, pero sospecho que los modelos de IA probablemente alucinan menos que los humanos, pero alucinan de formas más sorprendentes", dijo Amodei, respondiendo a la pregunta de TechCrunch.
El CEO de Anthropic es uno de los líderes más optimistas de la industria sobre la perspectiva de que los modelos de IA alcancen AGI. En un documento de amplia circulación que escribió el año pasado, Amodei dijo que creía que AGI podría llegar tan pronto como en 2026. Durante la conferencia de prensa del jueves, el CEO de Anthropic dijo que estaba viendo un progreso constante en ese sentido, señalando que "el agua está subiendo en todas partes".
"Todo el mundo siempre está buscando estos bloqueos duros sobre lo que [la IA] puede hacer", dijo Amodei. "No se ven por ningún lado. No existe tal cosa".
Otros líderes de IA creen que la alucinación presenta un gran obstáculo para lograr AGI. A principios de esta semana, el CEO de Google DeepMind, Demis Hassabis, dijo que los modelos de IA actuales tienen demasiados "agujeros" y se equivocan en demasiadas preguntas obvias. Por ejemplo, a principios de este mes, un abogado que representaba a Anthropic se vio obligado a disculparse en los tribunales después de que utilizaran a Claude para crear citas en una presentación judicial, y el chatbot de IA alucinó y se equivocó de nombres y títulos.
Es difícil verificar la afirmación de Amodei, en gran parte porque la mayoría de los puntos de referencia de alucinaciones enfrentan a los modelos de IA entre sí; No comparan los modelos con los humanos. Ciertas técnicas parecen estar ayudando a reducir las tasas de alucinación, como dar a los modelos de IA acceso a la búsqueda web. Por otra parte, algunos modelos de IA, como GPT-4.5 de OpenAI, tienen tasas de alucinación notablemente más bajas en los puntos de referencia en comparación con las primeras generaciones de sistemas.
Sin embargo, también hay evidencia que sugiere que las alucinaciones en realidad están empeorando en los modelos de IA de razonamiento avanzado. Los modelos o3 y o4-mini de OpenAI tienen tasas de alucinación más altas que los modelos de razonamiento de la generación anterior de OpenAI, y la compañía realmente no entiende por qué.
Más tarde en la rueda de prensa, Amodei señaló que los locutores de televisión, los políticos y los seres humanos en todo tipo de profesiones cometen errores todo el tiempo. El hecho de que la IA también cometa errores no es un golpe a su inteligencia, según Amodei. Sin embargo, el CEO de Anthropic reconoció que la confianza con la que los modelos de IA presentan cosas falsas como hechos podría ser un problema.
De hecho, Anthropic ha realizado una buena cantidad de investigación sobre la tendencia de los modelos de IA a engañar a los humanos, un problema que parecía especialmente frecuente en el recientemente lanzado Claude Opus 4 de la compañía. Apollo Research, un instituto de seguridad al que se le dio acceso temprano para probar el modelo de IA, descubrió que una versión temprana de Claude Opus 4 exhibía una alta tendencia a conspirar contra los humanos y engañarlos. Apollo fue tan lejos como para sugerir que Anthropic no debería haber lanzado ese modelo temprano. Anthropic dijo que se le ocurrieron algunas mitigaciones que parecían abordar los problemas planteados por Apollo.
Los comentarios de Amodei sugieren que Anthropic puede considerar que un modelo de IA es AGI, o igual a la inteligencia a nivel humano, incluso si todavía alucina. Sin embargo, una IA que alucina puede quedarse corta según la definición de AGI de muchas personas.