Este año, Google I/O 2025 tuvo un enfoque: inteligencia artificial.
Ya hemos cubierto todas las noticias más importantes que saldrán de la conferencia anual de desarrolladores: una nueva herramienta de generación de videos de IA llamada Flow. Un plan de suscripción Ultra de $ 250 AI. Toneladas de nuevos cambios en Géminis. Una función de prueba de compras virtuales. Y críticamente, el lanzamiento del modo AI de herramienta de búsqueda para todos los usuarios en los Estados Unidos.
Sin embargo, durante casi dos horas de líderes de Google que hablaban de IA, una palabra que no escuchamos fue “alucinación”.
Las alucinaciones siguen siendo una de las más obstinadas y Con respecto a los problemas con los modelos de IA. El término se refiere a hechos e inexactitudes inventadas que los modelos de gran lenguaje “alucinan” en sus respuestas. Y según las propias métricas de las marcas de la IA, las alucinaciones están empeorando, con algunos modelos que alucinan más del 40 por ciento del tiempo.
Pero si estuvieras viendo Google I/O 2025, no sabrías que este problema existía. Uno pensaría que modelos como Géminis nunca alucinan; Ciertamente se sorprendería al ver la advertencia adjunta a cada descripción general de Google AI. (“Las respuestas de IA pueden incluir errores”.)
Velocidad de luz mashable
Lo más cercano Google llegó a reconocer que el problema de la alucinación se produjo durante un segmento de la presentación en el modo AI y las profundas capacidades de búsqueda de Gemini. El modelo verificaría su propio trabajo antes de entregar una respuesta, nos dijeron, pero sin más detalles sobre este proceso, suena más como el ciego liderando a los ciegos que a la verdadera verificación de hechos.
Para los escépticos de IA, el grado de confianza que Silicon Valley tiene en estas herramientas parece divorciado de los resultados reales. Los usuarios reales se dan cuenta cuando las herramientas de IA fallan en tareas simples como contar, marcar ortográficas o responder preguntas como “¿Se congelará el agua a 27 grados Fahrenheit?“
Google estaba ansioso por recordar a los espectadores que su nuevo modelo de IA, Gemini 2.5 Pro, se encuentra en la cima de muchas tablas de clasificación de IA. Pero cuando se trata de la veracidad y la capacidad de responder preguntas simples, los chatbots de IA se califican en una curva.
Gemini 2.5 Pro es el modelo de IA más inteligente de Google (según Google), pero puntúa solo un 52.9 por ciento En la funcionalidad de prueba de evaluación comparativa SimpleQA. Según un Documento de investigación de Operaila prueba SimpleQA es “un punto de referencia que evalúa La capacidad de los modelos de idiomas para responder preguntas cortas y de búsqueda de hechos.“(Énfasis nuestro).
Un representante de Google se negó a discutir el punto de referencia SimpleQA o las alucinaciones en general, pero nos señaló al funcionario de Google Explicador en el modo AI y descripciones de IA. Esto es lo que tiene que decir:
[AI Mode] Utiliza un modelo de lenguaje grande para ayudar a responder consultas y es posible que, en casos raros, a veces pueda presentar información con confianza que sea inexacta, que comúnmente se conoce como ‘alucinación’. Al igual que con las descripción general de la IA, en algunos casos este experimento puede malinterpretar el contenido web o fallar el contexto, como puede suceder con cualquier sistema automatizado en la búsqueda …
También estamos utilizando enfoques novedosos con las capacidades de razonamiento del modelo para mejorar la facturidad. Por ejemplo, en colaboración con los equipos de investigación de Google Deepmind, utilizamos el aprendizaje de refuerzo de agente (RL) en nuestra capacitación personalizada para recompensar el modelo para generar declaraciones que sabe que tienen más probabilidades de ser precisos (no alucinados) y también respaldados por entradas.
¿Google está equivocado para ser optimista? Las alucinaciones aún pueden ser un problema solucionable, después de todo. Pero parece cada vez más claro a partir de la investigación que las alucinaciones de los LLM no son un problema solucionable ahora mismo.
Eso no ha impedido que compañías como Google y OpenAi corran hacia la era de la búsqueda de IA, y es probable que sea una era llena de errores, a menos que seamos los que seamos alucinantes.
Temas
Inteligencia artificial Google Géminis
