Un sistema de inteligencia artificial ha superado decenas de entusiastas de pronósticos, incluidos varios profesionales, en un concurso para predecir eventos Desde el busto entre Donald Trump y Elon Musk hasta Kemi Badenoch, que se elimina del liderazgo del Partido Conservador.

Una startup británica de IA, cofundada por un ex Google Profundo El investigador se ha clasificado en el top 10 de una competencia de pronóstico internacional, que requiere que los participantes pronosticen la probabilidad de 60 eventos durante el verano.

Manticai llegó octavo en la Copa Metaculus, dirigida por una compañía de pronóstico con sede en San Francisco que intenta predecir el futuro para los fondos de inversión y las corporaciones.

El rendimiento de la IA aún se queda atrás de los mejores pronosticadores humanos, pero ha dejado a algunos creyendo que la IA podría superar a los humanos antes de lo que la mayoría esperaba.

“Ciertamente es una sensación extraña ser superada por varios bots en este momento”, dijo Ben Shindel, uno de los pronosticadores profesionales que se encontró detrás de AI durante el concurso antes de terminar sobre Mantic. “Realmente hemos recorrido un largo camino aquí en comparación con hace un año cuando el mejor bot estaba en algo así como Rank 300”.

Las preguntas en la Copa Metaculus incluyeron qué fiesta ganaría la mayoría de los escaños en las elecciones generales de Samoa y cuántos acres en los Estados Unidos serían quemados por incendios de enero a agosto. Los concursantes fueron puntuados sobre qué tan bien predijeron los resultados a partir del 1 de septiembre.

“Lo que Mantic ha hecho es impresionante”, dijo Deger Turan, director ejecutivo de Metaculus.

Turan estimó que la IA estaría a la par o mejor que los mejores pronosticadores humanos para 2029, pero dijo que en general “actualmente los pronosticadores humanos están mejor que los pronosticadores de IA”.

En pronósticos complejos que dependen de la predicción de eventos interrelacionados, AI Systems aún puede tener dificultades para llevar a cabo verificaciones de verificación lógica al traducir el conocimiento en una predicción final, dijo.

Mantic desglosa un problema de pronóstico en diferentes trabajos y los asigna a una lista de modelos de aprendizaje automático que incluyen Operai, Google y Deepseek, dependiendo de sus fortalezas.

Toby Shevlane, cofundador de Mantic, dijo que su desempeño fue un hito para la comunidad de IA utilizando modelos de idiomas grandes para el pronóstico.

“Algunos dicen que los LLM simplemente regurgitan sus datos de entrenamiento, pero no se puede predecir el futuro así”, dijo. “Requiere un razonamiento genuino. Se podría decir que las predicciones de nuestro sistema eran más originales que la mayoría de los participantes humanos, porque las personas a menudo se agrupan en torno a las predicciones promedio de la comunidad. El sistema de IA a menudo no está muy en desacuerdo. Por lo tanto, los pronosticadores de IA podrían ser un antídoto para pensar grupos”.

El sistema de Mantic despliega una variedad de agentes de IA para evaluar lo que está sucediendo ahora, llevar a cabo investigaciones históricas, jugar escenarios y luego predecir lo que probablemente suceda a continuación. Una fortaleza de pronóstico de IA es su capacidad para trabajar duro de manera persistente, lo cual es crucial para el pronóstico efectivo.

Pueden trabajar fácilmente en docenas de problemas complejos a la vez y volver a visitarlos diariamente para aprender de cambiar la información. El pronóstico humano también usa la intuición, pero Shindel se encuentra entre los pronosticadores humanos que piensan que esto podría surgir en la IA.

“La intuición es muy importante, pero no creo que sea innatamente humano”, dijo.

Los principales superforforforasters humanos todavía dicen que son las mejores. Philip Tetlock, coautor del libro superventas SuperForForecasting, este año investigación publicada Eso descubrió que los humanos expertos seguían superando los bots de alto rendimiento.

Turan dijo que en pronósticos complejos, que se basan en predecir eventos interrelacionados, los sistemas de IA aún pueden luchar para detectar inconsistencias lógicas en sus resultados y llevar a cabo verificaciones de verificación.

Warren Hatch, director ejecutivo de Good Judgment, una compañía de pronóstico cofundada por Tetlock, dijo: “Esperamos que la IA sobresalga en ciertas categorías de preguntas, como las tasas de inflación mensuales. Para las categorías con datos dispersos que requieren más juicio, los humanos retienen la ventaja.

O, como dijo Lubos Saloky, un pronosticador humano que quedó tercero en la Copa Metaculus, “no planeo retirarme. Si no puedes vencerlos, fusionarlos con ellos”.

Fuente

Artículos relacionadosMás del autor