Los chatbots de IA son fácilmente tropezados por preguntas de derechos humanos, descubre el estudio

LLMS: los modelos de datos que impulsan a sus chatbots de IA favoritos, no solo tienen prejuicios sociales y raciales, un nuevo informe encuentra, sino sesgos inherentes contra las instituciones democráticas.

Un reciente estudiarpublicado por investigadores de la MIT Sloan School of Managementanalizó cómo seis LLM populares (incluidos ChatGPT, Gemini y Deepseek) retratan el estado de la libertad de prensa, y, indirectamente, confían en los medios de comunicación, en las respuestas a las indicaciones del usuario. Los resultados mostraron que LLM sugirió constantemente que los países tienen menos libertad de prensa que los informes oficiales, como la clasificación no gubernamental como la Índice de libertad de prensa mundial (WPFI)publicado por Reporteros sin fronteras. ChatGPT, por ejemplo, clasificó negativamente al 97 por ciento de los 180 países utilizados en la prueba.

Los chatbots se han convertido en una pieza esencial de infraestructura en el entorno de información, alcanzando niveles de influencia en la par con el de las redes sociales, y también pueden tener el peso de la influencia de cómo sus usuarios entienden la libertad en todo el mundo. El estudio del MIT encontró que el LLMS distorsionaba y subyaba la libertad de prensa en las naciones que realmente imponen relativamente pocas restricciones a los periodistas.

“Los LLM tienen millones de usuarios en todo el mundo”, dijo a Mashable Isabella Loaiza, investigadora postdoctoral del MIT Sloan y uno de los autores del informe. “Entonces, sus tergiversaciones de la prensa, su integridad e independencia pueden distorsionar la percepción del público de los derechos cívicos y las libertades que disfrutan los reporteros dentro y entre los países”.

LLMS puede sesgar las percepciones de su país de origen

Además de las clasificaciones generalmente sesgadas de libertad de prensa a nivel mundial, el estudio encontró que los LLM tienen un “sesgo” en el grupo “natural que influyó en qué países recibieron una evaluación más crítica, con los seis agentes de chat que clasifican países con calificaciones históricamente altas de libertad de prensa, o países” más libres “, desproporcionadamente más bajos que otros países. Al mismo tiempo, los LLM mostraron sesgos naturales dentro del grupo que dieron como resultado una evaluación más positiva de sus países de hogares o desarrolladores.

En general, las pruebas mostraron sesgos sistemáticos, no aleatorios, en cómo los LLM evalúan la libertad de prensa. Las razones de esta mentira, como con todo el sesgo modelo, en sus datos de entrenamiento. “Nos referimos a lo que algunos autores han llamado el dilema democrático, por el cual en sociedades con mayor libertad de prensa, periodistas y ciudadanos pueden criticar libremente las políticas gubernamentales y documentar las violaciones de la libertad de prensa, generando una cobertura negativa sustancial que se representa en los datos de capacitación”, explica el informe. A medida que las noticias más “negativas” se difunden en los países “más libres”, los países con sistemas de medios autoritarios o restringidos suprimen los informes críticos, los datos desalineantes y la respuesta del chatbot.

“Si bien encontramos que los LLM tergiversan la libertad de prensa de manera similar en dos maneras, tanto al subestimar la libertad de prensa como por ser más crítico con las naciones más libres, nuestro tercer hallazgo muestra que diferentes modelos están desalineados en diferentes direcciones”, explicó Loaiza. “Este resultado es interesante porque tener estas diferencias en la forma en que los LLM están desalineados hace que sea más difícil detectar estos sesgos, y tampoco hemos visto otras investigaciones que muestren tales patrones divergentes. Además, este hallazgo (el sesgo doméstico) sugiere que un modelo particularmente popular o ampliamente utilizado podría influir en las narraciones globales sobre su país de origen o países similares a él, al ser menos críticos sobre el estado de su libertad de prensa”.

Los estudios han demostrado que los usuarios que interactúan con las noticias diarias principalmente a través de las redes sociales tienen menos confianza en la prensa, explica el informe, pero LLMS plantea un conjunto adicional de problemas. Por un lado, son más similares a las fuentes de noticias impresas y de transmisión tradicionales con transmisiones de información centralizadas. Pero los chatbots de IA también están influenciados por la mediación de contenido algorítmico, al igual que las redes sociales, creando cámaras de eco similares además de problemas únicos para los chatbots, como comportamiento sycófán.

Según los investigadores, estos sesgos representan el riesgo de minimizar las restricciones de la prensa en los países más autoritarios en las respuestas, al tiempo que proporcionan a las naciones y desarrolladores más ricos un medio para “proyectar poder blando” en la “raza de IA” global.

Los chatbots podrían ser herramientas problemáticas para los derechos humanos

Incluso los entusiastas de Chatbot han notado la falta de fiabilidad de los modelos más populares y la facilidad con la que pueden caer en respuestas nacionalistas. Los primeros usuarios de Deepseek, por ejemplo, encontraron que el agente de chat indicaciones censuradas sobre la política y la historia chinauna limitación incorporada en el modelo a instancias de los funcionarios estatales chinos, que disuade la IA generativa que viola los “valores socialistas centrales” del país o “incita a subvertir el poder estatal y derrocar al sistema socialista”.

Los autores del informe conectan estos hallazgos con el uso creciente de la IA en las evaluaciones oficiales, incluida su integración dentro de los organismos internacionales de alto nivel como las Naciones Unidas, cuestionando su confiabilidad como herramientas para las evaluaciones mundiales de derechos humanos y cívicos.

“A medida que estos sistemas se convierten en herramientas culturales y geopolíticas clave, deben garantizar representaciones precisas de las instituciones democráticas, como la prensa y los derechos humanos y cívicos”, escriben los autores del informe. “Su alineación con los principios democráticos se convierte no en un desafío técnico, sino también en un requisito fundamental para preservar las sociedades democráticas en la era digital”.

“El acceso a información confiable sobre el estado y la salud de las instituciones que defienden la democracia es fundamental para la participación cívica”, dijo el coautor del informe, Roberto Rigobon.