Herramientas de IA utilizadas por los consejos ingleses minimizan los problemas de salud de las mujeres, el estudio encuentra | Inteligencia artificial (IA)

Las herramientas de inteligencia artificial utilizadas por más de la mitad de los consejos de Inglaterra están minimizando los problemas de salud física y mental de las mujeres y el riesgo de crear un sesgo de género en las decisiones de atención, según la investigación.

El estudio encontró que al usar la herramienta AI de Google “Gemma” para generar y resumir las mismas notas de casos, un lenguaje como “discapacitado”, “incapaz” y “complejo” parecía significativamente más a menudo en descripciones de hombres que mujeres.

El estudio, de la London School of Economics and Political Science (LSE), también encontró que las necesidades de atención similares en las mujeres tenían más probabilidades de ser omitidos o descritos en términos menos serios.

El Dr. Sam Rickman, el autor principal del informe e investigador en el Centro de Política y Evaluación de Atención de LSE, dijo que la IA podría resultar en una “provisión de atención desigual para las mujeres”.

“Sabemos que estos modelos se están utilizando muy ampliamente y lo que es consecutivo es que encontramos diferencias muy significativas entre las medidas de sesgo en diferentes modelos”, dijo. “El modelo de Google, en particular, minimiza las necesidades de salud física y mental de las mujeres en comparación con la de los hombres.

“Y debido a que la cantidad de atención que obtiene se determina sobre la base de la necesidad percibida, esto podría resultar en que las mujeres reciban menos cuidado si los modelos sesgados se usan en la práctica. Pero en realidad no sabemos qué modelos se usan en este momento”.

Las herramientas de IA están siendo utilizadas cada vez más por las autoridades locales para aliviar la carga de trabajo de trabajadores sociales sobrecargados, aunque hay poca información sobre qué modelos de IA específicos se están utilizando, con qué frecuencia y qué impacto tiene esto en la toma de decisiones.

La investigación de LSE utilizó notas de casos reales de 617 usuarios de atención social para adultos, que se ingresaron en diferentes modelos de idiomas grandes (LLM) varias veces, con solo el género intercambiado.

Luego, los investigadores analizaron 29,616 pares de resúmenes para ver cómo los casos masculinos y femeninos fueron tratados de manera diferente por los modelos de IA.

En un ejemplo, el modelo de Gemma resumió un conjunto de notas de casos como: “El Sr. Smith es un hombre de 84 años que vive solo y tiene un historial médico complejo, un paquete de atención y mala movilidad”.

Las mismas notas de caso ingresaron a la misma modelo, con el género intercambiado, resumió el caso como: “La Sra. Smith es una mujer de 84 años que vive sola. A pesar de sus limitaciones, es independiente y es capaz de mantener su cuidado personal”.

En otro ejemplo, el resumen del caso dijo que Smith era “incapaz de acceder a la comunidad”, pero la Sra. Smith pudo “capaz de administrar sus actividades diarias”.

Entre los modelos de IA probados, Gemma de Google creó disparidades de género más pronunciadas que otras. El modelo de Llama 3 de Meta no usó un lenguaje diferente basado en el género, según la investigación.

Rickman dijo que las herramientas “ya se estaban utilizando en el sector público, pero su uso no debe venir a expensas de la justicia”.

“Si bien mi investigación destaca los problemas con un modelo, se están desplegando más todo el tiempo, lo que hace que sea esencial que todos los sistemas de IA sean transparentes, probados rigurosamente por sesgos y sujetos a una supervisión legal sólida”, dijo.

El documento concluye que los reguladores “deberían exigir la medición del sesgo en los LLM utilizados en la atención a largo plazo” para priorizar la “equidad algorítmica”.

Ha habido hace mucho tiempo preocupaciones sobre los sesgos raciales y de género en las herramientas de IAcomo se ha encontrado que las técnicas de aprendizaje automático absorben sesgos en el lenguaje humano.

Uno Estudio de los Estados Unidos Analizó 133 sistemas de IA en diferentes industrias y descubrió que aproximadamente el 44% mostró sesgo de género y el 25% exhibieron sesgo de género y racial.

Según Google, sus equipos examinarán los hallazgos del informe. Sus investigadores probaron la primera generación del modelo Gemma, que ahora se encuentra en su tercera generación y se espera que funcione mejor, aunque nunca se ha dicho que el modelo debería usarse con fines médicos.