A medida que los gobiernos comiencen a implementar Inteligencia artificial (IA) herramientas en la administración pública, la seguridad nacional y la formulación de políticas, las cuestiones sobre su uso seguro y su rendición de cuentas han pasado a ocupar un lugar central. El tema saltó a la luz en Estados Unidos después de que se revelaran informes. una disputa entre el Pentágono y la empresa Anthropic AIcual rechazado eliminar las salvaguardias que existían para impedir la vigilancia masiva y el uso de armas autónomas. El incidente puso de relieve una tensión más profunda entre los gobiernos que buscan implementar sistemas de inteligencia artificial y las empresas que los controlan.
A medida que los estados colaboran más estrechamente con las empresas de IA, ¿quién gobierna los sistemas que nos gobiernan? isa suri y Raman Jit Singh Chima discutir el tema en una conversación moderada por Arena Arena.
¿Qué tipos de capacidades estatales podría realmente fortalecer la IA? ¿Y dónde deberían los gobiernos tener cautela a la hora de confiar en él?
Raman Jit Singh Chima: Depende del problema que el gobierno esté tratando de resolver y con quién esté tratando. En ocasiones, la IA puede tener efectos transformadores, como mejorar el acceso a los datos o permitir un mejor análisis, pero a menudo se implementa sin claridad sobre el problema, los datos disponibles o los costos involucrados. También hay áreas de alto riesgo, como el reconocimiento facial, la vigilancia y determinadas aplicaciones sanitarias, donde el mal uso puede causar daños importantes. En tales casos, se debe aplicar el principio de “no causar daño” y, en algunos contextos, puede estar justificada una prohibición total.
Comentar | Gobernanza fiscal basada en inteligencia artificial en la India y sus desafíos
Isha Suri: Los sistemas de IA tienden a funcionar mejor en casos de uso bien definidos. Por ejemplo, durante la pandemia de COVID-19, las herramientas de procesamiento de imágenes pudieron distinguir entre diferentes tipos de infecciones pulmonares porque el problema estaba claramente definido y se conocían los parámetros.
Los gobiernos deberían empezar por definir el objetivo del despliegue de la IA. A menudo falta esta claridad. Antes de adoptar cualquier sistema, deberían preguntarse si la IA es necesaria, si existen alternativas menos intrusivas y cuáles son los riesgos. Es esencial una prueba de necesidad y proporcionalidad. La IA no debería adoptarse simplemente porque existe.
Si compartir más datos con sistemas de inteligencia artificial hace que los servicios gubernamentales sean más rápidos y eficientes, ¿por qué la gente debería preocuparse por la privacidad? ¿Qué daños están en juego?
Isha Suri: Necesitamos preguntarnos qué significa “eficiencia” y para quién. La evidencia sobre el aumento de la productividad aún es débil. En muchos casos, las afirmaciones de eficiencia se traducen en sustitución de mano de obra. También hay una falta de transparencia. Los datos recopilados para un propósito se pueden utilizar en otro. Los datos de bienestar social se pueden utilizar para vigilar o negar beneficios.
Lea también | La cooperación global es crucial para combatir el sesgo y los riesgos de la IA, dice el primer ministro
La idea de que los ciudadanos acepten compartir datos presupone un consentimiento informado, lo que muchas veces no es el caso. Mucha gente no comprende completamente cómo se utilizan sus datos. En países como India, lo que a menudo se presenta como comodidad cultural con menor privacidad es en realidad una función de una baja alfabetización digital.
Lea también | El gobierno de Karnataka constituye un Comité de IA Responsable
Por lo tanto, los individuos pueden tomar decisiones sin información completa mientras se desarrollan consecuencias a largo plazo. Por eso el Estado debe anticipar los daños y crear salvaguardias en la etapa de diseño, no después de su implementación.
Raman Jit Singh Chima: La idea de que una mejor IA requiere más datos personales es errónea. Beneficia a determinados actores comerciales, pero no es técnicamente necesario. Más datos no siempre son mejores. Puede resultar ineficiente, arriesgado y beneficioso, especialmente para las empresas que dependen de la extracción de datos a gran escala y de infraestructuras informáticas pesadas. Hay alternativas. Los modelos más pequeños, por ejemplo, utilizan datos limitados y pueden producir resultados más claros. También existen sistemas de inteligencia artificial en el dispositivo que no requieren una transferencia constante de datos a grandes centros de datos. Deberíamos desafiar la suposición de que la entrega de datos es el precio de mejores servicios.
Las empresas de inteligencia artificial dicen que necesitan acceso a grandes conjuntos de datos públicos para construir mejores sistemas. ¿Deberían los gobiernos tratar estos conjuntos de datos como activos nacionales estratégicos o pueden compartirlos con empresas privadas para acelerar el desarrollo?
Raman Jit Singh Chima: Hay que tener mucho cuidado con la idea de que los datos son algo que se puede monetizar. Abrir datos a actores privados crea riesgos para la privacidad, la seguridad y la soberanía. También repite errores del pasado, cuando los sistemas públicos se entregaron sin las garantías adecuadas.
Isha Suri: Enmarcar los datos como un activo nacional o económico es problemático porque distrae la atención de su naturaleza como derecho fundamental vinculado a la privacidad. También hay cuestiones de consentimiento. Los ciudadanos pueden proporcionar datos para un fin, pero no para utilizarlos en asociaciones comerciales. También debemos preguntarnos quién impulsa la demanda de acceso a grandes conjuntos de datos. A menudo se trata de empresas privadas con claros incentivos económicos.
Lea también | El gobierno ayudará a los profesores a utilizar la IA; facilitará la estructura escolar abierta
En última instancia, lo que corremos el riesgo es de una situación en la que los datos públicos y el dinero público permitan la extracción privada de valor, con una responsabilidad limitada. Esto hace que sea esencial que los gobiernos den un paso atrás y evalúen quién se beneficia de dichos acuerdos y si están alineados con el interés público.
Los gobiernos siempre han trabajado con el sector privado. ¿Deberíamos tratar o temer a la IA de manera diferente en esta asociación?
Raman Jit Singh Chima: Deberíamos aprender de proyectos anteriores de infraestructura digital. Los sistemas no deben implementarse primero y regularse después. También existe el riesgo de que la tecnología se convierta en un fin en sí misma. Los gobiernos pueden ampliar los sistemas no porque mejoren los resultados, sino para justificar inversiones anteriores. Las grandes alianzas también pueden obligar a los gobiernos a aceptar acuerdos costosos e inflexibles.
Comentar | La IA y el cálculo de la seguridad nacional
Isha Suri: Proyectos como Aadhaar y DigiYatra deberían considerarse ejemplos preventivos. Las compensaciones en materia de provisión de bienestar no pueden tratarse a la ligera. Incluso pequeñas tarifas de exclusión pueden tener graves consecuencias. También existen lagunas en la rendición de cuentas cuando la infraestructura pública se gestiona a través de entidades híbridas o privadas.
Si otros gobiernos empiezan a adoptar la IA y esto se vuelve inevitable a nivel mundial, ¿debería la India adoptarla también?
Raman Jit Singh Chima: Los gobiernos no deberían seguir ciegamente las tendencias globales. La IA sólo debe utilizarse cuando promueva el interés público y los valores democráticos. Los formuladores de políticas deben centrarse en cuestiones prácticas como la protección de datos, la contratación pública y la concentración del mercado.
Explicado | ¿Cómo se regulará la IA en la India?
Isha Suri: La idea de inevitabilidad es exagerada y, a menudo, impulsada por narrativas de la industria. Los gobiernos deberían fijar sus propios objetivos en lugar de reaccionar ante el miedo a quedarse al margen.
Si otros gobiernos adoptan la IA con mayor fluidez, ¿corre la India el riesgo de quedarse atrás?
Raman Jit Singh Chima: Si nos preocupa la inteligencia artificial general, la atención debe centrarse en desarrollar una capacidad científica fundamental.
La narrativa actual de la industria sugiere que apoyar a las grandes empresas de IA y su infraestructura es la manera de lograrlo. De hecho, esto puede distraernos de la creación de capacidades reales. Si miramos el pasado de la India, las inversiones en ciencia fundamental permitieron importantes programas en el espacio y el desarrollo nuclear. Se necesita un enfoque similar aquí si queremos una capacidad tecnológica soberana.
Lea también | Las nuevas directrices de gobernanza de la IA de la India impulsan un enfoque de no intervención
Isha Suri: También debemos preguntarnos qué significa “quedarse atrás”. La IA no es solo una aplicación, es una pila completa que incluye computación, datos y modelos. Si los sistemas nacionales se basan en infraestructuras o asociaciones controladas por grandes empresas globales, entonces no estamos desarrollando realmente capacidades autóctonas. Simplemente estamos anulando las dependencias existentes. Esto crea riesgos de bloqueo y dependencia a largo plazo de monopolios tecnológicos extranjeros. También plantea preocupaciones sobre la soberanía y el control. Al mismo tiempo, gran parte del entusiasmo en torno a la inteligencia artificial general y la superinteligencia puede distraer la atención de los daños actuales, incluidos los impactos laborales, los costos ambientales y la concentración de poder.
Entonces, ¿dónde nos deja esto?
Raman Jit Singh Chima: Tenga cuidado con cómo y dónde se implementa la IA en el gobierno. Centrarse en casos de uso claros, evitar la dependencia innecesaria de grandes actores privados y priorizar el interés público, la seguridad y la sostenibilidad a largo plazo.
Lea también | El estudio del IIT-M aboga por un enfoque participativo para la gobernanza de la IA
Isha Suri: Los gobiernos deben definir claramente sus objetivos antes de adoptar cualquier tecnología. Pregunte si la IA es necesaria y si los riesgos son proporcionales a los beneficios.
Isha Suri es líder de investigación en el Centro para Internet y la Sociedad. Raman Jit Singh Chima es director de políticas para Asia Pacífico y asesor internacional senior de Access Now, una organización sin fines de lucro comprometida con la defensa de los derechos digitales.
