El chatbot que acelera las drogas de la FDA hace reclamos falsos, dicen los expertos

La nueva herramienta de IA de la Administración de Alimentos y Medicamentos, promocionada por el Secretario de Salud y Servicios Humanos, Robert F. Kennedy, Jr. como una solución revolucionaria para acortar las aprobaciones de medicamentos, inicialmente causa más alucinaciones que soluciones.

Conocido como ELSA, el chatbot AI se introdujo para ayudar a los empleados de la FDA con tareas diarias como notas y correos electrónicos, al tiempo que respalda los tiempos de respuesta de aprobación de medicamentos y dispositivos más rápidos mediante la clasificación de datos importantes de aplicaciones. Pero, según los expertos de la FDA que habló con CNN Bajo anonimato, el chatbot está plagado de alucinaciones, a menudo fabricando estudios médicos o malinterpretando datos importantes. La herramienta ha sido marginada por los empleados, con fuentes que dicen que no se puede usar en revisiones y que no tiene acceso a documentos internos cruciales que se prometieron a los empleados.

“Alucina con confianza”, dijo un empleado de la FDA a CNN. Según las fuentes, la herramienta a menudo proporciona respuestas incorrectas en las áreas de investigación de la FDA, las etiquetas de los medicamentos y no puede vincularse a las citas de terceros de revistas médicas externas.

A pesar de las afirmaciones iniciales de que la herramienta ya estaba integrada en el protocolo de revisión clínica, el comisionado de la FDA, Marty Makary, dijo a CNN que la herramienta solo se estaba utilizando para “tareas organizacionales” y que no era obligatorio de los empleados. El jefe de IA de la FDA admitió en la publicación que la herramienta estaba en riesgo de alucinar, con el mismo riesgo que otros LLM. Ambos dijeron que no estaban sorprendidos de que cometiera errores, y dijeron que se necesitaban más pruebas y capacitación.

Pero no todos los LLM tienen el trabajo de aprobar la medicina para salvar vidas.

La agencia anunció la nueva herramienta de agente en junio, con Vinay Prasad, director del Centro de Evaluación e Investigación Biológica (CBER) de la FDA, y Makary escribió que AI Innovation era un Prioridad de liderazgo para la agencia en un acompañante Revista de la Asociación Médica Americana (JAMA) Artículo. La herramienta, que examina las aplicaciones de dispositivos y medicamentos, se lanzó como una solución para períodos de aprobación de medicamentos largos y a menudo críticos, luego del lanzamiento de la FDA de un Piloto de revisión científica asistida por AI-AI.

La administración Trump ha reunido a las agencias gubernamentales detrás de una agenda de IA acelerada de “América primero”, incluida la reciente orientación federal para establecer centros de excelencia de IA respaldados por la FDA para probar y desplegar nuevas herramientas de IA, anunciadas en el recién presentado del gobierno. Plan de acción de AI. A muchos les preocupa que los esfuerzos agresivos de impulso y desregulación eviten la supervisión necesaria de la nueva tecnología.

“Muchos de los sectores más críticos de Estados Unidos, como la atención médica, son especialmente lentas para adoptar debido a una variedad de factores, incluida la desconfianza o la falta de comprensión de la tecnología, un paisaje regulatorio complejo y la falta de claros estándares de gobernanza y mitigación de riesgos”, dice el plan de acción. “Un esfuerzo federal coordinado sería beneficioso para establecer una cultura dinámica, ‘prueba primero’ para la IA en la industria estadounidense”.