Antes de que las intervenciones médicas complejas lleguen a los pacientes, su eficacia debe demostrarse científicamente mediante pruebas rigurosas en entornos controlados, como laboratorios e instalaciones de investigación. Pero garantizar la eficacia no termina ahí. El proceso de evaluación del beneficio del tratamiento médico tiene varios niveles y requiere investigación más allá del laboratorio. También debe evaluar qué tan bien funciona el tratamiento en la práctica clínica diaria para una amplia gama de pacientes. Ahora, a medida que la inteligencia artificial asume un papel más importante en la prestación de atención, existe la misma necesidad. El rendimiento de la IA debe evaluarse en la práctica clínica del mundo real, no sólo a través de conjuntos de datos controlados o entornos de entrenamiento individuales.
Afortunadamente, aunque la IA representa una nueva incorporación al conjunto de herramientas de atención sanitaria, la hoja de ruta para evaluar la eficacia de la IA ya existe en las metodologías de evaluación de datos del mundo real (RWD) y de evidencia del mundo real (RWE). Los estudios RWE se han utilizado durante mucho tiempo en la vigilancia posterior a la comercialización y en la toma de decisiones regulatorias para intervenciones de atención médica, y son una práctica bien establecida de evaluación continua basada en resultados que garantiza la seguridad, efectividad, generalización y equidad del tratamiento. Pero aplicar esta práctica para evaluar tratamientos basados en IA requiere disciplina de datos y actualizaciones de rutina. La inteligencia artificial tiene el potencial de revolucionar la forma en que abordamos los problemas de salud graves. Sin embargo, para utilizar la tecnología de forma segura, debe estar sujeta al mismo nivel de escrutinio y disciplina constante en el mundo real que cualquier otra intervención terapéutica utilizada en la práctica clínica de la vida real.
Las herramientas adaptativas necesitan supervisión y verificación adaptativas
Muchos modelos de IA no son estáticos. Su comportamiento evoluciona en función de datos cambiantes y nueva información. Cambian cuando se les vuelve a capacitar o actualizar y aprenden nuevos patrones a través de una serie de pasos complejos de múltiples capas. Es posible que el rendimiento de cualquier IA, incluidas las utilizadas en la atención sanitaria, se deteriore (por ejemplo, experimente una “desviación del modelo”) a medida que cambian los patrones de población, la codificación de diagnóstico o las prácticas. Los ciclos de retroalimentación pueden amplificar los errores y las brechas entre los subgrupos pueden ampliarse silenciosamente con el tiempo. Las actualizaciones de versión y las modificaciones de la ruta de datos también pueden cambiar el comportamiento sin señales obvias. Con elementos importantes de nuestro sistema de salud en riesgo, es esencial descubrir este tipo de cambios sutiles pero impactantes a través de la validación en el mundo real. Este tipo de validación no sólo ayuda a demostrar que el algoritmo tiene éxito en el lanzamiento, sino que también puede mantenerlo seguro, eficaz y equitativo a medida que el modelo evoluciona y cambia el entorno de atención. Obtener esta validación correcta es donde entran en juego los estudios RWE.
Las capacidades únicas de RWE en el mundo de la atención sanitaria basada en IA
La evidencia del mundo real (RWE) es el análisis cuidadoso de datos del mundo real (RWD), datos que pueden recopilarse de registros médicos electrónicos (EHR), reclamaciones, registros, dispositivos médicos e información proporcionada por los pacientes, para evaluar la seguridad y eficacia de la atención en la práctica diaria. Basado en la epidemiología de los medicamentos y la vigilancia posterior a la comercialización, RWE aprovecha los datos de vigilancia de la prestación de atención médica diaria para descubrir beneficios y riesgos que los ensayos clínicos estrictamente controlados tal vez no puedan capturar.
A medida que maduró la adopción de registros médicos electrónicos, estándares de datos comunes, vínculos de datos entre sistemas y enfoques causales modernos, las agencias reguladoras también comenzaron a utilizar formalmente RWE junto con los ensayos, primero para seguridad y etiquetado, y luego para cobertura, calidad y efectividad comparativa. Cuando se combina con ensayos clínicos, RWE agrega valor al mostrar cómo funcionan las intervenciones en diversas poblaciones y entornos de pacientes, a gran escala y a lo largo del tiempo.
Este enfoque es una opción natural para la IA en la atención sanitaria. RWE puede probar algoritmos en poblaciones, flujos de trabajo y conjuntos de datos. Si se implementa bien, puede mostrar cómo las medidas técnicas como la discriminación, la calibración o la deriva se relacionan con los resultados clínicos y la calidad, como las tasas de uso y error, realizar un seguimiento del rendimiento a lo largo del tiempo y registrar cambios significativos. Los estudios RWE funcionan mejor cuando siguen un plan de análisis predefinido, proporcionando una manera transparente y práctica de mostrar cuándo una herramienta de IA es segura, efectiva y equitativa en la atención del mundo real, y de revelar dónde no lo es.
Hacer bien los estudios RWE y por qué son importantes
RWE ayuda a responder preguntas pendientes sobre la eficacia de una intervención sanitaria fuera de los ensayos controlados y garantiza su eficacia continua a lo largo del tiempo. Pero cualquier estudio sobre RWE es tan sólido como sus cimientos. Se necesitan datos adecuados, preguntas claras y métodos transparentes para realizar estudios RWE sólidos y confiables. Si los datos del estudio están incompletos, codificados de manera inconsistente o mal correlacionados, los resultados pueden inducir a error o inflar riesgos como confusión residual, sesgo de selección y clasificación errónea. Un RWE confiable demuestra su trabajo documentando la fuente de los datos, utilizando un diseño riguroso y métodos causales, realizando análisis de sensibilidad y seleccionando resultados clínicamente importantes.
Para utilizar RWE de forma eficaz para evaluar la IA, el estudio debe realizarse en entornos donde normalmente se utilizan modelos de IA, en pacientes y el flujo de trabajo en el que influyen, y con resultados significativos logrados. El resultado garantiza que los resultados del modelo de IA sigan siendo seguros, eficaces y justos a medida que evolucionan los datos, las prácticas y los modelos. Es una inversión en calidad que deben hacer los desarrolladores de herramientas de IA y los usuarios deben exigir en sus consultas los productos que ofrecen.
Aplique RWE en todo el ciclo de vida del producto de IA
La Administración de Alimentos y Medicamentos de EE.UU. (FDA) reconoce esta necesidad y ha incorporado RWE en su dieta. Marco del ciclo de vida total del producto (TPLC). Para dispositivos médicos, incluidos aquellos que admiten inteligencia artificial. Este marco guía a los fabricantes y reguladores de dispositivos médicos a través del diseño, la validación y el seguimiento posterior a la comercialización de tecnologías médicas y puede servir como guía para el desarrollo futuro de otras formas de IA sanitaria.
La integración de RWE a lo largo de este ciclo de vida permite una supervisión continua en cada etapa.
- Durante el diseño y el desarrollo, RWE ayuda a los desarrolladores de productos a comprender las necesidades de los usuarios, la diversidad de los pacientes y los contextos del mundo real.
- Durante las pruebas y la validación, RWE puede garantizar que el modelo de IA funcione de manera consistente en diferentes poblaciones y entornos de atención mediante validación externa, análisis de subgrupos y evaluaciones del flujo de trabajo.
- Después del lanzamiento al mercado, RWE admite el seguimiento posterior a la comercialización, donde detecta problemas como sesgo de datos, sesgo o degradación del rendimiento a lo largo del tiempo.
RWE actúa como una herramienta de garantía de calidad y un mecanismo de retroalimentación, asegurando que los sistemas de IA se desarrollen de manera responsable y se basen en escenarios de atención médica del mundo real.
Una última palabra: generar confianza en la IA a través de evidencia
El futuro de la IA en la atención sanitaria depende de un equilibrio reflexivo entre innovación, responsabilidad diligente y evidencia. Los marcos de estudio de RWE brindan un camino práctico y probado para evaluar si la IA realmente beneficia a los pacientes en los entornos donde se brinda atención todos los días. Pero los propios estudios de RWE deben aplicarse cuidadosa y consistentemente para proporcionar el mayor beneficio.
Aplicar principios RWE bien establecidos para validar tratamientos médicos impulsados por IA es esencial para que las organizaciones de atención médica, los reguladores y los desarrolladores se alineen en torno a un objetivo común: garantizar que la IA mejore los resultados de salud para todos. El potencial de la inteligencia artificial es extraordinario. Hacer realidad este potencial requiere la misma disciplina, transparencia y aprendizaje continuo que define lo mejor de la medicina misma.
Jan Blitz Es un ejecutivo médico.
