Con el acuerdo sobre el AI Act, la Unión Europea ha avanzado enormemente en cómo nuestra sociedad desarrollará y utilizará la Inteligencia Artificial (IA) en un futuro. Aunque la noticia ha saltado ahora a los medios, se ha estado trabajando durante los últimos años en la mitigación de riesgos para pacientes derivados del uso de herramientas de IA aplicada a Salud, siendo ahora el momento de incorporarlos en el software de propósito médico.
Teniendo en cuenta las novedades que la IA puede aportar a la asistencia sanitaria y las posibles lagunas de la legislación actual y futura en Europa, la Dirección General de Servicios de Investigación Parlamentaria del Parlamento Europeo (EPRS) elaboró un informe en el que identificó siete riesgos principales de la IA en la medicina y la asistencia sanitaria: el daño a los pacientes debido a errores de la IA; el mal uso de las herramientas médicas basadas en IA; la parcialidad en la IA y la perpetuación de las desigualdades existentes; la falta de transparencia; los problemas de privacidad y seguridad; las lagunas en la rendición de cuentas; y los obstáculos en la implementación de herramientas software de IA aplicadas en el sector Salud. Como era de esperar, estos riesgos engloban los cuatro aspectos fundamentales que se han identificado como indispensables a cubrir por los modelos de IA: confiabilidad, transparencia, trazabilidad y responsabilidad.
Propuestas para evitar riesgos asociados
Así pues, se han propuesto 14 requerimientos funcionales para mitigar los riesgos asociados a estos aspectos fundamentales. Estas propuestas incluyen la creación de un Pasaporte IA, que se trata de una declaración completa en la que se detallan la finalidad del sistema de IA, las declaraciones éticas, el contexto de uso, cómo se ha entrenado dicho sistema y los detalles de su evaluación, incluidos los posibles sesgos debidos a los conjuntos de datos de entrenamiento; la gestión de los usuarios, a través de un software de control basado en cuentas y roles para permitir o denegar el acceso a diferentes secciones del sistema y auditar cada acción de los usuarios al interactuar con el sistema de IA; la comprobación de la conformidad con la regulación, ya que el sistema de IA puede comprobar activamente que dispone de las certificaciones necesarias para operar con un paciente dada la legislación aplicable a su uso; y la cláusula de exención de responsabilidad para uso exclusivamente académico, de manera que, en el caso de los sistemas de IA no certificados para fines clínicos, debe mostrarse un aviso de exención de responsabilidad explícita a los usuarios en el que se indique claramente que están utilizando un software que no está certificado para fines médicos, por lo que su uso es exclusivamente académico.
Asimismo, las recomendaciones hacen alusión también a la evaluación de la calidad de los datos, que puede evitar un bajo rendimiento o un uso inadecuado de los sistemas de IA, ya que mejoraría la eficiencia, seguridad y eficacia de los resultados; doble comprobación por parte del clínico, que consiste en la confirmación por parte del usuario antes de enviar un caso clínico a un sistema de IA, aceptando utilizar un sistema basado en IA con sus limitaciones de rendimiento e interpretabilidad; evaluación continua del rendimiento, con una medición periódica del rendimiento del sistema de IA una vez implantado como parte de su vigilancia post-comercialización; registro de auditoría, concretamente un registro cronológico de todas las acciones llevadas a cabo por los usuarios, incluidos el identificador de usuario, la marca de tiempo, la entrada, la salida y la identificación única de la versión del sistema de IA; evaluación continua de usabilidad, ya que debe garantizarse un uso correcto del sistema de IA a lo largo de todo su ciclo de vida y esto puede comprobarse con pruebas periódicas de usabilidad y experiencia de usuario (UX), utilizando cuestionarios breves de experiencia de usuario con cierta periodicidad, como la Escala de Usabilidad del Sistema (SUS) o el Cuestionario de Experiencia de Usuario - Versión corta (UEQ-S).
Para terminar, otros aspectos que incluyen las recomendaciones atañen a la revisión de casos, con intención de promover la formación y el aprendizaje continuo de los usuarios para utilizar correctamente los sistemas de IA; la comprobación de sesgos, ya que evitar decisiones sesgadas al utilizar sistemas de IA está condicionado por los conjuntos de datos de entrenamiento utilizados para crear los modelos de IA; Inteligencia Artificial eXplicable, que se trata de un mecanismo para explicar cómo los modelos predictivos de IA generan el resultado para un determinado paciente, por ejemplo., con un gráfico mostrando la influencia de cada variable en la predicción; cifrado y librerías ampliamente probadas, teniendo en cuenta que el uso de las mejores prácticas de ciberseguridad y de librerías de código de terceros aceptadas por la comunidad y bien mantenidas es necesario para garantizar un entorno de ejecución seguro del sistema de IA; y la Interoperabilidad semántica, ya que la integración de los sistemas de IA en las vías clínicas puede requerir el intercambio de datos sanitarios con los historiales médicos electrónicos.
Encuesta sobre IA
En el XXVII Congreso Nacional de Informática de la Salud 2024, el Laboratorio de Ciencia de Datos Biomédicos de la Universitat Politènica de València, de acuerdo con el Comité técnico de Inteligencia Artificial de la Sociedad Española de Informática para la Salud, presentó el conjunto de catorce requerimientos dirigidos a mitigar los riesgos principales de la IA en la medicina y la asistencia sanitaria identificados por la EPRS. A través de esta presentación, se pudo por lo tanto contrastar con los asistentes al congreso Inforsalud 2024 la relevancia de dichos requerimientos atendiendo a la visión percibida por los profesionales de las disciplinas vinculadas a la informática para la salud.
La encuesta se realizó mediante un pase mixto con la plataforma digital wooclap. El objetivo de la encuesta fue conocer la opinión de los asistentes al Inforsalud 2024 sobre los aspectos fundamentales asociados a riesgos de la IA en salud y la relevancia de los requerimientos funcionales que los asistentes consideraban para reducir los posibles riesgos para los pacientes derivados de la IA aplicada a salud.
El pase de encuesta con presentación se realizó durante la sesión de ponencias técnicas sobre IA para salud. Para ello, se facilitó un código QR a los asistentes para acceder a las preguntas conforme avanzaba la presentación del ponente. El pase de encuesta a ritmo de los participantes se lanzó mediante noticia en LinkedIn de la organización del congreso a través de la cuenta oficial de la SEIS, realizándose durante el tercer día del Inforsalud 2024.
La encuesta constó de 8 preguntas. La primera de ellas aborda los 4 aspectos fundamentales de la IA que se consideraban imprescindibles para mitigar riesgos en pacientes. Las cuatro siguientes preguntas requerían puntuar con una escala Likert de 1 a 5 la necesidad de los catorce requerimientos funcionales agrupados por aspectos fundamentales. A continuación, se preguntaba a los participantes que identificaran su perfil profesional como técnico/clínico, gestor y decisor o usuario de IA para salud. Por último, se dejaba la posibilidad al participante de proponer funcionalidades no contempladas en el listado anterior.
Resultados y discusión
El total de participantes de la encuesta fue de 60 personas, de las cuales el 78% consideraron la confiabilidad el aspecto más imprescindible de los cuatro presentados. El 35% de los encuestados que respondieron a la pregunta se declararon clínicos y el resto técnicos de IT. El 47% eran gestores y el 45% dijeron que ellos tenían la capacidad de decidir sobre la implantación de sistemas IA en salud, frente al 55% de usuarios finales. Todos los requerimientos funcionales obtuvieron una puntuación de necesidad superior o igual a 4.0, siendo la comprobación de la conformidad con la regulación aplicable la que mayor puntuación obtuvo para asegurar una IA responsable con un valor de 4.6 y el test continuo de usabilidad la que menor valor obtuvo para confiar en una IA para salud, con una puntuación de 4.0. El pasaporte IA, la gestión de usuario, la evaluación de la calidad de los datos, la doble comprobación por el clínico, la evaluación continua del rendimiento, el registro de auditoría, la comprobación de sesgos, la IA explicable, el uso de cifrado y librerías ampliamente probadas y la interoperabilidad obtuvieron una puntuación entre 4.4 y 4.5 como requerimientos funcionales imprescindible en la escala de 1 a 5. Como funcionalidades aportadas por los encuestados aparecieron los términos supervisión humana, consenso, siempre para uso secundario, seguridad de datos, comparativas decisiones humanas con y sin IA, reversibilidad, validación en ensayos clínicos multicentro, contexto social, y no admitir productos de IA “de regalo” al comprar otro equipamiento.
El conjunto de requisitos funcionales revisados se diseñó para implementar explícitamente las 22 medidas propuestas por la EPRS con el propósito final de mitigar las fuentes de incertidumbre y deterioro de los sistemas de IA que pueden causar daños a los pacientes. Los requisitos funcionales se han propuesto teniendo en cuenta que puedan implementarse con la tecnología actual y no requieran esperar a soluciones inherentes a la tecnología de IA. Además, dado que los modelos adaptados a los problemas médicos pueden heredar los fallos de los modelos fundacionales, se consideraron implementaciones activas de mitigación de riesgos a lo largo del ciclo de vida de la IA, es decir ayudando al cumplimiento del AI Act de forma continua durante la ejecución de los modelos en la toma de decisiones sobre pacientes.
Con este trabajo hemos querido compartir con los profesionales de la Informática para la Salud una reflexión sobre los requisitos funcionales necesarios para capacitar a los profesionales sanitarios mediante el acceso a información transparente sobre el sistema de IA. Esto ayudará al sector a hacer un uso correcto del sistema. También, proporcionamos un registro de auditoría completo para aclarar la responsabilidad de los fabricantes y proveedores sanitarios de sistemas de IA.
Como conclusión sobre los aspectos fundamentales de la IA hemos comprobado que la confiabilidad destaca sobre los otros tres aspectos, pero todos ellos son requeridos por los profesionales. Además, todas las funcionalidades revisadas se observan altamente necesarias, si bien la conformidad con la regulación ha tomado conciencia entre los profesionales. En general, esperamos que esta discusión permita especificar unas funcionalidades que reduzcan el daño potencial a los pacientes y aumenten la adopción de la IA para la asistencia sanitaria en Europa.
