Un algoritmo que acierta en el hospital donde se entrenó puede fallar en otro. La Fundación Progreso y Salud ha creado Valid-AI, un sistema para comprobarlo antes de que una herramienta de inteligencia artificial llegue a la consulta.

La inteligencia artificial ya forma parte del equipamiento de muchos servicios clínicos, pero suele implantarse sin saber cómo funcionará con otros pacientes, otros equipos y otras formas de trabajar. En España, además, el Sistema Nacional de Salud todavía no tiene un inventario público de los algoritmos que usa. Valid-AI quiere responder a ese problema con un método de evaluación independiente.

Qué mide Valid-AI

La herramienta la han desarrollado investigadores del área de Evaluación de Tecnologías Sanitarias y del Laboratorio de Ciencia de Datos de la Fundación Progreso y Salud, que depende de la Consejería de Presidencia, Sanidad y Emergencias de la Junta de Andalucía.

Su función es medir cómo se comporta un software sanitario con datos de bases distintas de las que se usaron para entrenarlo. Así se ve si el modelo mantiene su precisión diagnóstica fuera del centro donde se desarrolló. Según sus responsables, el rendimiento de un algoritmo puede cambiar por:

• las características demográficas de los pacientes,
• la heterogeneidad y calidad de los datos,
• las especificaciones de los equipos médicos,
• las particularidades de los procedimientos asistenciales de cada centro.

La prueba con más de 1.000 radiografías

Para probar el sistema, el equipo evaluó una herramienta comercial de detección de fracturas óseas en radiografías. La sometió a más de 1.000 imágenes externas que no habían formado parte de su desarrollo original. El objetivo era confirmar sus capacidades y sus límites en condiciones reales de uso.

Valid-AI forma parte de Assess-DHT, un consorcio europeo de 14 entidades de ocho países que trabaja para fijar estándares comunes en la evaluación de tecnologías de salud digital.

Qué cambia para hospitales y compradores

Para los centros sanitarios, la novedad es poder conocer de forma sistemática los puntos fuertes y débiles de un algoritmo antes de desplegarlo en un nuevo servicio. Es un paso más allá de los centros que ya existen para validar soluciones digitales, como el que crearon Madrid Health Hub y HM Hospitales en la Comunidad de Madrid. Aquí la evaluación se centra en si la IA funciona con datos de otros centros.

La conclusión de sus responsables es clara: la evaluación independiente es imprescindible para que las tecnologías digitales sean seguras y fiables y aporten un valor asistencial demostrable.

La calidad del dato clínico y los sesgos de la IA se debatirán el 19 de noviembre en Healthnology & Healthstrategy Chile 2026, en Santiago. Inscríbete aquí.