Cuando un sistema de IA identifica una lesión sospechosa de cáncer o predice los resultados de un tratamiento, el resultado es un número, un puntaje de probabilidad. Pero ¿cómo podemos confiar la vida humana a un sistema que solo entrega una cifra y cuyas decisiones pueden impactar drásticamente en el futuro?
Por MSc. Rosa Paccotacya Yanque
La inteligencia artificial (IA) presenta un gran potencial como herramienta de apoyo para la toma de decisiones automatizada. Su velocidad de procesamiento de datos la convierte en una aliada valiosa en áreas críticas y abundantes en información: desde la elaboración de políticas públicas hasta la toma de decisiones sobre préstamos financieros, empleo y justicia penal.
En el área de la salud, esta tecnología puede ayudar con diagnósticos anticipados que podrían prevenir muertes y mejorar significativamente la calidad de vida de las personas. Sin embargo, cuando hablamos de vidas humanas, la alta precisión de estos modelos no es suficiente. Comprender el comportamiento del modelo es crucial para la aplicación clínica y la obtención de resultados confiables.
Los modelos de inteligencia artificial actuales –especialmente las redes neuronales profundas– son valorados por su rendimiento superior. Estas arquitecturas complejas, compuestas por múltiples capas conectadas mediante funciones no lineales, poseen la capacidad de descubrir, automáticamente, características útiles y crear abstracciones sofisticadas de los datos. Son millones de números y funciones matemáticas que hacen que percibamos estas redes como cajas negras, ya que podemos evaluarlas únicamente por sus resultados finales, sin comprender los mecanismos internos que guían sus decisiones.
Un paciente enfrentando un posible diagnóstico de cáncer merece comprender no solo qué detectó el sistema de IA, sino las razones específicas que llevaron a esa conclusión. Igualmente, los profesionales de la salud necesitan entender el razonamiento detrás de las recomendaciones de la IA para tomar decisiones clínicas informadas y basadas en evidencia. Sin embargo, sin explicabilidad, les estamos pidiendo que confíen ciegamente en un resultado numérico y no en un razonamiento verificable.
La necesidad de explicabilidad se vuelve aún más apremiante al considerar las preocupaciones éticas. El último AI Index Report del Stanford Institute for Human-Centered AI, destaca que el sesgo y la privacidad son las preocupaciones éticas más frecuentemente citadas en la literatura sobre IA médica. La explicabilidad sirve como una base crítica para abordar ambas. Los sistemas de IA pueden perpetuar sesgos si se entrenan con datos que no representan bien a todas las poblaciones, llevando a que grupos subrepresentados reciban diagnósticos erróneos. Un modelo de caja negra solo mostraría el sesgo en sus resultados con números, un sistema explicable puede revelar qué características o patrones específicos están causando esas decisiones discriminatorias, permitiendo su corrección.
La explicabilidad en la IA médica no es solo una característica deseable, es una necesidad. Sin ella, corremos el riesgo de crear herramientas de caja negra sesgadas y, en última instancia, poco fiables para el uso clínico y que traigan consigo consecuencias irreparables. Recordemos que si podemos comprender las razones detrás de un proceso, podemos escudriñar, verificar y juzgar si el razonamiento es adecuado, si no existe discriminación o correlaciones erróneas. El futuro de la inteligencia artificial en medicina debe construirse sobre cimientos de transparencia y explicabilidad que nos permitan entender sus limitaciones y corregirlas. Solo así podremos aprovechar verdaderamente el potencial de esta tecnología.
Imagen principal creada con Sora
