Qualitative Evaluation of Generative Artificial Intelligence Models for Solving Rehabilitation Clinical Questions

Abstract

Introducción: El uso de inteligencia artificial en el área de la salud ha demostrado tener múltiples potenciales. Entre ellos, utilizar los modelos de inteligencia artificial generativa, como ChatGPT, para apoyar en la confección de documentos clínicos como revisiones, guías clínicas o protocolos. El obje­tivo de este estudio es evaluar y comparar las respuestas a preguntas clínicas definidos por expertos en temas referentes a rehabilitación, otorgadas por los modelos de IA generativa más utilizados en el mercado, para así analizar su rol en la confección de documentos clínicos, como guías clínicas o protocolos. Material o Pacientes y Métodos: Estudio descriptivo cualitativo. A través de prompt de preguntas clínicas de distinto tipo sobre dos temáticas de rehabilita­ción, un experto evalúa y califica con una pauta de apreciación diseñada para este estudio las respuestas entregadas por 5 modelos de inteligencia artificial generativa: ChatGPT, Gemini, Claude, Perplexity y GPT customizado. Resul­tados: Todos los modelos de inteligencia artificial generativa son capaces de entregar respuestas bien estructuradas y coherentes, pero con algunas falen­cias en sus contenidos técnicos y actualización acorde a medicina basada en la evidencia. ChatGPT presenta las mejores calificaciones acorde a la pauta utilizada. Discusión: Los modelos de inteligencia artificial generativa pueden jugar un rol en la creación de documentos clínicos, como revisiones, guías y protocolos, aportando una herramienta rápida y efectiva. Sin embargo, cada paso de la creación de estos documentos debiese ser supervisado por un ex­perto humano, para pesquisar posibles errores, alucinaciones y resguardo de los aspectos éticos y de seguridad.