ChatGPT demostró una baja precisión en la diagnosis de enfermedades humanas a pesar de estar entrenado con vastas cantidades de datos. Un estudio realizado por investigadores de la Escuela de Medicina y Odontología Schulich de la Universidad de Western evaluó su desempeño en el diagnóstico de 150 casos médicos reales, obteniendo una precisión del 49%. A pesar de que el modelo fue capaz de explicar bien sus razonamientos, sus respuestas no fueron lo suficientemente precisas para ser utilizadas en contextos clínicos.
En el experimento documentado en la revista PLOS ONE se explica que ChatGPT se sometió a casos médicos reales tomados de Medscape, una plataforma usada por profesionales médicos. Estos incluían detalles como el historial del paciente, resultados de laboratorio y hallazgos de exámenes físicos. Por lo mismo, se le pidió al chatbot que proporcionara diagnósticos y planes de tratamiento.
Posteriormente, los investigadores evaluaron sus respuestas en términos de precisión diagnóstica y claridad en la explicación del razonamiento, descubriendo que el asistente de OpenAI proporcionó explicaciones completas y relevantes en el 52% de las ocasiones.
Utilidad educativa de ChatGPT en la medicina
A pesar de su bajo rendimiento en diagnósticos, el estudio destacó que ChatGPT podría tener aplicaciones educativas. Los investigadores señalaron que el modelo es eficaz para descartar diagnósticos incorrectos y explicar conceptos médicos complejos de manera comprensible, lo que podría ser beneficioso para estudiantes de medicina.
En su capacidad actual, el chatbot ayuda a simplificar conceptos y proporciona respuestas instantáneas y personalizadas a preguntas clínicas, complementando métodos tradicionales de enseñanza. Así que más que un médico (o el reemplazo a estos), podríamos ver a ChatGPT con un potencial para ser utilizada como herramienta de aprendizaje.
