Esta publicación en la revista Radiology de un estudio hecho de 25 de febrero a 3 de marzo 2023 , acerca de nuestro más egregio LLM, ChatGPT, muestra la performance a la que puede llegar no habiendo sido entrenado aun para responder preguntas de la especialidad médica de radiología.
ChatGPT es capaz de llegar a 69% de repuestas correctas en un examen de radiología tipo (Canadian Royal College and American Board of Radiology examinations) , sin imagenes, pero con preguntas de complejidad “razonamiento bajo” y “alto nivel de razonamiento” , con mejor performance en las primeras (84% y 60% respectivamente, siendo 70% el nivel aprobatorio regular para los humanos)
Las preguntas de “alto nivel de razonamiento” incorporan descripción de hallazgos , gestión clinica, aplicación de conceptos, cálculo y clasificación, y sobretodo, unidad clinica y de diagnóstico.
Reflexión inmediata, ChatGPT no logró mucho (¿!) con las preguntas que requieren la integración del conocimiento y el criterio médicos, y sin embargo todo en tecnología mejora y evoluciona, sobretodo bajo el principio básico del machine learning y los LLMs que pueden seguir en entrenamiento mientras los humanos generamos más información y ejemplos de uso y experiencia.