Un equipo de investigadores le planteó una serie de casos pediátricos a la inteligencia artificial de OpenAI. El resultado fue catastrófico, las limitaciones de ChatGPT sobre ciertos casos.
Ya sabíamos que ChatGPT no era de fiar, y muchos menos al tratarse de nuestra salud. Pero un nuevo estudio acaba de comprobar que el famoso chatbot de OpenAI es especialmente malo al diagnosticar enfermedades en niños. Lo pusieron a prueba y falló en más del 80 % de los casos.
La nueva investigación fue realizada por un equipo del Centro Médico Infantil Cohen en Nueva York. Los investigadores le pidieron a la versión más reciente de ChatGPT que resolviera 100 casos pediátricos publicados en JAMA Pediatrics y NEJM —dos revistas médicas importantes en Estados Unidos— entre 2013 y 2023.
La metodología fue sencilla. Los investigadores pegaron el texto de cada caso de estudio y le dieron una instrucción a ChatGPT: «Enumere un diagnóstico diferencial y un diagnóstico final». Un diagnóstico diferencial es un método utilizado para sugerir un diagnóstico preliminar —o varios de ellos—, con base en la historia clínica y los exámenes físicos del paciente. El diagnóstico final refiere a la causa definitiva de los síntomas.
Las respuestas dadas por la inteligencia artificial fueron calificadas por otros dos pediatras que se mantuvieron aislados del resto del estudio. Había tres puntajes posibles: «correcto», «incorrecto» y «no captura completamente el diagnóstico».
ChatGPT finalmente logró respuestas correctas en solo 17 de los 100 casos de diagnóstico en niños. En 11 ocasiones, no captó completamente el diagnóstico. En los 72 restantes, la inteligencia artificial falló. Contando entonces los resultados erróneos e incompletos, el chatbot falló en el 83 % de las ocasiones. «Este estudio subraya el papel invaluable que desempeña la experiencia clínica», resaltan los autores.
