¿ChatGPT inventa información? Esto dice estudio

El ‘chatbot’ de IA ChatGPT ha irrumpido con fuerza en los últimos meses por sus conversaciones similares a las que puedes tener como humano, en las que los usuarios pueden introducir cualquier pregunta y el sistema genera respuestas basadas en la información almacenada en su base de datos.

Millones de usuarios ya lo están utilizando para ayudar en tareas de programación, redactar ‘emails’, traducir textos o, en ocasiones, preguntarle acerca de información más sensible, como temas médicos.

Pese a que suele acertar en sus respuestas, muchos expertos han advertido de que fiarse completamente de la información o datos que aporta tiene sus riesgos.

Por ejemplo, un estudio de la Facultad de Medicina de la Universidad de Maryland en Estados Unidos publicado en la revista científica ‘Radiology’ ha concluido que ChatGPT proporciona información correcta sobre cribado de cáncer de mama la gran mayoría de las veces, pero en otras ocasiones la información es «inexacta» o «incluso ficticia».

Más sobre IA: Lanzan cuarta versión de ChatGPT dotada de visión y más precisa

Los investigadores realizaron 25 preguntas relacionadas con consejos para someterse a pruebas de detección del cáncer de mama a ChatGPT para ver qué respuestas generaba en tres ocasiones distintas, ya que el ‘chatbot’ a veces varía su respuesta cada vez que se plantea una pregunta.

Tres radiólogos especializados en mamografía evaluaron las respuestas y comprobaron que eran adecuadas en 22 de las 25 preguntas.

Sin embargo, dio una respuesta basada en información obsoleta y otras dos preguntas tenían respuestas incoherentes que variaban significativamente cada vez que se planteaba la misma pregunta.

«Descubrimos que ChatGPT respondía correctamente a las preguntas el 88% de las veces, lo cual es bastante sorprendente. También tiene la ventaja añadida de resumir la información en una forma fácilmente digerible para que los consumidores la entiendan fácilmente», ha aplaudido uno de los responsables de la investigación, Paul Yi.

Contenido relacionado: Juez colombiano usa inteligencia artificial de ChatGPT en un caso

El inconveniente es que no es tan exhaustivo en sus respuestas como lo que una persona encontraría normalmente en una búsqueda en Google.

«ChatGPT sólo ofrecía un conjunto de recomendaciones sobre el cribado del cáncer de mama, emitidas por la Sociedad Americana del Cáncer, pero no mencionaba otros consejos», ha detallado la autora principal del estudio, la doctora Hana Haver.

Por ejemplo, ChatGPT proporcionó una respuesta obsoleta sobre la planificación de una mamografía en torno a la vacunación contra la COVID-19. El consejo de retrasar una mamografía entre cuatro y seis semanas después de vacunarse contra la COVID-19 se modificó en febrero de 2022.

Además, dio respuestas «inconsistentes» a las preguntas sobre el riesgo de contraer cáncer de mama y sobre dónde alguien podría obtener una mamografía.

«Según nuestra experiencia, ChatGPT a veces inventa artículos falsos de revistas o consorcios sanitarios para respaldar sus afirmaciones. Los consumidores deben ser conscientes de que se trata de tecnologías nuevas y no probadas, y deben seguir confiando en su médico, y no en ChatGPT, para que les asesore», ha señalado Yi.

ChatGPT impreciso sobre cirrosis y cáncer de hígado

Otro estudio, este realizado por investigadores del Cedars-Sinai en Estados Unidos, ha apuntado que ChatGPT puede ayudar a mejorar los resultados sanitarios de los pacientes con cirrosis y cáncer de hígado al proporcionar información fácil de entender sobre conocimientos básicos, estilo de vida y tratamientos para estas afecciones.

«Los pacientes con cirrosis y/o cáncer de hígado y sus cuidadores suelen tener necesidades no cubiertas y conocimientos insuficientes sobre el tratamiento y la prevención de las complicaciones de su enfermedad. Encontramos que ChatGPT, aunque tiene limitaciones, puede ayudar a empoderar a los pacientes y mejorar la alfabetización en salud para diferentes poblaciones», ha esgrimido Brennan Spiegel, coautor de la investigación.

Estos investigadores presentaron a ChatGPT 164 preguntas frecuentes en cinco categorías. A continuación, dos especialistas en trasplantes hepáticos calificaron de forma independiente las respuestas. Cada pregunta se planteó dos veces.

Según sus resultados, ChatGPT respondió correctamente a cerca del 77% de las preguntas, ofreciendo altos niveles de precisión en 91 preguntas de diversas categorías.

Los especialistas que calificaron las respuestas afirmaron que el 75% de las respuestas sobre conocimientos básicos, tratamiento y estilo de vida eran completas o correctas, pero inadecuadas.

«Aunque el modelo demostró una gran capacidad en los ámbitos de los conocimientos básicos, el estilo de vida y el tratamiento, no fue capaz de ofrecer recomendaciones personalizadas en función de la región en la que vivía el paciente. Esperamos que sea más preciso a la hora de responder a las preguntas en función de la ubicación de los encuestados«, han explicado los autores.

Un estudio similar del Huntsman Cancer Institute (Estados Unidos) preguntó a ChatGPT sobre cáncer en general. El 97% de las respuestas eran correctas. Sin embargo, los investigadores alertan de que algunas de las respuestas podrían interpretarse incorrectamente.

«Esto podría dar lugar a algunas decisiones erróneas por parte de los pacientes con cáncer. Aconsejamos precaución a la hora de recomendar a los pacientes utilizar ‘chatbot’s para obtener información sobre el cáncer», ha detallado uno de los autores, Skyler Johnson.

En cualquier caso, la realidad es ya imparable, y si tenemos en cuenta que ChatGPT ‘acaba de nacer’, acercarse al 100 por cien de respuestas correctas es un gran logro, aunque no es suficiente cuando se trata de información tan importante como la médico-científica.

Mientras tanto, varios estudios ya han comprobado que ChatGPT podría aprobar, por ejemplo, el examen MIR de Estados Unidos, y tener un rendimiento «comparable al de un estudiante de Medicina de tercer año en cuanto a evaluación de conocimientos médicos».