La publicación Mayo Clinic Proceedings: Digital Health ha querido analizar diferentes modelos de lenguaje grandes (LLM) que constituyen una rama de la Inteligencia Artificial (IA) entrenados con cantidades masivas de datos basados en texto. Estos lenguajes han aprendido a interpretar la entrada escrita y producir un lenguaje que es comprensible para los humanos e incorporan varios algoritmos, como el transformador preentrenado generativo (GPT).

 

 

Con esta base y teniendo en cuenta que aunque bajo, el número de publicaciones que analizan ChatGPT se ha disparado recientemente, los autores del trabajo han querido  analizar textos y noticias de revistas científicas con el objetivo de  averiguar si los conocimientos que proporcionan tienen referencias científicas y son fiables, dado que hasta el momento, ningún estudio había evaluado la calidad de las respuestas y las referencias correspondientes proporcionadas por ChatGPT, al responder a una serie de preguntas médicas. 

 

 

 

Este estudio descubrió que más de dos tercios de las referencias proporcionadas por ChatGPT a un conjunto diverso de preguntas médicas eran falsas, aunque la mayoría parecían engañosamente reales. Además, los expertos en la materia identificaron importantes errores factuales en una cuarta parte de las respuestas. Estos hallazgos, aseguran los investigadores, son alarmantes, dado que la confiabilidad es un pilar de la comunicación científica.

 

 

Así mismo, consideran que es fundamental contar con referencias adecuadas 

 

 

 

 

 

La investigación concluye que ChatGPT supone un avance innegable. No obstante, alertan a la comunidad científica para que tenga cuidado con los importantes riesgos de confiar en sus referencias, ya que está reuniendo citas muy convincentes, aunque a menudo inventadas. Estas referencias parecen construidas mediante la fusión de referencias existentes. 

 

 

 

También aconsejan que para que sean útiles para la edición médica, los chatbots deberían adoptar los valores de la comunidad científica, como la integridad y la completitud. Teniendo en cuenta la velocidad de mejora de los LLM, tenemos la esperanza de que las futuras versiones de ChatGPT sugieran respuestas más precisas cuando se les pida que proporcionen referencias. Esto implicará citar referencias existentes completas en lugar de fusionar múltiples publicaciones.