RESUMO

BACKGROUND: Review articles play a critical role in informing medical decisions and identifying avenues for future research. With the introduction of artificial intelligence (AI), there has been a growing interest in the potential of this technology to transform the synthesis of medical literature. Open AI's Generative Pre-trained Transformer (GPT-4) (Open AI Inc, San Francisco, CA) tool provides access to advanced AI that is able to quickly produce medical literature following only simple prompts. The accuracy of the generated articles requires review, especially in subspecialty fields like Allergy/Immunology. OBJECTIVE: To critically appraise AI-synthesized allergy-focused minireviews. METHODS: We tasked the GPT-4 Chatbot with generating 2 1,000-word reviews on the topics of hereditary angioedema and eosinophilic esophagitis. Authors critically appraised these articles using the Joanna Briggs Institute (JBI) tool for text and opinion and additionally evaluated domains of interest such as language, reference quality, and accuracy of the content. RESULTS: The language of the AI-generated minireviews was carefully articulated and logically focused on the topic of interest; however, reviewers of the AI-generated articles indicated that the AI-generated content lacked depth, did not appear to be the result of an analytical process, missed critical information, and contained inaccurate information. Despite being provided instruction to utilize scientific references, the AI chatbot relied mainly on freely available resources, and the AI chatbot fabricated references. CONCLUSIONS: The AI holds the potential to change the landscape of synthesizing medical literature; however, apparent inaccurate and fabricated information calls for rigorous evaluation and validation of AI tools in generating medical literature, especially on subjects associated with limited resources.

Assuntos

RESUMO

Objetivo: caracterizar las referencias bibliográficas en los artículos originales y de revisión en revistas biomédicas cubanas según su número, actualidad y errores detectados. Métodos: se trabajó con las dos primeras salidas de 13 revistas publicadas en el 2011. Se calculó el número de referencias promedio por tipo de artículo y revista, y su actualidad, que se calificó como buena, si el 50 por ciento o más en los originales y el 70 por ciento o más en las revisiones, son de los últimos cinco años. Los errores se ilustran con diez ejemplos de referencias tomados de manuscritos arbitrados recibidos. Resultados: se examinaron 4 824 referencias. El número de referencias promedio osciló entre 10 y 25 en los artículos originales y más de 25 en los artículos de revisión. La Revista Cubana de Medicina General Integral alcanzó 60,6 por ciento de actualidad en las referencias de sus originales y las revistas cubanas de Estomatología y de Medicina Militar, 97,7 y 82,7 por ciento, respectivamente, en las de sus artículos de revisión. El uso incorrecto de los signos de puntuación, de las direcciones electrónicas y la omisión de datos de la fuente, fueron los errores principales. Conclusiones: los artículos originales y de revisión tienen un número apropiado de referencias, su actualidad no es buena. Los errores detectados llevan a citas inexactas que casi siempre es información irrecuperable. Los revisores externos pueden mejorar las referencias pero es del autor la responsabilidad primaria de incluir en sus manuscritos referencias de buena calidad, por su número, exactitud y actualidad

Objective: To characterize the references of the original and review articles in the Cuban biomedical journals in terms of number, update and detected errors. Methods: The two first issues of 13 journals published in 2011. The average number of references per type of article and journal were estimated. The reference update was rated as good if 50 percent or more in the original papers and 70 percent or over in the review articles had been published in the last 5 years. Ten examples of references taken from received peer-reviewed manuscripts illustrated the errors. Results: The number of references analyzed was 4 824. The average number ranged 10 to 25 in original articles and over 25 in review articles. Revista Cubana de Medicina General Integral reached 60.6 percent of updated references in the original articles whereas Estomatologia y Medicina Militar showed 97.7 percent and 82.7 percent of updated references in the review articles, respectively. The inadequate use of the punctuation marks, electronic addresses and omission of source data were the most common errors. Conclusions: The original papers and the review papers presented suitable number of references; but update is not satisfactory. The errors detected lead to inaccurate references that are almost irretrievable. The external peer-reviewers may improve the quality of references, but the ultimate responsible is the author, who must include good quality references in terms of number, accuracy and update

RESUMO

El presente estudio tiene como propósito analizar lingüística y textualmente 80 artículos de revisión publicados en 8 revistas odontológicas iberoamericanas. Se seleccionó este corpus lingüístico de entre las publicaciones odontológicas disponibles en la biblioteca Facultad de Odontología de la Universidad de Los Andes, Mérida, Venezuela. Los datos se analizaron desde la perspectiva lingüística, textual y discursiva. Los resultados se presentaron tomando como referencia los siguientes indicadores: extensión del título, superestructura del artículo, la introducción como apertura del texto, estructura del desarrollo, ¿qué contiene la conclusión?, verbos utilizados para citar, tiempos verbales y personas gramaticales utilizadas, y citas y referencias utilizadas. Se encontró que la mayoría sigue la estructura clásica introducción, desarrollo y conclusión. Además, los autores no se incluyen en el texto, sino que establecen distancia de lo que escriben. Se concluye que existen elementos para caracterizar el discurso odontológico característico de esta ciencia

The purpose of this study is to analyze, from the linguistic and textual perspective, 80 review articles published in 8 Dentistry journals from Latin America and Spain. This linguistic corpus was selected among the Dentistry journals available at the Facultad de Odontología de la Universidad de Los Andes, Mérida, Venezuela. The information was analyzed from the linguistic, textual and discursive perspective. Results were presented taking the following indicators as a reference: Extension of the title, superstructure of the article, the introduction as the opening of the article, the structure of the development, What does the conclusion include?, reporting verbs used, tenses and personal references used, and cites and reference system used. We found that most of them follow the classical structure: Introduction, develop and conclusion. Besides, the authors are not included in the text, but they establish distance from what they write. We conclude that there are elements to characterize the scientific and academic dentistry community

Assuntos