RESUMO
Background: The deployment of OpenAI's ChatGPT-3.5 and its subsequent versions, ChatGPT-4 and ChatGPT-4 With Vision (4V; also known as "GPT-4 Turbo With Vision"), has notably influenced the medical field. Having demonstrated remarkable performance in medical examinations globally, these models show potential for educational applications. However, their effectiveness in non-English contexts, particularly in Chile's medical licensing examinations-a critical step for medical practitioners in Chile-is less explored. This gap highlights the need to evaluate ChatGPT's adaptability to diverse linguistic and cultural contexts. Objective: This study aims to evaluate the performance of ChatGPT versions 3.5, 4, and 4V in the EUNACOM (Examen Único Nacional de Conocimientos de Medicina), a major medical examination in Chile. Methods: Three official practice drills (540 questions) from the University of Chile, mirroring the EUNACOM's structure and difficulty, were used to test ChatGPT versions 3.5, 4, and 4V. The 3 ChatGPT versions were provided 3 attempts for each drill. Responses to questions during each attempt were systematically categorized and analyzed to assess their accuracy rate. Results: All versions of ChatGPT passed the EUNACOM drills. Specifically, versions 4 and 4V outperformed version 3.5, achieving average accuracy rates of 79.32% and 78.83%, respectively, compared to 57.53% for version 3.5 (P<.001). Version 4V, however, did not outperform version 4 (P=.73), despite the additional visual capabilities. We also evaluated ChatGPT's performance in different medical areas of the EUNACOM and found that versions 4 and 4V consistently outperformed version 3.5. Across the different medical areas, version 3.5 displayed the highest accuracy in psychiatry (69.84%), while versions 4 and 4V achieved the highest accuracy in surgery (90.00% and 86.11%, respectively). Versions 3.5 and 4 had the lowest performance in internal medicine (52.74% and 75.62%, respectively), while version 4V had the lowest performance in public health (74.07%). Conclusions: This study reveals ChatGPT's ability to pass the EUNACOM, with distinct proficiencies across versions 3.5, 4, and 4V. Notably, advancements in artificial intelligence (AI) have not significantly led to enhancements in performance on image-based questions. The variations in proficiency across medical fields suggest the need for more nuanced AI training. Additionally, the study underscores the importance of exploring innovative approaches to using AI to augment human cognition and enhance the learning process. Such advancements have the potential to significantly influence medical education, fostering not only knowledge acquisition but also the development of critical thinking and problem-solving skills among health care professionals.
Assuntos
Avaliação Educacional , Licenciamento em Medicina , Feminino , Humanos , Masculino , Chile , Competência Clínica/normas , Avaliação Educacional/métodos , Avaliação Educacional/normasRESUMO
ANTECEDENTES Y OBJETIVO Tras 3 años de pandemia, la OMS ha declarado que el COVID-19 no constituye una Emergencia de Salud Pública de Importancia Internacional. En Chile, la Comisión Nacional de Respuesta Pandémica del Ministerio de Salud se ha propuesto reevaluar las medidas de aislamiento y las licencias laborales de casos positivos por COVID-19, para lo cual ha solicitado la presente Síntesis Rápida de Evidencia. METODOLOGÍA Para analizar las indicaciones internacionales de aislamiento de casos positivos de COVID-19 y la correspondiente licencia médica, se definieron las siguientes preguntas orientadoras: ¿Cuántos días de aislamiento se recomiendan para casos positivos de COVID-19?; ¿El aislamiento es obligatorio para los casos positivos de COVID-19?; ¿Cuáles son las indicaciones de cuidado de los casos positivos de COVID-19?; y ¿Cuáles son los criterios para entregar licencia médica a trabajadores que resulten positivos de COVID-19?. Selección de países de interés. Para definir los países de interés, se utilizó el Ranking de Resiliencia de COVID, el cual los jerarquiza en función de su desempeño y logros durante la pandemia. Este ranking se basa en 11 indicadores. Los países seleccionados fueron: Irlanda; Noruega; Arabia Saudita; Dinamarca; Países Bajos; Australia; Suiza; Colombia; Singapur; Bélgica; Israel; y Alemania. Se buscó información exclusivamente en las páginas web oficiales y en documentos elaborados por instituciones gubernamentales. RESULTADO - De los 12 países revisados, 10 no establecen el aislamiento como obligatorio para los casos positivos de COVID-19. - Colombia y Arabia Saudita mantienen indicaciones de aislamiento obligatorio a mayo del 2023, estableciendo periodos de 7 y de 7 a 21 días, respectivamente. - Ocho de los países actualizaron sus indicaciones de aislamiento durante el primer semestre del año 2023.
Assuntos
Isolamento Social , Quarentena , Epidemiologia , Transmissão de Doença Infecciosa , Distanciamento Físico , COVID-19 , Chile , Saúde PúblicaRESUMO
ANTECEDENTES Y OBJETIVO Tras 3 años de pandemia, la OMS ha declarado que el COVID-19 no constituye una Emergencia de Salud Pública de Importancia Internacional. En Chile, la Comisión Nacional de Respuesta Pandémica del Ministerio de Salud se ha propuesto reevaluar las medidas de aislamiento y las licencias laborales de casos positivos por COVID-19, para lo cual ha solicitado la presente Síntesis Rápida de Evidencia. METODOLOGÍA Se realizó una estrategia de búsqueda amplia en EMBASE y MEDLINE, a través de OVID, y una búsqueda específica en GOOGLE, sin filtrar por estudios primarios o secundarios. Se identificaron 2.128 referencias, de las cuales se incluyeron 3 estudios tras eliminar los duplicados y aplicar los criterios de inclusión y exclusión. Se utiliza la metodología de la certeza de evidencia GRADE. RESULTADOS Se describen normativas de 12 países - La variante ómicron tiene un periodo medio de contagio de 3,6 días, IC 95%: 3,5 a 6,6 días (certeza de la evidencia alta). - El 81% de los contagios ocurren antes del 5to día desde el inicio de síntomas (certeza de la evidencia alta). - No se identificó evidencia respecto al impacto del aislamiento obligatorio en la morbi-mortalidad asociada al COVID-19, en los estudios incluidos.