Accuracy and Reliability of ChatGPT in responses about Sexually Transmitted Infections
DOI:
https://doi.org/10.65337/recsa.vol3.19227Keywords:
Chatbot, educational tool, artificial intelligence, STI, digital technologyAbstract
In the educational field, ChatGPT is considered a fertile tool for learning. However, the responses it generates may contain inaccuracies and lead inexperienced users to potentially harmful misunderstandings, especially when the information concerns human health, such as doubts about sexually transmitted infections (STIs). This study aimed to evaluate the degree of accuracy and reliability of ChatGPT’s responses regarding STIs. A total of 48 questions were prepared about the eight most frequent STIs in the Brazilian population. All questions were submitted to ChatGPT, version GPT-4, and the answers were analyzed using specialized literature. The results showed a 100% accuracy rate in the generated responses, which were up-to-date and did not encourage risky sexual behavior. Therefore, it is concluded that ChatGPT is capable of providing accurate and reliable information on STIs and can be used as a satisfactory educational tool.
Downloads
References
ALBUQUERQUE, J. S.; LIMA, L. R.; SILVA; R. T. P.; BELTRÃO, L. E. B. F.; SALES, J. K. D. Prevalência de infecções sexualmente transmissíveis em idosos do Brasil. Research, Society and Development, v. 11, n. 14, e360111436387, 2022.
BESERRA, E. P.; PINHEIRO, P. N. C.; ALVES, M. D. S.; BARROSO, M. G. T. Adolescência e vulnerabilidade às doenças sexualmente transmissíveis: uma pesquisa documental. Jornal Brasileiro de Doenças Sexualmente Transmissíveis, v. 20, n. 1, p. 32-35, 2008.
BEZERRA, M. V. D.; MORENO, C. A.; PRADO, N. M. B. L.; SANTOS, A. M. Política de saúde LGBT e sua invisibilidade nas publicações em saúde coletiva. Saúde em Debate, v. 43, n. 8, p. 305–323, 2019.
BRASIL. Ministério da Saúde. Secretaria de Vigilância em Saúde. Departamento de Doenças de Condições Crônicas e Infecções Sexualmente Transmissíveis. Nota Técnica nº 498/2022-CGAHV/DCCI/SVS/MS. Brasília: Ministério da Saúde, 2022.
BRASIL. Ministério da Saúde. Secretaria de Vigilância em Saúde. Departamento de Doenças de Condições Crônicas e Infecções Sexualmente Transmissíveis. Boletim epidemiológico de HIV/AIDS. Brasília: Ministério da Saúde, 2023.
CAMPO-ARIAS, A.; CEBALLO, G. A.; HERAZO, E. Prevalence of pattern of risky behaviors for reproductive and sexual health among middle- and high-school students. Revista Latino-Americana de Enfermagem, v. 18, n. 2, p. 170–174, 2010.
COSTA, A. B. S.; JESUS JUNIOR, A. M.; OLIVEIRA, C. A.; PEREIRA, J. V. O.; SANTOS, M. P. The use of educational technologies in sexual health education with adolescents. Research, Society and Development, v. 12, n. 2, e29812240300, 2023.
DANTAS, M. K. N.; SILVA, U. A. O.; CAMPOS, G. S.; SANTOS, M. Q. C. Conhecimento sobre HIV/AIDS e comportamento sexual de adolescentes: Um estudo de caso no interior do Amazonas. In: YAMAGUCHI, K. K. L.; SANTOS, T. G.; LUZ, F. A.; SANTOS, J. F. (org.). Professores na Amazônia: um olhar sobre a profissão docente no Médio Solimões. Belém: Home, 2024. p. 150-159.
FEITOSA FILHO, H. N.; FURTADO, J. F. C. U.; EULÁLIO, E. C.; RIBEIRO, P. V. C.; PAIVA, L. M. A.; CORREIA, M. M. G. B.; SILVA JÚNIOR, G. B. D. ChatGPT performance in answering medical residency questions in nephrology: a pilot study in Brazil. Jornal Brasileiro de Nefrologia, v. 47, n. 4, e20240254, 2025.
FIALHO, C. B.; BONOMO, M.; SILVA, S. F. M.; MIRANDA, A. E. Perfil epidemiológico de adolescentes vivendo com HIV/AIDS no Espírito Santo, Brasil: um estudo transversal. Journal of Human Growth and Development, v. 33, p. 58-64, 2023.
HU, K. ChatGPT sets record for fastest-growing user base - analyst note. Reuters. 2023. Disponível em: https://www.reuters.com/technology/chatgpt-sets-record-fastest-growing-user-base-analyst-note-2023-02-01. Acesso em: 10 out. 2025.
KUNG, T. H.; CHEATHAM, M.; MEDENILLA, A.; SILLOS, C.; DE LEON, L.; ELEPAÑO, C.; MADRIAGA M.; AGGABAO, R.; DIAZ-CANDIDO, G.; MANINGO, J.; TSENG V. Performance of ChatGPT on USMLE: Potential for AI-assisted medical education using large language models. PLOS Digital Health, v. 9, n. 2, e0000198, 2023.
LEE, P.; BUBECK, S.; PETRO, J. Benefits, limits, and risks of GPT-4 as an AI Chatbot for medicine. New England Journal of Medicine, v. 388, p. 1233-1239, 2023.
LEMOS, J. F. F. Confiabilidade das respostas farmacêuticas dos ChatGPT: uma comparação com a literatura especializada. 2024. 28 f. Trabalho de Conclusão de Curso (Graduação em Farmácia) - Universidade Federal do Rio Grande do Norte, Natal, 2024.
LO, C. K. What is the impact of ChatGPT on education? A rapid review of the literature. Education Sciences, v. 13, n. 4, p. 410, 2023.
LO, C. K.; HEW, K.; JONG, M. The influence of ChatGPT on student engagement: A systematic review and future research agenda. Computers & Education, v. 219, 105100, 2024.
LOIOLA, A.; SACHETE, A. S.; GRANDI, R. H.; GOMES, R. S. Precisão e Confiabilidade do ChatGPT na Percepção de Estudantes da Graduação EaD. EaD em Foco, v. 14, n. 1, e2111, 2024.
NIU, Z.; KUANG, X.; CHEN, J.; CAI, X.; ZHANG, P. The application and challenges of ChatGPT in laboratory medicine. Advances in Laboratory Medicine, 2025.
OMS - Organização Mundial de Saúde. Global health sector strategies on, respectively, HIV, viral hepatitis and sexually transmitted infections for the period 2022-2030. Geneva: World Health Organization; 2022.
PORTO, A. H. R.; SANTOS, D. O.; ALEXANDRE, A. R.; MONFREDINI, G. F.; REIS, S. T.; SILVA, P. G. Avaliação do conhecimento e uso da Profilaxia Pré-Exposição (PrEP) entre populações-chave em um município mineiro. Revista de Medicina da UFC, v. 62, p. 1-7, 2022.
QADIR, J. Engineering Education in the Era of ChatGPT: Promise and Pitfalls of Generative AI for Education IEEE Global Engineering Education Conference, p.1-9, 2023.
RODRIGUES, V.C.C.; LOPES, G. F.; SILVEIRA, G. E. L.; SOUSA, I. B.; SENA, M. M.; LOPES, T. S. S.; AQUINO, P. S. Factors associated with the knowledge and attitude of adolescents 57 regarding male condom use. Revista Brasileira de Enfermagem, v. 73, n. 4, e20190452, 2021.
SANT’ANA, F. P.; SANT’ANA, I. P.; SANT’ANA, C. C. Uma utilização do ChatGPT no ensino. Com a Palavra, O Professor, v. 8, n. 20, p. 74–86, 2023.
SANTOS, B. E. F. S.; OLIVEIRA, C. D. N.; COELHO, G. B. T.; AZEVEDO-SILVA, F. Avaliação da confiabilidade do ChatGPT nas respostas sobre imuno-hematologia. Hematology, Transfusion and Cell Therapy, v. 45, n.4, p. S1004-S1005, 2023.
SANTOS, P. M. R.; SANTOS, K. C.; MAGALHÃES, L. S.; OLIVEIRA, B. R.; CARNEIRO, M. A. S.; SOUZA, M. M.; CAETANO, K. A. A.; PACHECO, L. R.; TELES, S. A. Travestis and transsexual women: who are at higher risk for sexually transmitted infections? Revista Brasileira de Epidemiologia, v. 24, E210017, 2021.
SILVA, R. L.; FRAGA, J.; LACERDA, G. D.; EICHLER, M. L. A Inteligência Artificial frente ao fascismo: uma discussão a partir do ChatGPT. Perspectiva, v. 43, p. 1-22, 2025.
SOUZA, C. O.; CAPISTRANO, C. N. A.; ÁZARA, M. E. S.; SCOFIELD, L. M. D.; PRATA, B. F.; GUEDES, V. A.; BORGES, M. P.; BARBOSA, D. ChatGPT e tomada de decisão em medicina, onde estamos: revisão integrativa. Brazilian Journal of Health Review, v. 7, n. 9, e76024, 2024.
VARGAS-MURILLO, A. R.; DE LA ASUNCION, I. N. M.; DE JESÚS GUEVARA-SOTO, F. Challenges and Opportunities of AI-Assisted Learning: A Systematic Literature Review on the Impact of ChatGPT Usage in Higher Education. International Journal of Learning, Teaching and Educational Research, v. 22, p. 122-135, 2023.
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2025 Revista Educação, Ciências e Sociedade na Amazônia
This work is licensed under a Creative Commons Attribution 4.0 International License.
