BETWEEN PROMPTS AND RESPONSES: A COMPARATIVE ANALYSIS OF THE PERFORMANCE OF CHATGPT AND META AI

Authors

DOI:

https://doi.org/10.5902/2675995096937

Keywords:

Artificial Intelligence, Generative Artificial Intelligence, Education 5.0, Informatics in Education, Artificial Intelligence in Education

Abstract

This study compares the accuracy of two generative AI platforms, ChatGPT and Meta AI, across different application contexts. It examines the responses of each model to 30 prompts of distinct types (objective, hypothetical, creative, and applied). The results indicate that ChatGPT performs better in tasks requiring creativity and analytical depth, whereas Meta AI is more efficient in providing fast, concise, and technically objective answers. Differences are also observed in the models’ architectures and training methods, which affect their ability to understand and generate responses to different inputs. The study concludes that the choice between the models should be guided by the specific requirements of use, particularly in educational contexts marked by the growing integration of AI into pedagogical processes.

Downloads

Download data is not yet available.

Author Biographies

Arthur Marques de Oliveira, Universidade Federal do Rio Grande do Sul

Professor dos cursos de Tecnologia da Informação do Centro Universitário CESUCA. Doutorando em Informática na Educação (PPGIE) e em Estudos da Linguagem (PPGLET), ambos pela Universidade Federal do Rio Grande do Sul (UFRGS). Mestre em Estudos da Linguagem pelo PPGLET/UFRGS, com bolsa do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq). Graduado em Gestão de Sistemas de Informação pelo Centro Universitário Uniftec (2020). Membro da Sociedade Brasileira de Computação. Seus interesses de pesquisa incluem Inteligência Artificial (IA), co-inteligência artificial, Sociolinguística, Linguística Queer, formação de professores, Tecnologias Educacionais, Ensino a Distância e o desenvolvimento de Materiais Educacionais Digitais (MEDs). Dedica-se a pesquisas transdisciplinares que investigam a construção de identidades, gêneros, sujeitos e práticas linguísticas, articulando tecnologia, inovação, educação e diversidade.

José Vitor Guilhem Garcia, Centro Universitário CESUCA

Sou estudante de Ciência da Computação pelo Centro Universitário Cesuca, com formação técnica em Informática para Internet pelo Instituto Federal Sul-rio-grandense (IFSUL). Minha atuação profissional e acadêmica é voltada para DevOps e Cloud Computing, com ênfase em práticas de automação, infraestrutura como código e melhoria contínua. Possuo experiência em pipelines de CI/CD, conteinerização com Docker, provisionamento de ambientes em nuvem utilizando Terraform, além de vivência com serviços AWS e Azure.Minha trajetória inclui participação em projetos práticos, treinamentos especializados em DevOps e atividades extracurriculares que complementam minha formação técnica, como o desenvolvimento de aplicações web, liderança estudantil e atuação como instrutor voluntário. Busco aprofundar meus conhecimentos na integração entre desenvolvimento e operações, contribuindo para soluções tecnológicas eficientes, escaláveis e alinhadas às boas práticas do setor. 

João Gabriel Abreu, Centro Universitário CESUCA

Estudante do curso de Ciência da Computação no Centro Universitário CESUCA. Atualmente é Engenheiro de Software da TQI CONSULTORIA E DESENVOLVIMENTO LTDA. Tem experiência na área de Ciência da Computação , com ênfase em Inteligência Artificial.

João Vitor Prestes Grando, Centro Universitário CESUCA

Estudante do Curso de Ciência da Computação no Centro Universitário CESUCA. Desenvolvedor de Software com experiência em aplicações de tecnologias Java, Kotlin, Spring Boot, C#, .NET, Golang, Node.js e Flutter, atuando como FullStack. Trabalho com microsserviços, padrões de projeto, CI/CD, mensageria, containerização, APIs REST, otimização de desempenho, integrações externas. Possuo experiência em bancos de dados relacionais e não relacionais, e ferramentas de observabilidade. Atuo em sistemas corporativos de pequeno e grande porte, nas áreas de varejo, IA, gestão, financeira e plataformas educacionais

Eduardo Mello Garcia, Centro Universitário CESUCA

Possui ensino-medio-segundo-graupelo INSTITUTO FEDERAL SUL-RIO-GRANDENSE CAMPUS GRAVATAI(2022). Atualmente é SOFTWARE ENGINEER FULL STACK JS JR IV da SOFTDESIGN - CONSULTORIA E SISTEMAS LTDA. Tem experiência na área de Ciência da Computação. 

References

ARRUDA, E. P. Inteligência artificial generativa no contexto da transformação do trabalho docente. Revista Ibero-Americana de Humanidades, Ciências e Educação, v. 10, n. 3, 2024.

BARBOSA, X.; BEZERRA, R. Breve Introdução à história da Inteligência Artificial. Jamaxi, v. 4, n. 2, 2020. Disponível em: https://periodicos.ufac.br/index.php/jamaxi/article/view/4730/2695. Acesso em: 10 out. 2024.

BARROS, D. M. V.; GUERREIRO, A. M. Novos desafios da educação a distância: programação e uso de chatbots. Revista Espaço Pedagógico, v. 26, n. 2, p. 410-431, 2019.

BAUMAN, Z. Modernidade Líquida. Rio de Janeiro: Zahar, 2001.

BROWN, T. B. et al. Language models are few-shot learners. In: Advances in Neural Information Processing Systems, 2020. p. 1877-1901. Disponível em: https://arxiv.org/abs/2005.14165. Acesso em: 12 out. 2024.

CRESWELL, J. W. Research design: qualitative, quantitative, and mixed methods approaches. 4. ed. Los Angeles: Sage, 2010.

FROHBERG, Jörg; BINDER, Frank. CRASS: a novel data set and benchmark to test counterfactual reasoning of large language models. In: PROCEEDINGS OF THE 13TH CONFERENCE ON LANGUAGE RESOURCES AND EVALUATION (LREC 2022), 2022, Marseille: European Language Resources Association (ELRA), 2022. p. 2126-2140.

GOODFELLOW, I.; BENGIO, Y.; COURVILLE, A. Deep Learning. Cambridge: MIT Press, 2016.

GUPTA, V. An Empirical Evaluation of a Generative Artificial Intelligence Technology Adoption Model from Entrepreneurs’ Perspectives. Systems, v. 12, n. 3, p. 103, 2024. Disponível em: https://doi.org/10.3390/systems12030103. Acesso em: 08 out. 2024.

HAGOS, D. H.; BATTLE, R.; RAWAT, D. B. Recent Advances in Generative AI and Large Language Models: current status, challenges, and perspectives. IEEE Access, 2023. Disponível em: https://ar5iv.org/2407.14962. Acesso em: 24 out. 2024.

LAKE, B. M.; ULLMAN, T. D.; TENENBAUM, J. B. Building machines that learn and think like people. Behavioral and Brain Sciences, v. 40, 2017.

LECUN, Y.; BENGIO, Y.; HINTON, G. Deep learning. Nature, v. 521, n. 7553, p. 436-444, 2015.

LEE, C. Bias in AI training data and its impact on model accuracy. AI Ethics Journal, 2022.

LI, Z.; YI, W.; CHEN, J. Accuracy of training data and model outputs in Generative AI: CREATe Response to the Information Commissioner Office Consultation. 2024. Disponível em: https://doi.org/10.48550/arXiv.2407.13072. Acesso em: 10 out. 2024.

MAI, Duong Thi Thuy; DA, Can Van; HANH, Nguyen Van. The use of ChatGPT in teaching and learning: a systematic review through SWOT analysis approach. Frontiers in Education, v. 9, art. 1328769, 2024. DOI: https://doi.org/10.3389/feduc.2024.1328769. Disponível em: https://www.frontiersin.org/journals/education/articles/10.3389/feduc.2024.1328769/full. Acesso em: 20 out. 2024.

MCKINSEY & COMPANY. The state of AI in 2023: Generative AI’s breakout year. 2023. Disponível em: https://www.mckinsey.com/featured-insights/mckinsey-technology/the-state-of-ai-in-2023-generative-ais-breakout-year. Acesso em: 31 out. 2024.

META AI. Llama 2: Open Foundation and Fine-Tuned Chat Models. Technical Report. 2023. Disponível em: https://ai.meta.com/research.

NATURE. Tools such as ChatGPT threaten transparent science; here are our ground rules for their use. Nature, [s. l.], v. 613, n. 7945, p. 612, jan. 2023.

NICOLESCU, B. Manifesto da transdisciplinaridade. Tradução de Lúcia Pereira de Souza. São Paulo: Triom, 2002.

OBJECTIVE. IA Generativa: saiba o que é e como mudou o mundo dos negócios. Disponível em: https://www.objective.com.br/insights/ia-generativa/.

OLIVEIRA, Arthur Marques de; ZATTI, Jordana Kunsler; FERREIRA, Greici Espindola. Entre as inteligências humana e artificial: um estudo sobre co-inteligência e curadoria informacional. Revista InovaEduTech, Ibiá, v. 1, n. 2, p. 50-73, jan./dez. 2025. DOI: 10.63103/8zdh3h10. ISSN 3085-6558.

OPENAI. GPT-4 Technical Report. [S. l.]: OpenAI, 2023. Disponível em: https://openai.com/research/gpt-4. Acesso em: 14 out. 2024.

RUSSELL, S. J. Inteligência artificial. Rio de Janeiro: Elsevier, 2013.

RUSSELL, S.; NORVIG, P. Artificial Intelligence: a modern approach. 4. ed. Harlow: Pearson, 2016.

SUN, W. et al. Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents. In: CONFERENCE ON EMPIRICAL METHODS IN NATURAL LANGUAGE PROCESSING, 2023, Singapore. Proceedings [...]. Singapore: Association for Computational Linguistics, 2023. p. 14918-14937. Disponível em: https://aclanthology.org/2023.emnlp-main.923. Acesso em: 04 out. 2024.

VASSALI, H.; JANISSEK-MUNIZ, R. O lado “sombrio” da inteligência artificial: uma revisão sistemática da literatura. In: ENCONTRO DA ANPAD, 46., 2022, Maringá. Anais eletrônicos [...]. Maringá: ANPAD, 2022. Disponível em: https://anpad.com.br/uploads/articles/120/approved/4639475d6782a08c1e964f9a4329a254.pdf. Acesso em: 24 out. 2024.

VASWANI, A. et al. Attention is all you need. In: ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS, 30., 2017. Proceedings [...]. [S. l.: s. n.], 2017. p. 5998-6008. Disponível em: https://arxiv.org/abs/1706.03762. Acesso em: 24 out. 2024.

VICARI, R. et al. A integração da IA na educação: ensino adaptativo e personalizado. Educação & Tecnologia, [S. l.], 2024. Disponível em: https://cieb.net.br/wp-content/uploads/2024/06/Inteligencia-Artificial-na-Educacao-Basica_2024.pdf. Acesso em: 20 out. 2024.

VICARI, R. M. Influências das Tecnologias da Inteligência Artificial no ensino. Revista USP, São Paulo, n. 131, p. 77-88, 2021. DOI: https://doi.org/10.1590/s0103-4014.2021.35101.006.

WANG, Yufei. Aligning Large Language Models with Human: a survey. arXiv preprint arXiv:2307.12966, 2023. Disponível em: https://arxiv.org/abs/2307.12966. Acesso em: 26 nov. 2024.

Wang, B.; Xu, C.; Wang, S.; Gan, Z.; Cheng, Y.; Gao, J.; Awadallah, A. H.; Li, B. Adversarial GLUE: a multi-task benchmark for robustness evaluation of language models. In: ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS (NeurIPS), Datasets and Benchmarks Track, 2021.

WEI, J. Few-shot prompting techniques for enhancing AI model performance. AI Review, 2022. Disponível em: https://openreview.net/forum?id=_VjQlMeSB_J. Acesso em: 04 out. 2024.

WHITE, Jules et al. A prompt pattern catalog to enhance prompt engineering with ChatGPT. arXiv preprint arXiv:2302.11382, 2023. Disponível em: https://arxiv.org/abs/2302.11382. Acesso em: 26 nov. 2024.

ZAWACKI-RICHTER, O. et al. Systematic review of research on artificial intelligence applications in higher education – where are the educators? International Journal of Educational Technology in Higher Education, [s. l.], v. 16, n. 1, p. 1-27, out. 2019.

ZHAO, L. et al. Training strategies for high-accuracy generative AI models. AI Development Journal, 2024.

Downloads

Published

2026-08-31

Issue

ReTER – v. 7, n. 1, 2026 – Publicação Contínua

Section

Dossiê - Inteligência Artificial na Educação

License

Autores que publicam nesta revista concordam com os seguintes termos:

  • Autores mantém os direitos autorais e concedem à revista o direito de primeira publicação, com o trabalho simultaneamente licenciado sob a Licença Creative Commons Attribution que permite o compartilhamento do trabalho com reconhecimento da autoria e publicação inicial nesta revista.
  • Autores têm autorização para assumir contratos adicionais separadamente, para distribuição não-exclusiva da versão do trabalho publicada nesta revista (ex.: publicar em repositório institucional ou como capítulo de livro), com reconhecimento de autoria e publicação inicial nesta revista.
  • Autores têm permissão e são estimulados a publicar e distribuir seu trabalho online (ex.: em repositórios institucionais ou na sua página pessoal) a qualquer ponto antes ou durante o processo editorial, já que isso pode gerar alterações produtivas, bem como aumentar o impacto e a citação do trabalho publicado, com reconhecimento de autoria e publicação inicial nesta revista.