ENTRE PROMPTS E RESPOSTAS: UMA ANÁLISE COMPARATIVA DO DESEMPENHO DE CHATGPT E META AI

Autores

DOI:

https://doi.org/10.5902/2675995096937

Palavras-chave:

Inteligência Artificial, Inteligência Artificial Generativa, Educação 5.0, Informática na Educação, Inteligência Artificial na Educação

Resumo

O presente estudo compara a acurácia de duas plataformas de IA generativa, ChatGPT e Meta AI, em diferentes contextos de aplicação. Para isso, analisa as respostas de cada modelo a 30 prompts de distintos tipos (objetivos, hipotéticos, criativos e aplicados). Os resultados indicam que o ChatGPT apresenta desempenho superior em tarefas que exigem criatividade e profundidade analítica, enquanto a Meta AI se mostra mais eficiente em fornecer respostas rápidas, concisas e tecnicamente objetivas. Observam-se ainda diferenças nas arquiteturas e nos métodos de treinamento, que impactam a capacidade de cada Inteligência Artificial em compreender e gerar respostas para diferentes inputs. Conclui-se que a escolha entre os modelos deve ser orientada pelas necessidades específicas de uso, especialmente em contextos educacionais marcados pela crescente integração da IA aos processos pedagógicos.

Downloads

Não há dados estatísticos.

Biografia do Autor

Arthur Marques de Oliveira, Universidade Federal do Rio Grande do Sul

Professor dos cursos de Tecnologia da Informação do Centro Universitário CESUCA. Doutorando em Informática na Educação (PPGIE) e em Estudos da Linguagem (PPGLET), ambos pela Universidade Federal do Rio Grande do Sul (UFRGS). Mestre em Estudos da Linguagem pelo PPGLET/UFRGS, com bolsa do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq). Graduado em Gestão de Sistemas de Informação pelo Centro Universitário Uniftec (2020). Membro da Sociedade Brasileira de Computação. Seus interesses de pesquisa incluem Inteligência Artificial (IA), co-inteligência artificial, Sociolinguística, Linguística Queer, formação de professores, Tecnologias Educacionais, Ensino a Distância e o desenvolvimento de Materiais Educacionais Digitais (MEDs). Dedica-se a pesquisas transdisciplinares que investigam a construção de identidades, gêneros, sujeitos e práticas linguísticas, articulando tecnologia, inovação, educação e diversidade.

José Vitor Guilhem Garcia, Centro Universitário CESUCA

Sou estudante de Ciência da Computação pelo Centro Universitário Cesuca, com formação técnica em Informática para Internet pelo Instituto Federal Sul-rio-grandense (IFSUL). Minha atuação profissional e acadêmica é voltada para DevOps e Cloud Computing, com ênfase em práticas de automação, infraestrutura como código e melhoria contínua. Possuo experiência em pipelines de CI/CD, conteinerização com Docker, provisionamento de ambientes em nuvem utilizando Terraform, além de vivência com serviços AWS e Azure.Minha trajetória inclui participação em projetos práticos, treinamentos especializados em DevOps e atividades extracurriculares que complementam minha formação técnica, como o desenvolvimento de aplicações web, liderança estudantil e atuação como instrutor voluntário. Busco aprofundar meus conhecimentos na integração entre desenvolvimento e operações, contribuindo para soluções tecnológicas eficientes, escaláveis e alinhadas às boas práticas do setor. 

João Gabriel Abreu, Centro Universitário CESUCA

Estudante do curso de Ciência da Computação no Centro Universitário CESUCA. Atualmente é Engenheiro de Software da TQI CONSULTORIA E DESENVOLVIMENTO LTDA. Tem experiência na área de Ciência da Computação , com ênfase em Inteligência Artificial.

João Vitor Prestes Grando, Centro Universitário CESUCA

Estudante do Curso de Ciência da Computação no Centro Universitário CESUCA. Desenvolvedor de Software com experiência em aplicações de tecnologias Java, Kotlin, Spring Boot, C#, .NET, Golang, Node.js e Flutter, atuando como FullStack. Trabalho com microsserviços, padrões de projeto, CI/CD, mensageria, containerização, APIs REST, otimização de desempenho, integrações externas. Possuo experiência em bancos de dados relacionais e não relacionais, e ferramentas de observabilidade. Atuo em sistemas corporativos de pequeno e grande porte, nas áreas de varejo, IA, gestão, financeira e plataformas educacionais

Eduardo Mello Garcia, Centro Universitário CESUCA

Possui ensino-medio-segundo-graupelo INSTITUTO FEDERAL SUL-RIO-GRANDENSE CAMPUS GRAVATAI(2022). Atualmente é SOFTWARE ENGINEER FULL STACK JS JR IV da SOFTDESIGN - CONSULTORIA E SISTEMAS LTDA. Tem experiência na área de Ciência da Computação. 

Referências

ARRUDA, E. P. Inteligência artificial generativa no contexto da transformação do trabalho docente. Revista Ibero-Americana de Humanidades, Ciências e Educação, v. 10, n. 3, 2024.

BARBOSA, X.; BEZERRA, R. Breve Introdução à história da Inteligência Artificial. Jamaxi, v. 4, n. 2, 2020. Disponível em: https://periodicos.ufac.br/index.php/jamaxi/article/view/4730/2695. Acesso em: 10 out. 2024.

BARROS, D. M. V.; GUERREIRO, A. M. Novos desafios da educação a distância: programação e uso de chatbots. Revista Espaço Pedagógico, v. 26, n. 2, p. 410-431, 2019.

BAUMAN, Z. Modernidade Líquida. Rio de Janeiro: Zahar, 2001.

BROWN, T. B. et al. Language models are few-shot learners. In: Advances in Neural Information Processing Systems, 2020. p. 1877-1901. Disponível em: https://arxiv.org/abs/2005.14165. Acesso em: 12 out. 2024.

CRESWELL, J. W. Research design: qualitative, quantitative, and mixed methods approaches. 4. ed. Los Angeles: Sage, 2010.

FROHBERG, Jörg; BINDER, Frank. CRASS: a novel data set and benchmark to test counterfactual reasoning of large language models. In: PROCEEDINGS OF THE 13TH CONFERENCE ON LANGUAGE RESOURCES AND EVALUATION (LREC 2022), 2022, Marseille: European Language Resources Association (ELRA), 2022. p. 2126-2140.

GOODFELLOW, I.; BENGIO, Y.; COURVILLE, A. Deep Learning. Cambridge: MIT Press, 2016.

GUPTA, V. An Empirical Evaluation of a Generative Artificial Intelligence Technology Adoption Model from Entrepreneurs’ Perspectives. Systems, v. 12, n. 3, p. 103, 2024. Disponível em: https://doi.org/10.3390/systems12030103. Acesso em: 08 out. 2024.

HAGOS, D. H.; BATTLE, R.; RAWAT, D. B. Recent Advances in Generative AI and Large Language Models: current status, challenges, and perspectives. IEEE Access, 2023. Disponível em: https://ar5iv.org/2407.14962. Acesso em: 24 out. 2024.

LAKE, B. M.; ULLMAN, T. D.; TENENBAUM, J. B. Building machines that learn and think like people. Behavioral and Brain Sciences, v. 40, 2017.

LECUN, Y.; BENGIO, Y.; HINTON, G. Deep learning. Nature, v. 521, n. 7553, p. 436-444, 2015.

LEE, C. Bias in AI training data and its impact on model accuracy. AI Ethics Journal, 2022.

LI, Z.; YI, W.; CHEN, J. Accuracy of training data and model outputs in Generative AI: CREATe Response to the Information Commissioner Office Consultation. 2024. Disponível em: https://doi.org/10.48550/arXiv.2407.13072. Acesso em: 10 out. 2024.

MAI, Duong Thi Thuy; DA, Can Van; HANH, Nguyen Van. The use of ChatGPT in teaching and learning: a systematic review through SWOT analysis approach. Frontiers in Education, v. 9, art. 1328769, 2024. DOI: https://doi.org/10.3389/feduc.2024.1328769. Disponível em: https://www.frontiersin.org/journals/education/articles/10.3389/feduc.2024.1328769/full. Acesso em: 20 out. 2024.

MCKINSEY & COMPANY. The state of AI in 2023: Generative AI’s breakout year. 2023. Disponível em: https://www.mckinsey.com/featured-insights/mckinsey-technology/the-state-of-ai-in-2023-generative-ais-breakout-year. Acesso em: 31 out. 2024.

META AI. Llama 2: Open Foundation and Fine-Tuned Chat Models. Technical Report. 2023. Disponível em: https://ai.meta.com/research.

NATURE. Tools such as ChatGPT threaten transparent science; here are our ground rules for their use. Nature, [s. l.], v. 613, n. 7945, p. 612, jan. 2023.

NICOLESCU, B. Manifesto da transdisciplinaridade. Tradução de Lúcia Pereira de Souza. São Paulo: Triom, 2002.

OBJECTIVE. IA Generativa: saiba o que é e como mudou o mundo dos negócios. Disponível em: https://www.objective.com.br/insights/ia-generativa/.

OLIVEIRA, Arthur Marques de; ZATTI, Jordana Kunsler; FERREIRA, Greici Espindola. Entre as inteligências humana e artificial: um estudo sobre co-inteligência e curadoria informacional. Revista InovaEduTech, Ibiá, v. 1, n. 2, p. 50-73, jan./dez. 2025. DOI: 10.63103/8zdh3h10. ISSN 3085-6558.

OPENAI. GPT-4 Technical Report. [S. l.]: OpenAI, 2023. Disponível em: https://openai.com/research/gpt-4. Acesso em: 14 out. 2024.

RUSSELL, S. J. Inteligência artificial. Rio de Janeiro: Elsevier, 2013.

RUSSELL, S.; NORVIG, P. Artificial Intelligence: a modern approach. 4. ed. Harlow: Pearson, 2016.

SUN, W. et al. Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents. In: CONFERENCE ON EMPIRICAL METHODS IN NATURAL LANGUAGE PROCESSING, 2023, Singapore. Proceedings [...]. Singapore: Association for Computational Linguistics, 2023. p. 14918-14937. Disponível em: https://aclanthology.org/2023.emnlp-main.923. Acesso em: 04 out. 2024.

VASSALI, H.; JANISSEK-MUNIZ, R. O lado “sombrio” da inteligência artificial: uma revisão sistemática da literatura. In: ENCONTRO DA ANPAD, 46., 2022, Maringá. Anais eletrônicos [...]. Maringá: ANPAD, 2022. Disponível em: https://anpad.com.br/uploads/articles/120/approved/4639475d6782a08c1e964f9a4329a254.pdf. Acesso em: 24 out. 2024.

VASWANI, A. et al. Attention is all you need. In: ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS, 30., 2017. Proceedings [...]. [S. l.: s. n.], 2017. p. 5998-6008. Disponível em: https://arxiv.org/abs/1706.03762. Acesso em: 24 out. 2024.

VICARI, R. et al. A integração da IA na educação: ensino adaptativo e personalizado. Educação & Tecnologia, [S. l.], 2024. Disponível em: https://cieb.net.br/wp-content/uploads/2024/06/Inteligencia-Artificial-na-Educacao-Basica_2024.pdf. Acesso em: 20 out. 2024.

VICARI, R. M. Influências das Tecnologias da Inteligência Artificial no ensino. Revista USP, São Paulo, n. 131, p. 77-88, 2021. DOI: https://doi.org/10.1590/s0103-4014.2021.35101.006.

WANG, Yufei. Aligning Large Language Models with Human: a survey. arXiv preprint arXiv:2307.12966, 2023. Disponível em: https://arxiv.org/abs/2307.12966. Acesso em: 26 nov. 2024.

Wang, B.; Xu, C.; Wang, S.; Gan, Z.; Cheng, Y.; Gao, J.; Awadallah, A. H.; Li, B. Adversarial GLUE: a multi-task benchmark for robustness evaluation of language models. In: ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS (NeurIPS), Datasets and Benchmarks Track, 2021.

WEI, J. Few-shot prompting techniques for enhancing AI model performance. AI Review, 2022. Disponível em: https://openreview.net/forum?id=_VjQlMeSB_J. Acesso em: 04 out. 2024.

WHITE, Jules et al. A prompt pattern catalog to enhance prompt engineering with ChatGPT. arXiv preprint arXiv:2302.11382, 2023. Disponível em: https://arxiv.org/abs/2302.11382. Acesso em: 26 nov. 2024.

ZAWACKI-RICHTER, O. et al. Systematic review of research on artificial intelligence applications in higher education – where are the educators? International Journal of Educational Technology in Higher Education, [s. l.], v. 16, n. 1, p. 1-27, out. 2019.

ZHAO, L. et al. Training strategies for high-accuracy generative AI models. AI Development Journal, 2024.

Downloads

Publicado

2026-08-31

Edição

ReTER – v. 7, n. 1, 2026 – Publicação Contínua

Seção

Dossiê - Inteligência Artificial na Educação

Licença

Autores que publicam nesta revista concordam com os seguintes termos:

  • Autores mantém os direitos autorais e concedem à revista o direito de primeira publicação, com o trabalho simultaneamente licenciado sob a Licença Creative Commons Attribution que permite o compartilhamento do trabalho com reconhecimento da autoria e publicação inicial nesta revista.
  • Autores têm autorização para assumir contratos adicionais separadamente, para distribuição não-exclusiva da versão do trabalho publicada nesta revista (ex.: publicar em repositório institucional ou como capítulo de livro), com reconhecimento de autoria e publicação inicial nesta revista.
  • Autores têm permissão e são estimulados a publicar e distribuir seu trabalho online (ex.: em repositórios institucionais ou na sua página pessoal) a qualquer ponto antes ou durante o processo editorial, já que isso pode gerar alterações produtivas, bem como aumentar o impacto e a citação do trabalho publicado, com reconhecimento de autoria e publicação inicial nesta revista.