Confiabilidade entre avaliadores em foco: o processo de atribuição de notas e a reavaliação na Parte Escrita do Celpe-Bras

Auteurs

DOI :

https://doi.org/10.5902/2176148589188

Mots-clés :

Celpe-Bras, Parte Escrita, Confiabilidade

Résumé

Este artigo apresenta discussões sobre a confiabilidade entre avaliadores na Parte Escrita do Exame Celpe-Bras. A partir de dados de três edições do exame (2016.1, 2016.2 e 2017.1), o estudo pauta o consenso e a discrepância entre avaliadores durante o processo de avaliação, bem como o impacto da reavaliação de textos com notas discrepantes na definição da nota final da Parte Escrita e do nível de certificação. Os dados e análises apresentados fornecem evidências para atestar a confiabilidade entre avaliadores no processo de avaliação da Parte Escrita do Celpe-Bras.

Téléchargements

Les données relatives au téléchargement ne sont pas encore disponibles.

Bibliographies de l'auteur

Giovana Lazzaretti Segat, Universidade Federal do Rio Grande do Sul

Doutoranda em Linguística Aplicada no Programa de Pós-Graduação em Letras da Universidade Federal do Rio Grande do Sul (UFRGS). Mestre em Linguística Aplicada e graduada em Licenciatura em Letras - Língua Portuguesa, Língua Espanhola e suas respectivas Literaturas pela mesma instituição. Realizou mobilidade acadêmica na Universidad Nacional de Córdoba, Argentina (Facultad de Lenguas y Facultad de Filosofía y Humanidades). É membro do grupo de pesquisa Avalia - Avaliação de uso da linguagem (UFRGS). Atua como professora da educação básica na rede privada de ensino de Porto Alegre. Também participa da aplicação e da avaliação do Exame Celpe-Bras e tem experiência no ensino de português como língua materna e adicional e no ensino de espanhol como língua adicional, em diferentes níveis de ensino. Entre seus interesses de pesquisa estão o ensino e a avaliação de português e espanhol e a formação de professores.

Juliana Roquele Schoffen, Universidade Federal do Rio Grande do Sul

Doutora em Linguística Aplicada (2009) pela UFRGS. É professora do Instituto de Letras da Universidade Federal do Rio Grande do Sul. Desenvolve pesquisas sobre avaliação e a concepção bakhtiniana de gêneros do discurso e sua relação com o ensino de línguas. É membro da Comissão Técnico-Científica do exame Celpe-Bras desde 2008 e lidera o grupo de pesquisa Avalia - Avaliação de uso da linguagem (UFRGS).

Ana Beatriz Âreas da Luz Fontes, Universidade Federal do Rio Grande do Sul

Possui mestrado e doutorado em Psicologia Social, Cognitiva e Neurociência pela UTEP (2008, 2010). Tem experiência de pesquisa em Psicolinguística e Bilinguismo. Atualmente, é professora do Instituto de Letras e membro permanente do Programa de Pós-Graduação em Letras da Universidade Federal do Rio Grande do Sul e coordena o grupo de pesquisa ProLinGue.

Références

BAKHTIN, Mikhail Mikhailovich. Estética da criação verbal. São Paulo: Martins Fontes, 2003.

BACHMAN, Lyle F.; PALMER, Adrian S. Language testing in practice: Designing and developing useful language tests. Oxford: Oxford University Press, 1996.

BRASIL. Guia do Participante: tarefas comentadas que compõem a edição de abril de 2013 do exame. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, Ministério da Educação, 2013.

BRASIL. Documento base do exame Celpe-Bras [recurso eletrônico]. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), 2020.

CHAPELLE, Carol A. Reliability in language assessment. Iowa State University, 2013.

CLARK, Herbert. Using Language. Cambridge: Cambridge University Press, 1996.

DAVIS, Larry. The influence of training and experience on rater performance in scoring spoken language. Language Testing, v. 33, n. 1, p. 117–135, 2016.

KNOCH, Ute; SITAJALABHORN, Woranon. A closer look at integrated writing tasks: Towards a more focused definition for assessment purposes. Assessing Writing, v. 18, n. 4, p. 300-308, 2013.

MCNAMARA, Timothy Francis. Measuring Second Language Performance. Londres: Longman, 1996.

MCNAMARA, Timothy Francis. Language Testing. In: DAVIES, Alan; ELDER, Catherine. The Handbook of Applied Linguistics. Londres: Blackwell Publishing, 2004.

MCKAY, Todd; PLONSKY, Luke. Reliability Analyses: Estimating Error. In: WINKE, Paula; BRUNFAUT, Tineke. The Routledge Handbook of Second Language Acquisition and Language Testing. London: Routledge, 2021.

MENDEL, Kaiane. Proficiência e autoria na avaliação integrada de leitura e escrita do exame Celpe-Bras. Dissertação (Mestrado em Letras) - Universidade Federal do Rio Grande do Sul, Porto Alegre, 2019.

NEVES, Liliane de Oliveira. Confiabilidade e comportamento avaliativo na prova oral do exame Celpe-Bras: um estudo longitudinal. 2018. Tese (Doutorado em Estudos da Linguagem) - Centro Federal de Educação Tecnológica de Minas Gerais, Belo Horizonte, 2018.

SCHLATTER, Margarete; SCARAMUCCI, Matilde; PRATI, Silvia; ACUÑA, Leonor. Celpe-Bras e Celu: impactos da construção de parâmetros comuns de avaliação de proficiência em portugês e em espanhol. In: FONTANA, Mónica Zoppi (Org.) O português do Brasil como língua transnacional. Campinas: RG Editora, 2009.

SCHLATTER, Margarete; NUNES, Luciana Neves; KUNRATH, Simone Paula. Análise descritiva da parte escrita do exame CELPE-BRAS. Brasília, 2021.

SCHOFFEN, Juliana Roquele. Gêneros do discurso e parâmetros de avaliação de proficiência em português como língua estrangeira no exame Celpe-Bras. Tese (Doutorado em Linguística Aplicada) - Universidade Federal do Rio Grande do Sul, Porto Alegre, 2009.

SEGAT, Giovana Lazzaretti. Estudos sobre confiabilidade em exames de proficiência: o processo de atribuição de notas e a reavaliação na parte escrita do Celpe-Bras. Dissertação (Mestrado em Letras) - Universidade Federal do Rio Grande do Sul, Porto Alegre, 2023.

STEMLER, Steven. A comparison of consensus consistency and measurement approaches to estimating interrater reliability. Practical Assessment Research & Evaluation, v.9, n. 4, 2004.

WANG, Jue; ENGELHARD, George; RACZYNSKI, Kevin; SONG, Tian; WOLFE; Edward. Evaluating rater accuracy and perception for integrated writing assessments using a mixed-methods approach. Assessing Writing, v. 33, 2017.

WHEELAN, Charles. Estatística: o que é, para que serve, como funciona. Rio de Janeiro: Zahar, 2016.

YAN, Xun; FAN, Jason. Reliability and dependability. In: FULCHER, Glenn; HARDING, Luke. The Routledge Handbook of Language Testing. 2. ed. London: Routledge, 2022. pp. 477-494.

Téléchargements

Publiée

2025-07-04

Comment citer

Segat, G. L., Schoffen, J. R., & Fontes, A. B. Âreas da L. (2025). Confiabilidade entre avaliadores em foco: o processo de atribuição de notas e a reavaliação na Parte Escrita do Celpe-Bras. Letras, 34(1), e89188. https://doi.org/10.5902/2176148589188

Numéro

Vol. 34 No 1 (2025): Dossiê Especial - 1/2025: Linguística Aplicada à análise de testes e exames

Rubrique

Artigos

Licence

(c) Tous droits réservés Letras 2025

Creative Commons License

Ce travail est disponible sous licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Partage dans les Mêmes Conditions 4.0 International.

Ficam concedidos a Letras todos os direitos autorais referentes aos trabalhos publicados. Os originais não devem ter sido publicados ou submetidos simultaneamente a outro periódico e não serão devolvidos. Em virtude de aparecerem nesta revista de acesso público, os artigos são de uso gratuito, com atribuições próprias, em aplicações educacionais e não comerciais.