Confiabilidade entre avaliadores em foco: o processo de atribuição de notas e a reavaliação na Parte Escrita do Celpe-Bras

Autores

DOI:

https://doi.org/10.5902/2176148589188

Palavras-chave:

Celpe-Bras, Parte Escrita, Confiabilidade

Resumo

Este artigo apresenta discussões sobre a confiabilidade entre avaliadores na Parte Escrita do Exame Celpe-Bras. A partir de dados de três edições do exame (2016.1, 2016.2 e 2017.1), o estudo pauta o consenso e a discrepância entre avaliadores durante o processo de avaliação, bem como o impacto da reavaliação de textos com notas discrepantes na definição da nota final da Parte Escrita e do nível de certificação. Os dados e análises apresentados fornecem evidências para atestar a confiabilidade entre avaliadores no processo de avaliação da Parte Escrita do Celpe-Bras.

Downloads

Não há dados estatísticos.

Biografia do Autor

Giovana Lazzaretti Segat, Universidade Federal do Rio Grande do Sul

Doutoranda em Linguística Aplicada no Programa de Pós-Graduação em Letras da Universidade Federal do Rio Grande do Sul (UFRGS). Mestre em Linguística Aplicada e graduada em Licenciatura em Letras - Língua Portuguesa, Língua Espanhola e suas respectivas Literaturas pela mesma instituição. Realizou mobilidade acadêmica na Universidad Nacional de Córdoba, Argentina (Facultad de Lenguas y Facultad de Filosofía y Humanidades). É membro do grupo de pesquisa Avalia - Avaliação de uso da linguagem (UFRGS). Atua como professora da educação básica na rede privada de ensino de Porto Alegre. Também participa da aplicação e da avaliação do Exame Celpe-Bras e tem experiência no ensino de português como língua materna e adicional e no ensino de espanhol como língua adicional, em diferentes níveis de ensino. Entre seus interesses de pesquisa estão o ensino e a avaliação de português e espanhol e a formação de professores.

Juliana Roquele Schoffen, Universidade Federal do Rio Grande do Sul

Doutora em Linguística Aplicada (2009) pela UFRGS. É professora do Instituto de Letras da Universidade Federal do Rio Grande do Sul. Desenvolve pesquisas sobre avaliação e a concepção bakhtiniana de gêneros do discurso e sua relação com o ensino de línguas. É membro da Comissão Técnico-Científica do exame Celpe-Bras desde 2008 e lidera o grupo de pesquisa Avalia - Avaliação de uso da linguagem (UFRGS).

Ana Beatriz Âreas da Luz Fontes, Universidade Federal do Rio Grande do Sul

Possui mestrado e doutorado em Psicologia Social, Cognitiva e Neurociência pela UTEP (2008, 2010). Tem experiência de pesquisa em Psicolinguística e Bilinguismo. Atualmente, é professora do Instituto de Letras e membro permanente do Programa de Pós-Graduação em Letras da Universidade Federal do Rio Grande do Sul e coordena o grupo de pesquisa ProLinGue.

Referências

BAKHTIN, Mikhail Mikhailovich. Estética da criação verbal. São Paulo: Martins Fontes, 2003.

BACHMAN, Lyle F.; PALMER, Adrian S. Language testing in practice: Designing and developing useful language tests. Oxford: Oxford University Press, 1996.

BRASIL. Guia do Participante: tarefas comentadas que compõem a edição de abril de 2013 do exame. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, Ministério da Educação, 2013.

BRASIL. Documento base do exame Celpe-Bras [recurso eletrônico]. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), 2020.

CHAPELLE, Carol A. Reliability in language assessment. Iowa State University, 2013.

CLARK, Herbert. Using Language. Cambridge: Cambridge University Press, 1996.

DAVIS, Larry. The influence of training and experience on rater performance in scoring spoken language. Language Testing, v. 33, n. 1, p. 117–135, 2016.

KNOCH, Ute; SITAJALABHORN, Woranon. A closer look at integrated writing tasks: Towards a more focused definition for assessment purposes. Assessing Writing, v. 18, n. 4, p. 300-308, 2013.

MCNAMARA, Timothy Francis. Measuring Second Language Performance. Londres: Longman, 1996.

MCNAMARA, Timothy Francis. Language Testing. In: DAVIES, Alan; ELDER, Catherine. The Handbook of Applied Linguistics. Londres: Blackwell Publishing, 2004.

MCKAY, Todd; PLONSKY, Luke. Reliability Analyses: Estimating Error. In: WINKE, Paula; BRUNFAUT, Tineke. The Routledge Handbook of Second Language Acquisition and Language Testing. London: Routledge, 2021.

MENDEL, Kaiane. Proficiência e autoria na avaliação integrada de leitura e escrita do exame Celpe-Bras. Dissertação (Mestrado em Letras) - Universidade Federal do Rio Grande do Sul, Porto Alegre, 2019.

NEVES, Liliane de Oliveira. Confiabilidade e comportamento avaliativo na prova oral do exame Celpe-Bras: um estudo longitudinal. 2018. Tese (Doutorado em Estudos da Linguagem) - Centro Federal de Educação Tecnológica de Minas Gerais, Belo Horizonte, 2018.

SCHLATTER, Margarete; SCARAMUCCI, Matilde; PRATI, Silvia; ACUÑA, Leonor. Celpe-Bras e Celu: impactos da construção de parâmetros comuns de avaliação de proficiência em portugês e em espanhol. In: FONTANA, Mónica Zoppi (Org.) O português do Brasil como língua transnacional. Campinas: RG Editora, 2009.

SCHLATTER, Margarete; NUNES, Luciana Neves; KUNRATH, Simone Paula. Análise descritiva da parte escrita do exame CELPE-BRAS. Brasília, 2021.

SCHOFFEN, Juliana Roquele. Gêneros do discurso e parâmetros de avaliação de proficiência em português como língua estrangeira no exame Celpe-Bras. Tese (Doutorado em Linguística Aplicada) - Universidade Federal do Rio Grande do Sul, Porto Alegre, 2009.

SEGAT, Giovana Lazzaretti. Estudos sobre confiabilidade em exames de proficiência: o processo de atribuição de notas e a reavaliação na parte escrita do Celpe-Bras. Dissertação (Mestrado em Letras) - Universidade Federal do Rio Grande do Sul, Porto Alegre, 2023.

STEMLER, Steven. A comparison of consensus consistency and measurement approaches to estimating interrater reliability. Practical Assessment Research & Evaluation, v.9, n. 4, 2004.

WANG, Jue; ENGELHARD, George; RACZYNSKI, Kevin; SONG, Tian; WOLFE; Edward. Evaluating rater accuracy and perception for integrated writing assessments using a mixed-methods approach. Assessing Writing, v. 33, 2017.

WHEELAN, Charles. Estatística: o que é, para que serve, como funciona. Rio de Janeiro: Zahar, 2016.

YAN, Xun; FAN, Jason. Reliability and dependability. In: FULCHER, Glenn; HARDING, Luke. The Routledge Handbook of Language Testing. 2. ed. London: Routledge, 2022. pp. 477-494.

Downloads

Publicado

2025-07-04

Como Citar

Segat, G. L., Schoffen, J. R., & Fontes, A. B. Âreas da L. (2025). Confiabilidade entre avaliadores em foco: o processo de atribuição de notas e a reavaliação na Parte Escrita do Celpe-Bras. Letras, 34(1), e89188. https://doi.org/10.5902/2176148589188

Edição

v. 34 n. 1 (2025): Dossiê Especial - 1/2025: Linguística Aplicada à análise de testes e exames

Seção

Artigos

Licença

Copyright (c) 2025 Letras

Creative Commons License

Este trabalho está licenciado sob uma licença Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.

Ficam concedidos a Letras todos os direitos autorais referentes aos trabalhos publicados. Os originais não devem ter sido publicados ou submetidos simultaneamente a outro periódico e não serão devolvidos. Em virtude de aparecerem nesta revista de acesso público, os artigos são de uso gratuito, com atribuições próprias, em aplicações educacionais e não comerciais.