Inter-rater reliability in focus: the rating process and re-assessment in the Written Part of Celpe-Bras

Authors

DOI:

https://doi.org/10.5902/2176148589188

Keywords:

Celpe-Bras, Written Part, Reliability

Abstract

This article discusses the inter-rater reliability in the Written Part of the Celpe-Bras Exam. Based on data from three editions of the exam (2016.1, 2016.2, and 2017.1), the study addresses both consensus and discrepancies among raters during the rating process, as well as the impact of re-assessing texts with discrepant scores on the final grade for the Written Part and the certification level. The data and analyses presented provide evidence to attest to the inter-rater reliability in the assessment process of the Written Part of the Celpe-Bras.

Downloads

Download data is not yet available.

Author Biographies

Giovana Lazzaretti Segat, Universidade Federal do Rio Grande do Sul

Doutoranda em Linguística Aplicada no Programa de Pós-Graduação em Letras da Universidade Federal do Rio Grande do Sul (UFRGS). Mestre em Linguística Aplicada e graduada em Licenciatura em Letras - Língua Portuguesa, Língua Espanhola e suas respectivas Literaturas pela mesma instituição. Realizou mobilidade acadêmica na Universidad Nacional de Córdoba, Argentina (Facultad de Lenguas y Facultad de Filosofía y Humanidades). É membro do grupo de pesquisa Avalia - Avaliação de uso da linguagem (UFRGS). Atua como professora da educação básica na rede privada de ensino de Porto Alegre. Também participa da aplicação e da avaliação do Exame Celpe-Bras e tem experiência no ensino de português como língua materna e adicional e no ensino de espanhol como língua adicional, em diferentes níveis de ensino. Entre seus interesses de pesquisa estão o ensino e a avaliação de português e espanhol e a formação de professores.

Juliana Roquele Schoffen, Universidade Federal do Rio Grande do Sul

Doutora em Linguística Aplicada (2009) pela UFRGS. É professora do Instituto de Letras da Universidade Federal do Rio Grande do Sul. Desenvolve pesquisas sobre avaliação e a concepção bakhtiniana de gêneros do discurso e sua relação com o ensino de línguas. É membro da Comissão Técnico-Científica do exame Celpe-Bras desde 2008 e lidera o grupo de pesquisa Avalia - Avaliação de uso da linguagem (UFRGS).

Ana Beatriz Âreas da Luz Fontes, Universidade Federal do Rio Grande do Sul

Possui mestrado e doutorado em Psicologia Social, Cognitiva e Neurociência pela UTEP (2008, 2010). Tem experiência de pesquisa em Psicolinguística e Bilinguismo. Atualmente, é professora do Instituto de Letras e membro permanente do Programa de Pós-Graduação em Letras da Universidade Federal do Rio Grande do Sul e coordena o grupo de pesquisa ProLinGue.

References

BAKHTIN, Mikhail Mikhailovich. Estética da criação verbal. São Paulo: Martins Fontes, 2003.

BACHMAN, Lyle F.; PALMER, Adrian S. Language testing in practice: Designing and developing useful language tests. Oxford: Oxford University Press, 1996.

BRASIL. Guia do Participante: tarefas comentadas que compõem a edição de abril de 2013 do exame. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, Ministério da Educação, 2013.

BRASIL. Documento base do exame Celpe-Bras [recurso eletrônico]. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), 2020.

CHAPELLE, Carol A. Reliability in language assessment. Iowa State University, 2013.

CLARK, Herbert. Using Language. Cambridge: Cambridge University Press, 1996.

DAVIS, Larry. The influence of training and experience on rater performance in scoring spoken language. Language Testing, v. 33, n. 1, p. 117–135, 2016.

KNOCH, Ute; SITAJALABHORN, Woranon. A closer look at integrated writing tasks: Towards a more focused definition for assessment purposes. Assessing Writing, v. 18, n. 4, p. 300-308, 2013.

MCNAMARA, Timothy Francis. Measuring Second Language Performance. Londres: Longman, 1996.

MCNAMARA, Timothy Francis. Language Testing. In: DAVIES, Alan; ELDER, Catherine. The Handbook of Applied Linguistics. Londres: Blackwell Publishing, 2004.

MCKAY, Todd; PLONSKY, Luke. Reliability Analyses: Estimating Error. In: WINKE, Paula; BRUNFAUT, Tineke. The Routledge Handbook of Second Language Acquisition and Language Testing. London: Routledge, 2021.

MENDEL, Kaiane. Proficiência e autoria na avaliação integrada de leitura e escrita do exame Celpe-Bras. Dissertação (Mestrado em Letras) - Universidade Federal do Rio Grande do Sul, Porto Alegre, 2019.

NEVES, Liliane de Oliveira. Confiabilidade e comportamento avaliativo na prova oral do exame Celpe-Bras: um estudo longitudinal. 2018. Tese (Doutorado em Estudos da Linguagem) - Centro Federal de Educação Tecnológica de Minas Gerais, Belo Horizonte, 2018.

SCHLATTER, Margarete; SCARAMUCCI, Matilde; PRATI, Silvia; ACUÑA, Leonor. Celpe-Bras e Celu: impactos da construção de parâmetros comuns de avaliação de proficiência em portugês e em espanhol. In: FONTANA, Mónica Zoppi (Org.) O português do Brasil como língua transnacional. Campinas: RG Editora, 2009.

SCHLATTER, Margarete; NUNES, Luciana Neves; KUNRATH, Simone Paula. Análise descritiva da parte escrita do exame CELPE-BRAS. Brasília, 2021.

SCHOFFEN, Juliana Roquele. Gêneros do discurso e parâmetros de avaliação de proficiência em português como língua estrangeira no exame Celpe-Bras. Tese (Doutorado em Linguística Aplicada) - Universidade Federal do Rio Grande do Sul, Porto Alegre, 2009.

SEGAT, Giovana Lazzaretti. Estudos sobre confiabilidade em exames de proficiência: o processo de atribuição de notas e a reavaliação na parte escrita do Celpe-Bras. Dissertação (Mestrado em Letras) - Universidade Federal do Rio Grande do Sul, Porto Alegre, 2023.

STEMLER, Steven. A comparison of consensus consistency and measurement approaches to estimating interrater reliability. Practical Assessment Research & Evaluation, v.9, n. 4, 2004.

WANG, Jue; ENGELHARD, George; RACZYNSKI, Kevin; SONG, Tian; WOLFE; Edward. Evaluating rater accuracy and perception for integrated writing assessments using a mixed-methods approach. Assessing Writing, v. 33, 2017.

WHEELAN, Charles. Estatística: o que é, para que serve, como funciona. Rio de Janeiro: Zahar, 2016.

YAN, Xun; FAN, Jason. Reliability and dependability. In: FULCHER, Glenn; HARDING, Luke. The Routledge Handbook of Language Testing. 2. ed. London: Routledge, 2022. pp. 477-494.

Downloads

Published

2025-07-04

How to Cite

Segat, G. L., Schoffen, J. R., & Fontes, A. B. Âreas da L. (2025). Inter-rater reliability in focus: the rating process and re-assessment in the Written Part of Celpe-Bras. Letras, 34(1), e89188. https://doi.org/10.5902/2176148589188

Issue

Vol. 34 No. 1 (2025): Edição Especial - 1/2025: Linguística Aplicada à análise de testes e exames

Section

Articles

License

Copyright (c) 2025 Letras

Creative Commons License

This work is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.

Ficam concedidos a Letras todos os direitos autorais referentes aos trabalhos publicados. Os originais não devem ter sido publicados ou submetidos simultaneamente a outro periódico e não serão devolvidos. Em virtude de aparecerem nesta revista de acesso público, os artigos são de uso gratuito, com atribuições próprias, em aplicações educacionais e não comerciais.