Institutional self-assessment: a student satisfaction scale for teaching performance based on item response theory

Authors

DOI:

https://doi.org/10.5902/2318133892914

Keywords:

Teoria da Resposta ao Item, Avaliação do Ensino Superior, autoavaliação Institucional

Abstract

The present study aimed to analyze data from the institutional self-assessment of the Federal Institute of Paraná using Item Response Theory and Samejima's Graded Response Model. The latent trait analyzed was student satisfaction with teaching performance in instructional activities, aiming to enable higher education institutions to gain self-knowledge of their strengths and weaknesses and to diagnose critical areas requiring priority. By applying IRT, parameters of item discrimination and difficulty were established, along with the distribution of student satisfaction scores and the positioning of item categories on the scale. IRT proved effective in analyzing ISA data and providing relevant insights for institutional management and improvement.

Downloads

Download data is not yet available.

Author Biographies

Thaynara Gilli, Universidade Federal de Santa Catarina

Doutoranda em Engenharia de Produção pela Universidade Federal de Santa Catarina (UFSC), com bolsa da CAPES. Mestre em Administração Universitária pela Universidade Federal de Santa Catarina (UFSC). Graduada em Ciências Econômicas e Administração Pública pela Universidade Federal de Santa Catarina (2014). Especialista em Administração Pública pelo Instituto Superior de Educação Ibituruna (2017). Atua em pesquisas com foco em Análise Envoltória de Dados (DEA), Custos em Universidades e Modelos de Eficiência e Produtividade.

Elisangela Hoffmann, Universidade Federal de Santa Catarina

Estudante de doutorado em Engenharia de Produção pela Universidade Federal de Santa Catarina (UFSC). Mestre em Políticas Públicas pela Universidade Federal do Ceará (UFC). Servidora pública da Universidade do Estado de Mato Grosso. Membro do Grupo de Pesquisa Pandemia da Covid-19 na Educação Superior.

Antonio Cezar Bornia, Universidade Federal de Santa Catarina

Doutor em Engenharia de Produção pela Universidade Federal de Santa Catarina. Professor Titular do Departamento de Engenharia de Produção e do Programa de Pós-Graduação em Engenharia de Produção da Universidade Federal de Santa Catarina.

Dalton Francisco de Andrade, Universidade Federal de Santa Catarina

PhD em Biostatistics pela University of North Carolina at Chapel Hill, USA (1984). Atualmente é professor titular da UFSC, com atuação em programas de pós-graduação dos Departamentos de Engenharia de Produção (PPGEP) e de Informática e Estatística (PPGMGA) e Consultor do Inep/Mec.

References

ANASTASIOU, Léa das Graças Camargos; ALVES, Leonir Pessate. Estratégias de Ensinagem. In: ANASTASIOU, Léa das Graças Camargos; ALVES, Leonir Pessate (orgs.). Processos de ensinagem na universidade: pressupostos para as estratégias de trabalho em aula. Joinville: Univille, 2004, p. 67-100.

ANDRADE, Dalton Francisco de; TAVARES, Heliton Ribeiro; VALLE, Raquel Cunha. Teoria da resposta ao item: conceitos e aplicações. São Paulo: Associação Brasileira de Estatística, 2000.

ANDRIOLA, Cristiany Gomes. avaliação da atuação dos docentes de instituições de ensino superior: o caso da Faculdade Cearense (FAC). Fortaleza: UFC, 2011. Dissertação (Mestrado) – Programa de Pós-Graduação em Políticas Públicas e Educação Superior, Universidade Federal do Ceará.

BANDEIRA, Hilda Maria Martins; MARQUES, Eliana de Sousa Alencar. Planejamento colaborativo: Necessidade e possibilidade no trabalho docente no ensino superior. Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 18, n. 00, 2023, p. 1-23. DOI: https://doi.org/10.21723/riaee.v18i00.16173

BARCELOS, Ricardo da Silva. Análise do instrumento de medida utilizado na autoavaliação institucional da UFSM aplicado aos seus discentes, utilizando a teoria da resposta ao item (TRI). Santa Maria: UFSM, 2017. 135f. Dissertação (Mestrado em Gestão Pública) – Programa de Pós-Graduação em Gestão Pública, Universidade Federal de Santa Maria.

BASTOS, Isabela Deschamps; SILVA, Renata. Autoavaliação institucional como ferramenta de gestão Estratégica universitária: estudo de uma instituição de ensino Superior pública municipal do sul do Brasil. SIMPÓSIO DE AVALIAÇÃO DA EDICAÇÃO SUPERIOR, 3, 2017. Anais ... Santa Catarina: UFSC, 2017, p. 1-17.

BORNIA, Antonio Cezar et al. Autoavaliação institucional: uma abordagem pela teoria da resposta ao item. COLÓQUIO INTERNACIONAL DE GESTÃO UNIVERSITÁRIA, 20, 2021. Anais ... Santa Catarina: UFSC, 2021, p. 1-11.

BORTOLOTTI, Silvana Ligia Vincenzi et al. Avaliação do nível de satisfação de alunos de uma instituição de ensino superior: uma aplicação da Teoria da Resposta ao Item. Revista Gestão de Produção, São Carlos, v. 19. n. 2, 2012, p. 288-302.

BORTOLOTTI, Silvana Ligia Vincenzi; ANDRADE, Dalton Francisco de. Aplicação de um modelo de desdobramento graduado generalizado – GGUM da teoria da resposta ao item. Revista Estudos em Avaliação Educacional, São Paulo, v. 18, n. 37, 2007, p. 157-188. DOI: https://doi.org/10.18222/eae183720072094

BRASIL. Lei n. 10.861, de 14 de abril de 2004: institui o Sistema Nacional de Avaliação da Educação Superior -SINAES e dá outras providências. Diário Oficial da União, Brasília.

BRASIL. Sinaes – Sistema Nacional de Avaliação da Educação Superior: da concepção à regulamentação. Brasília: Inep, 2009.

CAMPOS, Leonardo Talavera. Análise de satisfação dos respondentes na autoavaliação em uma instituição de ensino superior utilizando a teoria de resposta ao item. Florianópolis: UFSC, 2021. 161f. Dissertação (Mestrado em Métodos e Gestão) – Programa de Pós-Graduação em Métodos e Gestão em Avaliação, Universidade Federal de Santa Catarina.

CASTANHEIRA, Ana Maria; CERONI, Mary Rosane. Reflexões sobre o processo de avaliar docente contribuindo com sua formação. Revista Avaliação, Campinas, v. 12, n. 4, 2007. DOI: https://doi.org/10.1590/S1414-40772007000400009

DIAS SOBRINHO, José. Universidade: processos de socialização e processos pedagógicos. In: DIAS SOBRINHO, José; BALZAN, Newton Cesar (orgs.). Avaliação institucional: teoria e experiências. São Paulo: Cortez, 2011, p. 15-36.

EMBRETSON, Susan; REISE, Steven Paul. Item response theory for psychologists. New York: Taylor & Francis Group, 2013. DOI: https://doi.org/10.4324/9781410605269

GALDINO, Mary Neuza Dias. A autoavaliação institucional no ensino superior como instrumento de gestão. CONGRESSO IBERO-AMERICANO DE POLÍTICA E ADMINISTRAÇÃO DA EDUCAÇÃO, 2, 2011. Anais ... São Paulo: PUC/USP, 2011, p. 1-15.

GOUVEIA, Nicássio; JUNIOR, Fernando De Jesus Moreira; ANSUJ, Angela Pellegrin. Utilização da teoria de resposta ao item na análise do instrumento de autoavaliação institucional na pós-graduação da UFSM. Revista Ciência e Natura, Santa Maria, v. 42, n. 8, 2020, p. 1-28. DOI: https://doi.org/10.5902/2179460X39777

GROHMANN, Márcia Zampieri; NASCIMENTO, Zulmar Belmonte. Uma década de auto avaliação institucional: o que mudou na percepção dos docentes? Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, Madrid, v. 12, n. 1, 2014, p. 5-23.

IFPR. CPA: relatório de verificação do processo ensino aprendizagem. Curitiba, 2018. Disponível em: https://info.ifpr.edu.br/wp-content/uploads/cpa_18_19.pdf Acesso em 2 fev. 2024.

KRONBAUER, Elisete. Análise da autoavaliação institucional pela perspectiva da teoria da resposta ao item: uma aplicação na UFSM. Santa Maria: UFSM, 2018. 165f. Dissertação (Mestrado em Gestão de Organizações Públicas) – Programa de Pós-Graduação em Gestão de Organizações Públicas, Universidade Federal de Santa Maria.

LIBÂNEO, José Carlos. Didática. São Paulo: Cortez, 1994.

MARCUZZO, Marlei Maria Veduim et al. A satisfação dos alunos de educação a distância: um estudo de caso aplicado em nível de graduação e pós-graduação de uma universidade federal. COLÓQUIO INTERNACIONAL DE GESTÃO UNIVERSITÁRIA, 15, 2015. Anais ... Santa Catarina: UFSC, 2015, p. 1-16.

MORAN, José. Metodologias ativas para uma aprendizagem mais profunda. In: MORAN, José; BACICH, Lilian (orgs.). Metodologias ativas para uma educação inovadora: uma abordagem teórico-prática. Porto Alegre: Penso, 2018, p. 2-25.

MOREIRA JUNIOR, Fernando de Jesus et al. Avaliação da satisfação de alunos por meio do modelo de resposta gradual da teoria da resposta ao item. Ensaio: Avaliação de Políticas Públicas em Educação, Rio de Janeiro, v. 23, 2015, p. 1-23. DOI: https://doi.org/10.1590/S0104-40362015000100005

PASQUALI, Luiz; PRIMI, Ricardo. Fundamentos da teoria da resposta ao item: TRI. Avaliação Psicológica: Interamerican Journal of Psychological Assessment, Campinas, v. 2, n. 2, 2003, p. 99-110.

PETRASSI, Anna Cecilia Amaral; BORNIA, Antonio Cezar; ANDRADE, Dalton Francisco. Avaliação do nível de satisfação discente de uma instituição de ensino superior: uma análise dos métodos da teoria clássica da medida e da teoria da resposta ao item. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 29, 2021, p. 644-668. DOI: https://doi.org/10.1590/s0104-40362021002902192

SAMEJIMA, Fumiko. Graded response model. In: LINDEN, Wim; HAMBLETON, Ronald (ed.). Handbook of modern item response theory. New York: Springer, 1997, p. 85-100. DOI: https://doi.org/10.1007/978-1-4757-2691-6_5

SOUZA, Saulo Aparecido de; REINERT, José Nilson. Avaliação de um curso de ensino superior através da satisfação/insatisfação discente. Avaliação: Revista da Avaliação da Educação Superior, Campinas, v. 15, n. 1, 2010, p. 159-176. DOI: https://doi.org/10.1590/S1414-40772010000100009

VEIGA, Ilma Passos Alencastro. A docência na Educação Superior e as didáticas especiais: campos em construção. Revista Educação, Santa Maria, v. 39, n. 3, 2011, p. 445-464. DOI: https://doi.org/10.5902/198464442977

VIEIRA, Kelmara Mendes; MILACH, Felipe Tavares; HUPPES, Daniela. Equações estruturais aplicadas à satisfação dos alunos: um estudo no curso de ciências contábeis. Revista Contabilidade & Finanças, São Paulo, v. 19, n. 48, 2008, p. 65-76. DOI: https://doi.org/10.1590/S1519-70772008000300006

Downloads

Published

2025-08-09

How to Cite

Thaynara Gilli, Hoffmann, E., Bornia, A. C., & Andrade, D. F. de. (2025). Institutional self-assessment: a student satisfaction scale for teaching performance based on item response theory. Regae: Revista De Gestão E Avaliação Educacional, e92914. https://doi.org/10.5902/2318133892914

Issue

v. 14, n. 23, 2025, publicação contínua

Section

Artigos

License

Authors keep copyright and concede to the magazine the right of first publication, with the work simultaneously licensed under the Creative Commons Attribution 4.0 International, non-commercial license with no derivative work, which allows to share the work with no author recognition and initial publication in this magazine.

Authors has authorization to overtake additional contracts separately, to distribute a non-exclusive version of the work published in this magazine: For example: to publish in an institutional repository or as a chapter of a book, with authorial recognition and initial publication in this magazine.

Authors are allowed and are encouraged to publish and distribute their work online. For example: in institutional repositories or in their own personal page – at any point before or during the editorial process, because this can result in productive changes, as well as increase the impact and the mention to the published work.