Utilização da Teoria da Resposta ao Item na Análise do Instrumento da Autoavaliação Institucional na Pós-graduação da UFSM

Authors

DOI:

https://doi.org/10.5902/2179460X39777

Keywords:

da Resposta ao Item Autoavaliação Institucional. Avaliação da Qualidade do Instrumento.

Abstract

O objetivo desse trabalho é avaliar a qualidade dos itens do instrumento da Autoavaliação Institucional aplicado aos discentes dos Cursos de Pós-Graduação de todos os Campi da Universidade Federal de Santa Maria (UFSM), no período de 26 de Setembro a 31 de Outubro de 2016. Para a análise do instrumento utilizou-se a Teoria da Resposta ao Item (TRI), por meio do Modelo Logístico Unidimesional de dois Parâmetros (MLU2P). O estudo mostrou que todos os itens desse instrumento  são adequados e consistentes, pois apresentam bom poder discriminatório e se posicionam dentro do intervalo esperado de variação. Percebeu-se que os itens que compõem esse instrumento são, em geral, fáceis de serem bem avaliados, segundo os resultados obtidos. Foi possível criar uma escala interpretável de medida com três níveis distintos. Concluiu-se que o instrumento utilizado é adequado para estimar os discentes que avaliam bem ou de forma razoável a instituição, porém o instrumento não consegue estimar com precisão os discentes que avaliam muito bem ou muito mal a instituição.  

Downloads

Download data is not yet available.

Author Biographies

Fernando De Jesus Moreira Junior, Universidade Federal de Santa Maria

Departamento da Estatística; 

Área: ESTATÍSTICA 

Angela Pellegrin Ansuj, Universidade Federal de Santa Maria

Departamento da Estatística; 

Área: ESTATÍSTICA 

References

ANDRADE DF, TAVARES HR, VALLE RC. Teoria da resposta ao item: conceitos e aplicações. São Paulo: Associação Brasileira de Estatística, 2000.

AYALA RJ. The Theory and Practice of Item Response Theory. New York, USA: The Guilford Press, 2009.

BALZAN NC, DIAS SOBRINHO J. Avaliação institucional: teoria e experiências. São Paulo: Cortez, 2005.

BEATON AE, ALLEN NL. Interpreting Scales through Scale Anchoring. Journal of Educational Statistics. 1992;17:191-204.

BAKER FB. The Basics of Item Response Theory. 2 ed. USA: ERIC Clearinghouseon Assessment and Evaluation, 2001.

BOCK RD, ZIMOWSKI MF. Multiple Group IRT. In: VAN DER LINDER, W. J.; HAMBLETON, R. K. Handbook of Modern Item Response Theory. New York: Spring-Verlag, 1997.

BIRNBAUM A. Some Latent Trait Models and Their Use in Infering an Examinee’s Ability. In: LORD, F. M.; NOVICK, M. R. Statistical Theories of Mental Test Scores. Reading, MA: Addison-Wesley, 1968.

COSTA DR. Métodos Estatísticos em Testes Adaptativos Informatizados.

Dissertação. 2009. 120 f. (Mestrado em Estatística) – Departamento de Métodos Estatísticos, Instituto de Matemática, Universidade Federal do Rio de Janeiro, Rio de Janeiro, 2009.

CPA. Relatório de Avaliação Interna: Autoavaliação da UFSM 2016. Ministério da Educação. Universidade Federal de Santa Maria. Comissão Própria de Avaliação da UFSM, 2016. Disponível em <http://coral.ufsm.br/avaliacaoufsm/images/documentos/relatorios/2016-2017.pdf>. Acesso em 13/06/2017.

CPA. Relatório de Avaliação Interna: Autoavaliação da UFSM 2008. Ministério da Educação. Universidade Federal de Santa Maria. Comissão Própria de Avaliação da UFSM, 2008. Disponível em <http://w3.ufsm.br/proplan/images/coplai/UFSM_Relatrio_AutoAvaliao_2008.pdf >. Acesso em 12/10/2018.

DEMPSTER AP, LAIRD NM, RUBIN DB. Maximum likelihood from incomplete data via the EM algorithm (with discussion). Journal of the Royal Statistical Society. 1997; 39 Series B:1-38.

EMBRETSON SE, REISE SP. Item Response Theory for Psychologists. New Jersey, USA: Lawrence Erlbaum Associates, 2000.

GATTI BA. Avaliação institucional: processo descritivo, analítico ou reflexivo?. Estudos em avaliação educacional, v. 17, n. 34, p. 7-14, 2006.

GRIBOSKI CM, PIXOTO MCL, HORTA PM. Avaliação Externa, Autoavaliação e o PDI. Avaliação. 2018;23(1):178-197.

HONTANGAS P, PONSODA V, OLEA J. Procedimientos de integración numérica y estimación bayesiana en tests adaptativos informatizados. VI Congreso de Metodología de las Ciencias Sociales y de la Salud, Oviedo, Espanha, 1999.

HAMBLETON RK, SWAMINATHAN H. Item Response Theory: Principles and Applications. Boston: Kluwer Nijoff; 1985.

ISSAC E, KELLER HB. Analysis of Numerical Methods. New York: Wiley & Sons, 1966.

KLEIN R, FONTANIVE NS, ELLIOT LG. O Exame Nacional do Ensino Médio – Tecnologia e Principais Resultados Em 2005. REICE - Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación. 2007;5(2e):116-131.

KOLEN MJ, BRENNAN RL. Test Equating - Methods and Pratices. New York, USA: Springer, 1995.

MOREIRA JUNIOR FJ. Aplicações da Teoria da Resposta ao Item (TRI) no Brasil. Revista Brasileira de Biometria. 2010;28(4):137-170.

MOREIRA JUNIOR FJ. Sistemática para a Implantação de Testes Adaptativos Informatizados baseados na Teoria da Resposta ao Item. 2011. 334 f. Tese (Doutorado em Engenharia de Produção) – Programa de Pós-Graduação em Engenharia de Produção, Centro Tecnológico, Universidade Federal de Santa Catarina, Florianópolis, 2011.

MOREIRA JUNIOR FJ, SZINVELSKI CRP. Utilização da Teoria da Resposta ao Item na Análise dos Dados da Autoavaliação Institucional da Universidade Federal de Santa Maria: Vantagens e Oportunidades. In: Seminários Regionais sobre Autoavaliação Institucional e Comissões Próprias de Avaliação (CPA), 2013, Porto Alegre. Anais dos Seminários Regionais sobre Autoavaliação Institucional e Comissões Próprias de Avaliação (CPA) 2013. Brasília: Inep, 2013. p. 189-190.

MOREIRA JUNIOR FJ, ZANELLA A, LOPES LFD, SEIDEL EJ. Avaliação da satisfação de alunos por meio do Modelo de Resposta Gradual da Teoria da Resposta ao Item, Ensaio: aval. pol. públ. Educ. 2015;86(23): 129-158.

NASCIMENTO JCHB et al. Avaliação Institucional: Aplicação da Teoria da Resposta ao Item Para Avaliação Discente em Ciências Contábeis. Future Studies Research Journal: Trends and Strategies. 2016;2(8): 117-143.

NUNES CHSS, PRIMI R. Impacto do Tamanho da Amostra na Calibração de Itens e Estimativa de Escores por Teoria de Resposta do Item. Avaliação Psicológica. 2005;2(4): 141-153.

PARTCHEV I. Package irtoys: Simple interface to the estimation and plotting of IRT models, 2017. CRAN.R project, Disponível em <http://cran.rproject.org/web/packages/irtoys/irtoys.pdf> . Acesso em 05/04/2017.

RIZOPOULOS D. Package ltm: Latent Trait Models under IRT, 2018. CRAN.R project, Disponível em <http://cran.r-project.org/web/packages/ltm/ltm.pdf> . Acesso em 16/04/2018.

RAO CR. Linear Statistical Inference and Its Applications. New York: Wiley & Sons, 1973.

SOUZA SZ. 40 Anos de Contribuição à Avaliação Educacional. Estudos em Avaliação Educacional. 2005;31(16).

VALLE RC. A Construção e a Interpretação de Escalas de Conhecimento – Considerações Gerais e uma Visão do que vem sendo feito no SARESP. Estudos em Avaliação Educacional.2001;23:71-92.

VENDRAMINI CMM, SILVA MC, CANEL M. Análise de Itens de uma Prova de Raciocínio Estatístico. Psicologia em Estudo. 2004;3(9): 487-498.

Published

2020-12-29

How to Cite

Gouveia, N., Moreira Junior, F. D. J., & Ansuj, A. P. (2020). Utilização da Teoria da Resposta ao Item na Análise do Instrumento da Autoavaliação Institucional na Pós-graduação da UFSM. Ciência E Natura, 42, e8. https://doi.org/10.5902/2179460X39777

Most read articles by the same author(s)

1 2 3 4 > >> 

Similar Articles

You may also start an advanced similarity search for this article.