Utilização da Teoria da Resposta ao Item na Análise do Instrumento da Autoavaliação Institucional na Pós-graduação da UFSM
DOI:
https://doi.org/10.5902/2179460X39777Keywords:
da Resposta ao Item Autoavaliação Institucional. Avaliação da Qualidade do Instrumento.Abstract
O objetivo desse trabalho é avaliar a qualidade dos itens do instrumento da Autoavaliação Institucional aplicado aos discentes dos Cursos de Pós-Graduação de todos os Campi da Universidade Federal de Santa Maria (UFSM), no período de 26 de Setembro a 31 de Outubro de 2016. Para a análise do instrumento utilizou-se a Teoria da Resposta ao Item (TRI), por meio do Modelo Logístico Unidimesional de dois Parâmetros (MLU2P). O estudo mostrou que todos os itens desse instrumento são adequados e consistentes, pois apresentam bom poder discriminatório e se posicionam dentro do intervalo esperado de variação. Percebeu-se que os itens que compõem esse instrumento são, em geral, fáceis de serem bem avaliados, segundo os resultados obtidos. Foi possível criar uma escala interpretável de medida com três níveis distintos. Concluiu-se que o instrumento utilizado é adequado para estimar os discentes que avaliam bem ou de forma razoável a instituição, porém o instrumento não consegue estimar com precisão os discentes que avaliam muito bem ou muito mal a instituição.
Downloads
References
ANDRADE DF, TAVARES HR, VALLE RC. Teoria da resposta ao item: conceitos e aplicações. São Paulo: Associação Brasileira de Estatística, 2000.
AYALA RJ. The Theory and Practice of Item Response Theory. New York, USA: The Guilford Press, 2009.
BALZAN NC, DIAS SOBRINHO J. Avaliação institucional: teoria e experiências. São Paulo: Cortez, 2005.
BEATON AE, ALLEN NL. Interpreting Scales through Scale Anchoring. Journal of Educational Statistics. 1992;17:191-204.
BAKER FB. The Basics of Item Response Theory. 2 ed. USA: ERIC Clearinghouseon Assessment and Evaluation, 2001.
BOCK RD, ZIMOWSKI MF. Multiple Group IRT. In: VAN DER LINDER, W. J.; HAMBLETON, R. K. Handbook of Modern Item Response Theory. New York: Spring-Verlag, 1997.
BIRNBAUM A. Some Latent Trait Models and Their Use in Infering an Examinee’s Ability. In: LORD, F. M.; NOVICK, M. R. Statistical Theories of Mental Test Scores. Reading, MA: Addison-Wesley, 1968.
COSTA DR. Métodos Estatísticos em Testes Adaptativos Informatizados.
Dissertação. 2009. 120 f. (Mestrado em Estatística) – Departamento de Métodos Estatísticos, Instituto de Matemática, Universidade Federal do Rio de Janeiro, Rio de Janeiro, 2009.
CPA. Relatório de Avaliação Interna: Autoavaliação da UFSM 2016. Ministério da Educação. Universidade Federal de Santa Maria. Comissão Própria de Avaliação da UFSM, 2016. Disponível em <http://coral.ufsm.br/avaliacaoufsm/images/documentos/relatorios/2016-2017.pdf>. Acesso em 13/06/2017.
CPA. Relatório de Avaliação Interna: Autoavaliação da UFSM 2008. Ministério da Educação. Universidade Federal de Santa Maria. Comissão Própria de Avaliação da UFSM, 2008. Disponível em <http://w3.ufsm.br/proplan/images/coplai/UFSM_Relatrio_AutoAvaliao_2008.pdf >. Acesso em 12/10/2018.
DEMPSTER AP, LAIRD NM, RUBIN DB. Maximum likelihood from incomplete data via the EM algorithm (with discussion). Journal of the Royal Statistical Society. 1997; 39 Series B:1-38.
EMBRETSON SE, REISE SP. Item Response Theory for Psychologists. New Jersey, USA: Lawrence Erlbaum Associates, 2000.
GATTI BA. Avaliação institucional: processo descritivo, analítico ou reflexivo?. Estudos em avaliação educacional, v. 17, n. 34, p. 7-14, 2006.
GRIBOSKI CM, PIXOTO MCL, HORTA PM. Avaliação Externa, Autoavaliação e o PDI. Avaliação. 2018;23(1):178-197.
HONTANGAS P, PONSODA V, OLEA J. Procedimientos de integración numérica y estimación bayesiana en tests adaptativos informatizados. VI Congreso de Metodología de las Ciencias Sociales y de la Salud, Oviedo, Espanha, 1999.
HAMBLETON RK, SWAMINATHAN H. Item Response Theory: Principles and Applications. Boston: Kluwer Nijoff; 1985.
ISSAC E, KELLER HB. Analysis of Numerical Methods. New York: Wiley & Sons, 1966.
KLEIN R, FONTANIVE NS, ELLIOT LG. O Exame Nacional do Ensino Médio – Tecnologia e Principais Resultados Em 2005. REICE - Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación. 2007;5(2e):116-131.
KOLEN MJ, BRENNAN RL. Test Equating - Methods and Pratices. New York, USA: Springer, 1995.
MOREIRA JUNIOR FJ. Aplicações da Teoria da Resposta ao Item (TRI) no Brasil. Revista Brasileira de Biometria. 2010;28(4):137-170.
MOREIRA JUNIOR FJ. Sistemática para a Implantação de Testes Adaptativos Informatizados baseados na Teoria da Resposta ao Item. 2011. 334 f. Tese (Doutorado em Engenharia de Produção) – Programa de Pós-Graduação em Engenharia de Produção, Centro Tecnológico, Universidade Federal de Santa Catarina, Florianópolis, 2011.
MOREIRA JUNIOR FJ, SZINVELSKI CRP. Utilização da Teoria da Resposta ao Item na Análise dos Dados da Autoavaliação Institucional da Universidade Federal de Santa Maria: Vantagens e Oportunidades. In: Seminários Regionais sobre Autoavaliação Institucional e Comissões Próprias de Avaliação (CPA), 2013, Porto Alegre. Anais dos Seminários Regionais sobre Autoavaliação Institucional e Comissões Próprias de Avaliação (CPA) 2013. Brasília: Inep, 2013. p. 189-190.
MOREIRA JUNIOR FJ, ZANELLA A, LOPES LFD, SEIDEL EJ. Avaliação da satisfação de alunos por meio do Modelo de Resposta Gradual da Teoria da Resposta ao Item, Ensaio: aval. pol. públ. Educ. 2015;86(23): 129-158.
NASCIMENTO JCHB et al. Avaliação Institucional: Aplicação da Teoria da Resposta ao Item Para Avaliação Discente em Ciências Contábeis. Future Studies Research Journal: Trends and Strategies. 2016;2(8): 117-143.
NUNES CHSS, PRIMI R. Impacto do Tamanho da Amostra na Calibração de Itens e Estimativa de Escores por Teoria de Resposta do Item. Avaliação Psicológica. 2005;2(4): 141-153.
PARTCHEV I. Package irtoys: Simple interface to the estimation and plotting of IRT models, 2017. CRAN.R project, Disponível em <http://cran.rproject.org/web/packages/irtoys/irtoys.pdf> . Acesso em 05/04/2017.
RIZOPOULOS D. Package ltm: Latent Trait Models under IRT, 2018. CRAN.R project, Disponível em <http://cran.r-project.org/web/packages/ltm/ltm.pdf> . Acesso em 16/04/2018.
RAO CR. Linear Statistical Inference and Its Applications. New York: Wiley & Sons, 1973.
SOUZA SZ. 40 Anos de Contribuição à Avaliação Educacional. Estudos em Avaliação Educacional. 2005;31(16).
VALLE RC. A Construção e a Interpretação de Escalas de Conhecimento – Considerações Gerais e uma Visão do que vem sendo feito no SARESP. Estudos em Avaliação Educacional.2001;23:71-92.
VENDRAMINI CMM, SILVA MC, CANEL M. Análise de Itens de uma Prova de Raciocínio Estatístico. Psicologia em Estudo. 2004;3(9): 487-498.
Published
How to Cite
Issue
Section
License
To access the DECLARATION AND TRANSFER OF COPYRIGHT AUTHOR’S DECLARATION AND COPYRIGHT LICENSE click here.
Ethical Guidelines for Journal Publication
The Ciência e Natura journal is committed to ensuring ethics in publication and quality of articles.
Conformance to standards of ethical behavior is therefore expected of all parties involved: Authors, Editors, Reviewers, and the Publisher.
In particular,
Authors: Authors should present an objective discussion of the significance of research work as well as sufficient detail and references to permit others to replicate the experiments. Fraudulent or knowingly inaccurate statements constitute unethical behavior and are unacceptable. Review Articles should also be objective, comprehensive, and accurate accounts of the state of the art. The Authors should ensure that their work is entirely original works, and if the work and/or words of others have been used, this has been appropriately acknowledged. Plagiarism in all its forms constitutes unethical publishing behavior and is unacceptable. Submitting the same manuscript to more than one journal concurrently constitutes unethical publishing behavior and is unacceptable. Authors should not submit articles describing essentially the same research to more than one journal. The corresponding Author should ensure that there is a full consensus of all Co-authors in approving the final version of the paper and its submission for publication.
Editors: Editors should evaluate manuscripts exclusively on the basis of their academic merit. An Editor must not use unpublished information in the editor's own research without the express written consent of the Author. Editors should take reasonable responsive measures when ethical complaints have been presented concerning a submitted manuscript or published paper.
Reviewers: Any manuscripts received for review must be treated as confidential documents. Privileged information or ideas obtained through peer review must be kept confidential and not used for personal advantage. Reviewers should be conducted objectively, and observations should be formulated clearly with supporting arguments, so that Authors can use them for improving the paper. Any selected Reviewer who feels unqualified to review the research reported in a manuscript or knows that its prompt review will be impossible should notify the Editor and excuse himself from the review process. Reviewers should not consider manuscripts in which they have conflicts of interest resulting from competitive, collaborative, or other relationships or connections with any of the authors, companies, or institutions connected to the papers.
