Utilização da Teoria da Resposta ao Item na Análise do Instrumento da Autoavaliação Institucional na Pós-graduação da UFSM
DOI:
https://doi.org/10.5902/2179460X39777Palavras-chave:
da Resposta ao Item Autoavaliação Institucional. Avaliação da Qualidade do Instrumento.Resumo
O objetivo desse trabalho é avaliar a qualidade dos itens do instrumento da Autoavaliação Institucional aplicado aos discentes dos Cursos de Pós-Graduação de todos os Campi da Universidade Federal de Santa Maria (UFSM), no período de 26 de Setembro a 31 de Outubro de 2016. Para a análise do instrumento utilizou-se a Teoria da Resposta ao Item (TRI), por meio do Modelo Logístico Unidimesional de dois Parâmetros (MLU2P). O estudo mostrou que todos os itens desse instrumento são adequados e consistentes, pois apresentam bom poder discriminatório e se posicionam dentro do intervalo esperado de variação. Percebeu-se que os itens que compõem esse instrumento são, em geral, fáceis de serem bem avaliados, segundo os resultados obtidos. Foi possível criar uma escala interpretável de medida com três níveis distintos. Concluiu-se que o instrumento utilizado é adequado para estimar os discentes que avaliam bem ou de forma razoável a instituição, porém o instrumento não consegue estimar com precisão os discentes que avaliam muito bem ou muito mal a instituição.
Downloads
Referências
ANDRADE DF, TAVARES HR, VALLE RC. Teoria da resposta ao item: conceitos e aplicações. São Paulo: Associação Brasileira de Estatística, 2000.
AYALA RJ. The Theory and Practice of Item Response Theory. New York, USA: The Guilford Press, 2009.
BALZAN NC, DIAS SOBRINHO J. Avaliação institucional: teoria e experiências. São Paulo: Cortez, 2005.
BEATON AE, ALLEN NL. Interpreting Scales through Scale Anchoring. Journal of Educational Statistics. 1992;17:191-204.
BAKER FB. The Basics of Item Response Theory. 2 ed. USA: ERIC Clearinghouseon Assessment and Evaluation, 2001.
BOCK RD, ZIMOWSKI MF. Multiple Group IRT. In: VAN DER LINDER, W. J.; HAMBLETON, R. K. Handbook of Modern Item Response Theory. New York: Spring-Verlag, 1997.
BIRNBAUM A. Some Latent Trait Models and Their Use in Infering an Examinee’s Ability. In: LORD, F. M.; NOVICK, M. R. Statistical Theories of Mental Test Scores. Reading, MA: Addison-Wesley, 1968.
COSTA DR. Métodos Estatísticos em Testes Adaptativos Informatizados.
Dissertação. 2009. 120 f. (Mestrado em Estatística) – Departamento de Métodos Estatísticos, Instituto de Matemática, Universidade Federal do Rio de Janeiro, Rio de Janeiro, 2009.
CPA. Relatório de Avaliação Interna: Autoavaliação da UFSM 2016. Ministério da Educação. Universidade Federal de Santa Maria. Comissão Própria de Avaliação da UFSM, 2016. Disponível em <http://coral.ufsm.br/avaliacaoufsm/images/documentos/relatorios/2016-2017.pdf>. Acesso em 13/06/2017.
CPA. Relatório de Avaliação Interna: Autoavaliação da UFSM 2008. Ministério da Educação. Universidade Federal de Santa Maria. Comissão Própria de Avaliação da UFSM, 2008. Disponível em <http://w3.ufsm.br/proplan/images/coplai/UFSM_Relatrio_AutoAvaliao_2008.pdf >. Acesso em 12/10/2018.
DEMPSTER AP, LAIRD NM, RUBIN DB. Maximum likelihood from incomplete data via the EM algorithm (with discussion). Journal of the Royal Statistical Society. 1997; 39 Series B:1-38.
EMBRETSON SE, REISE SP. Item Response Theory for Psychologists. New Jersey, USA: Lawrence Erlbaum Associates, 2000.
GATTI BA. Avaliação institucional: processo descritivo, analítico ou reflexivo?. Estudos em avaliação educacional, v. 17, n. 34, p. 7-14, 2006.
GRIBOSKI CM, PIXOTO MCL, HORTA PM. Avaliação Externa, Autoavaliação e o PDI. Avaliação. 2018;23(1):178-197.
HONTANGAS P, PONSODA V, OLEA J. Procedimientos de integración numérica y estimación bayesiana en tests adaptativos informatizados. VI Congreso de Metodología de las Ciencias Sociales y de la Salud, Oviedo, Espanha, 1999.
HAMBLETON RK, SWAMINATHAN H. Item Response Theory: Principles and Applications. Boston: Kluwer Nijoff; 1985.
ISSAC E, KELLER HB. Analysis of Numerical Methods. New York: Wiley & Sons, 1966.
KLEIN R, FONTANIVE NS, ELLIOT LG. O Exame Nacional do Ensino Médio – Tecnologia e Principais Resultados Em 2005. REICE - Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación. 2007;5(2e):116-131.
KOLEN MJ, BRENNAN RL. Test Equating - Methods and Pratices. New York, USA: Springer, 1995.
MOREIRA JUNIOR FJ. Aplicações da Teoria da Resposta ao Item (TRI) no Brasil. Revista Brasileira de Biometria. 2010;28(4):137-170.
MOREIRA JUNIOR FJ. Sistemática para a Implantação de Testes Adaptativos Informatizados baseados na Teoria da Resposta ao Item. 2011. 334 f. Tese (Doutorado em Engenharia de Produção) – Programa de Pós-Graduação em Engenharia de Produção, Centro Tecnológico, Universidade Federal de Santa Catarina, Florianópolis, 2011.
MOREIRA JUNIOR FJ, SZINVELSKI CRP. Utilização da Teoria da Resposta ao Item na Análise dos Dados da Autoavaliação Institucional da Universidade Federal de Santa Maria: Vantagens e Oportunidades. In: Seminários Regionais sobre Autoavaliação Institucional e Comissões Próprias de Avaliação (CPA), 2013, Porto Alegre. Anais dos Seminários Regionais sobre Autoavaliação Institucional e Comissões Próprias de Avaliação (CPA) 2013. Brasília: Inep, 2013. p. 189-190.
MOREIRA JUNIOR FJ, ZANELLA A, LOPES LFD, SEIDEL EJ. Avaliação da satisfação de alunos por meio do Modelo de Resposta Gradual da Teoria da Resposta ao Item, Ensaio: aval. pol. públ. Educ. 2015;86(23): 129-158.
NASCIMENTO JCHB et al. Avaliação Institucional: Aplicação da Teoria da Resposta ao Item Para Avaliação Discente em Ciências Contábeis. Future Studies Research Journal: Trends and Strategies. 2016;2(8): 117-143.
NUNES CHSS, PRIMI R. Impacto do Tamanho da Amostra na Calibração de Itens e Estimativa de Escores por Teoria de Resposta do Item. Avaliação Psicológica. 2005;2(4): 141-153.
PARTCHEV I. Package irtoys: Simple interface to the estimation and plotting of IRT models, 2017. CRAN.R project, Disponível em <http://cran.rproject.org/web/packages/irtoys/irtoys.pdf> . Acesso em 05/04/2017.
RIZOPOULOS D. Package ltm: Latent Trait Models under IRT, 2018. CRAN.R project, Disponível em <http://cran.r-project.org/web/packages/ltm/ltm.pdf> . Acesso em 16/04/2018.
RAO CR. Linear Statistical Inference and Its Applications. New York: Wiley & Sons, 1973.
SOUZA SZ. 40 Anos de Contribuição à Avaliação Educacional. Estudos em Avaliação Educacional. 2005;31(16).
VALLE RC. A Construção e a Interpretação de Escalas de Conhecimento – Considerações Gerais e uma Visão do que vem sendo feito no SARESP. Estudos em Avaliação Educacional.2001;23:71-92.
VENDRAMINI CMM, SILVA MC, CANEL M. Análise de Itens de uma Prova de Raciocínio Estatístico. Psicologia em Estudo. 2004;3(9): 487-498.
Publicado
Como Citar
Edição
Seção
Licença
Para acessar a DECLARAÇÃO DE ORIGINALIDADE E EXCLUSIVIDADE E CESSÃO DE DIREITOS AUTORAIS clique aqui.
Diretrizes Éticas para Publicação de Revistas
A revista Ciência e Natura está empenhada em garantir a ética na publicação e na qualidade dos artigos.
A conformidade com padrões de comportamento ético é, portanto, esperada de todas as partes envolvidas: Autores, Editores e Revisores.
Em particular,
Autores: Os Autores devem apresentar uma discussão objetiva sobre a importância do trabalho de pesquisa, bem como detalhes e referências suficientes para permitir que outros reproduzam as experiências. Declarações fraudulentas ou intencionalmente incorretas constituem comportamento antiético e são inaceitáveis. Artigos de Revisão também devem ser objetivos, abrangentes e relatos precisos do estado da arte. Os Autores devem assegurar que seu trabalho é uma obra totalmente original, e se o trabalho e / ou palavras de outros têm sido utilizadas, isso tem sido devidamente reconhecido. O plágio em todas as suas formas constitui um comportamento publicitário não ético e é inaceitável. Submeter o mesmo manuscrito a mais de um jornal simultaneamente constitui um comportamento publicitário não ético e é inaceitável. Os Autores não devem submeter artigos que descrevam essencialmente a mesma pesquisa a mais de uma revista. O Autor correspondente deve garantir que haja um consenso total de todos os Co-autores na aprovação da versão final do artigo e sua submissão para publicação.
Editores: Os Editores devem avaliar manuscritos exclusivamente com base no seu mérito acadêmico. Um Editor não deve usar informações não publicadas na própria pesquisa do Editor sem o consentimento expresso por escrito do Autor. Os Editores devem tomar medidas de resposta razoável quando tiverem sido apresentadas queixas éticas relativas a um manuscrito submetido ou publicado.
Revisores: Todos os manuscritos recebidos para revisão devem ser tratados como documentos confidenciais. As informações ou ideias privilegiadas obtidas através da análise por pares devem ser mantidas confidenciais e não utilizadas para vantagens pessoais. As revisões devem ser conduzidas objetivamente e as observações devem ser formuladas claramente com argumentos de apoio, de modo que os Autores possam usá-los para melhorar o artigo. Qualquer Revisor selecionado que se sinta desqualificado para rever a pesquisa relatada em um manuscrito ou sabe que sua rápida revisão será impossível deve notificar o Editor e desculpar-se do processo de revisão. Os Revisores não devem considerar manuscritos nos quais tenham conflitos de interesse resultantes de relacionamentos ou conexões competitivas, colaborativas ou outras conexões com qualquer dos autores, empresas ou instituições conectadas aos documentos.
