Uma aplicação da Teoria da Resposta ao Item na avaliação do ENADE do curso de Administração
DOI:
https://doi.org/10.5902/2179460X40196Palavras-chave:
Teoria da resposta ao item, ENADE, Avaliação educacionalResumo
Tradicionalmente considerar os escores brutos ou padronizados como o resultado de uma avaliação ou seleção de certo indivíduo é um fato comum. No entanto, os resultados obtidos dependem dos itens ou questões que compõem os instrumentos avaliativos. No que diz respeito a aplicações de modelos que forneçam uma melhor interpretabilidade do instrumento avaliativo, a Teoria da Resposta ao Item (TRI) permite mensurar o traço latente dos indivíduos, ou seja, características que não podem ser observadas diretamente. O Exame Nacional de Desempenho de Estudantes (ENADE), tem o objetivo de aferir o rendimento dos alunos dos cursos de graduação em relação aos conteúdos programáticos, suas habilidades e competências. O presente artigo exibe uma análise da prova do ENADE de 2009 que foi respondida por 231.531 alunos ingressantes e concluintes do curso de Administração de diversas instituições do país por meio da TRI. Foi possível verificar a viabilidade do uso da TRI como instrumento de medida de avaliação dos itens do ENADE, assim como a ocorrência de um ganho em termos de traço latente entre alunos ingressantes e concluintes, mostrando que os concluintes ao término do período acadêmico, tiveram em média um traço latente superior aos ingressantes e construíram de certa forma habilidades acadêmicas.
Downloads
Referências
ANDRADE, D. F., TAVARES, H. R., VALLE, R. C. Teoria da resposta ao item: conceitos e aplicações. São Paulo, 2000.
ANDRICH, D. A rating formulation for ordered response categories. Psychometrika, 43., 561-573, 1978.
BAKER, F. B. The Basics of Item Response Theory. 2 ed. USA, 2001.
BIRNBAUM, A. Some Latent Trait Models and Their Use in Infering an Examinee's Ability, 1968.
BOCK, R. D. Estimating item parameters and latent ability when responses are scored in two or more nominal categories. Psychometrika, 37., 29-51, 1972.
BOCK, R. D., ZIMOWSKI, M. F. Multiple Group IRT. In: Handbook of Modern Item Response Theory. New York: Spring-Verlag, 1997.
EMBRETSON, S. E., REISE, S. P. Item Response Theory for Psychologists. New Jersey, USA: Lawrence Erlbaum Associates, 2000.
FRANCISCO, R. Aplicação da teoria da resposta ao item (TRI) no exame nacional de cursos (ENC) da Unicentro. Dissertação de Mestrado, Universidade Federal do Paraná, Curitiba, 2005.
HAMBLETON, R. K., SWAMINATHAN, H., ROGERS, H. J. Fundamentals of item response theory. Newbury Park, CA: Sage, 1991.
KARINO, C. A., ANDRADE, D. F. (2010). Entenda a teoria de respostas ao item (tri), utilizada no enem. Disponível em: http://www.senado.gov.br/comissoes/CE/AP/AP20101116_NotaTecnica_INEPMEC_ TeoriaRespostasAoItem.pdf. Acesso em: 01/06/2014.
KLEIN, R. Uma re-analise dos resultados do PISA: problemas de comparabilidade. Ensaio: aval.pol.públ.Educ. vol.19 no.73 Rio de Janeiro Oct./Dec. 2011.
KUDER, G. F., RICHARDSON, M. W. The theory of estimation of test reliability, 1973.
LORD, F. M. A theory of test scores (No. 7). Psychometric Monograph, 1952.
MASTERS, G. N. A rasch model for partial credit scoring. Psychometrika, 47., 149-174, 1982.
MURAKI, E. A generalized partial credit model: Application of an em algorithm. Applied Psychological Measurement, 16, 159-176, 1992.
NOGUEIRA, S. O. ENADE: Analise de itens de formação geral e de estatística pela TRI. Dissertação de Mestrado, Universidade São Francisco, Itatiba, 2008.
OLEA, J., PONSODA, V., REVUELTA, J., BELCHI, J. Propiedades psicométricas de un test adaptativo informatizado de vocabulario inglês. Estudios de Psicologia, n. 55, p. 61-73, 1996.
OLIVEIRA, K. S. Avaliação do exame nacional de desempenho do estudante pela teoria de resposta ao item. Dissertação de Mestrado, Universidade São Francisco, Itatiba, 2006.
PARTCHEV, I. Simple interface to the estimation and plotting of irt models, 2014.
PRIMI, R., CARVALHO, L. F., MIGUEL, F. K., SILVA, M. C. R. Analise do funcionamento diferencial dos itens do exame nacional do estudante (ENADE) de psicologia de 2006. Psico-USF, 15, n. 3, p. 379-393, 2010.
R DEVELOPMENT CORE TEAM. R: A Language and Environment for Statistical Computing. R Foun-dation for Statistical Computing, Vienna, Austria, 2012.
RASCH, G. Probabilistic Models for Some Intelligence and Attainment Tests. Copenhagem: Da-nish Institute for Educational Research, 1960.
SAMEJIMA, F. A. Estimation of latent ability using a response pattern of graded scores. Psychometric Monograph, N. 17. 1969.
SCHWARTZMAN, S. O "conceito preliminar" e as boas praticas de avaliação do ensino superior. Revista da Associação Brasileira de Mantenedoras de Ensino Superior, n. 38, pp. 9-32, 2008.
SAO PAULO, E., MIRANDA, B. S., MOREIRA NETO, J. G., PAIXAO, L. A. R. Aplicação do modelo de credito parcial generalizado na avaliação do projeto sesi por um brasil alfabetizado. Revista Eletronica Iberoamericana sobe Calidad, Eficacia y Cambio en Educacion, v. 5, n. 2e, p. 24-38, 2007.
VENDRAMINI, C. M. M., SILVA, M. C., CANEL, M. Analise de itens de uma prova de raciocínio estatístico. Psicologia em Estudo, Maringá , v. 9, n. 3, p. 487-498. (set./dez 2004).
WRIGHT, B. D. Sample-free test calibration and person measurement. Procedings of the 1967 Invitational Conference on Testing Problems. Princeton, NJ: Educational Testing Service., 1968.
Publicado
Como Citar
Edição
Seção
Licença
Para acessar a DECLARAÇÃO DE ORIGINALIDADE E EXCLUSIVIDADE E CESSÃO DE DIREITOS AUTORAIS clique aqui.
Diretrizes Éticas para Publicação de Revistas
A revista Ciência e Natura está empenhada em garantir a ética na publicação e na qualidade dos artigos.
A conformidade com padrões de comportamento ético é, portanto, esperada de todas as partes envolvidas: Autores, Editores e Revisores.
Em particular,
Autores: Os Autores devem apresentar uma discussão objetiva sobre a importância do trabalho de pesquisa, bem como detalhes e referências suficientes para permitir que outros reproduzam as experiências. Declarações fraudulentas ou intencionalmente incorretas constituem comportamento antiético e são inaceitáveis. Artigos de Revisão também devem ser objetivos, abrangentes e relatos precisos do estado da arte. Os Autores devem assegurar que seu trabalho é uma obra totalmente original, e se o trabalho e / ou palavras de outros têm sido utilizadas, isso tem sido devidamente reconhecido. O plágio em todas as suas formas constitui um comportamento publicitário não ético e é inaceitável. Submeter o mesmo manuscrito a mais de um jornal simultaneamente constitui um comportamento publicitário não ético e é inaceitável. Os Autores não devem submeter artigos que descrevam essencialmente a mesma pesquisa a mais de uma revista. O Autor correspondente deve garantir que haja um consenso total de todos os Co-autores na aprovação da versão final do artigo e sua submissão para publicação.
Editores: Os Editores devem avaliar manuscritos exclusivamente com base no seu mérito acadêmico. Um Editor não deve usar informações não publicadas na própria pesquisa do Editor sem o consentimento expresso por escrito do Autor. Os Editores devem tomar medidas de resposta razoável quando tiverem sido apresentadas queixas éticas relativas a um manuscrito submetido ou publicado.
Revisores: Todos os manuscritos recebidos para revisão devem ser tratados como documentos confidenciais. As informações ou ideias privilegiadas obtidas através da análise por pares devem ser mantidas confidenciais e não utilizadas para vantagens pessoais. As revisões devem ser conduzidas objetivamente e as observações devem ser formuladas claramente com argumentos de apoio, de modo que os Autores possam usá-los para melhorar o artigo. Qualquer Revisor selecionado que se sinta desqualificado para rever a pesquisa relatada em um manuscrito ou sabe que sua rápida revisão será impossível deve notificar o Editor e desculpar-se do processo de revisão. Os Revisores não devem considerar manuscritos nos quais tenham conflitos de interesse resultantes de relacionamentos ou conexões competitivas, colaborativas ou outras conexões com qualquer dos autores, empresas ou instituições conectadas aos documentos.
