Universidade Federal de Santa Maria

Ci. e Nat., Santa Maria, v. 43, e81, 2021

DOI: 10.5902/2179460X66024

ISSN 2179460X

Recebido: 03/06/2021 • Aceito: 19/08/2021 • Publicado: 06/09/2021

Ensino

Avaliação de desempenho baseada em Análise Envoltória de Dados: um estudo exploratório em cursos de graduação em Administração

Performance assessment based on Data Envelopment Analysis: an exploratory study involving Business Administration courses

Andreia ZanellaI

Renata Melo e Silva de OliveiraII

I Professora, Doutora em Engenharia Industrial e Gestão, Universidade Federal de Santa Catarina, Florianópolis, SC, Brazil

http://orcid.org/0000-0002-0651-0349 - andreia.zanella@ufsc.br

II Professora, Doutora em Engenharia Industrial e Gestão, Universidade do Estado do Pará, Belém, PA, Brazil

http://orcid.org/0000-0002-1904-7533 - renata.oliveira@uepa.br

Resumo

O Conceito Preliminar de Curso (CPC) é considerado o principal indicador de qualidade da educação superior brasileira. As principais críticas ao CPC encontradas na literatura estão relacionadas aos pesos atribuídos às diferentes componentes do indicador e ao fato de não levar em conta a heterogeneidade das instituições de ensino superior (IES). Levando em consideração as oito componentes do CPC, este artigo tem como objetivo avaliar o desempenho dos cursos de graduação em Administração por meio de um indicador compósito construído com base na Análise Envoltória de Dados (DEA).  Nesta abordagem, os pesos das componentes resultam de um processo de otimização. Por isso, são menos propensos à subjetividade, ao mesmo tempo em levam em consideração as prioridades das políticas institucionais. Como resultado, pode-se obter estimativas de desempenho que permitem comparabilidade entre cursos semelhantes de diferentes IES. Uma das vantagens do uso de DEA neste contexto é que tornou-se possível identificar os cursos com baixo desempenho e, simultaneamente, identificar cursos de referência que podem ser considerados exemplos de melhores práticas (benchmarks). Com o intuito de demonstrar as vantagens deste método alternativo de cálculo do CPC, foi conduzida uma análise de cursos de Administração em IES brasileiras da esfera pública com dados do ano-base de 2018.

Palavras-chave: Avaliação de desempenho; Educação superior; Conceito Preliminar de Curso

Abstract

Conceito Preliminar de Curso (CPC) is considered the main quality indicator of Brazilian higher education. The main criticisms found in the literature related to the CPC are the following: the weights attributed to the different components and the fact that it does not take into account the heterogeneity of higher education institutions (HEIs). As higher education institutions have different specialties, the distribution of weights may be favourable or unfavourable to a specific group of institutions. Taking into account the eight components of the CPC, this article aims to assess the performance of undergraduate courses  in Business Administration through a composite indicator built on the basis of Data Envelopment Analysis (DEA). In this approach, the component weights result from an optimization process. Therefore, they are less prone to subjectivities, while taking into account institutional policy priorities. As a result, it is possible to obtain performance estimates that allow comparability of similar courses from different HEIs. One of the advantages of using DEA in this context is that it has become possible to identify courses with low performance and, at the same time, identify reference courses that can be considered examples of best practices (benchmarks). In order to demonstrate the advantages of this alternative method of calculating the CPC, an analysis of Administration courses in Brazilian HEIs was conducted with data from the base year 2018.

Keywords: Performance assessment; Higher education; Conceito Preliminar de Curso.

1 INTRODUÇÃO

A condução apropriada de uma avaliação de desempenho é capaz de produzir resultados relevantes à melhoria do serviço de ensino superior prestado ao cidadão. Além de apoiar a elaboração de políticas públicas, permite que as instituições de ensino superior (IES) aperfeiçoem suas práticas a partir da comparação entre o seu desempenho e o desempenho de instituições similares (SCHWARTZMAN, 2008).

A literatura recente registra a importância da avaliação de desempenho como um recurso à gestão universitária e também ao suporte à decisão no contexto de formulação de políticas públicas (HOFFMANN et al. (2014). Portanto, gerar informações relevantes ao monitoramento de desempenho dos cursos de graduação em IES pode promover  a melhoria da qualidade destas instituições brasileiras.

A política da avaliação da Educação Superior em vigência no Brasil é regida pelo Sistema Nacional de Avaliação da Educação Superior (Sinaes). O Sinaes tem como objetivo “assegurar o processo nacional de avaliação das instituições de Educação Superior, dos cursos de graduação e do desempenho acadêmico de seus estudantes” (BRASIL, 2004). No âmbito do Sinaes, em 2008, foram criados dois indicadores de desempenho: o Conceito Preliminar de Curso (CPC) e o Índice Geral de Cursos (IGP) (BRASIL, 2008). A criação destes indicadores gerou relativa economia para o país, tendo em vista que possibilitaram a dispensa da avaliação in loco de alguns cursos (VERHINE e DANTAS, 2009).

O CPC é considerado o principal Indicador da Qualidade da Educação Superior no Brasil (IKUTA, 2016). Conforme observado por Griboski e Fernandes (2016), o CPC serve como proxy da qualidade do ensino superior, mostrando uma “fotografia” da situação educacional e possibilitando traçar um panorama da Educação Superior brasileira. Apesar do CPC estar em uso há  anos e ter passado por alguns refinamentos de formulação ao longo do tempo, sua formulação ainda é foco de debate e crítica na comunidade acadêmica. Schwartzman (2008) destaca que, embora haja consenso sobre a importância de avaliar, a maneira como ela é conduzida e a forma de divulgação dos resultados ainda geram controvérsia.

A falta de consenso reside principalmente nos pesos atribuídos às diferentes componentes do CPC. Este é um tema sensível e que merece reflexões  aprofundadas, pois mesmo pequenas mudanças nos pesos das componentes podem gerar impactos significativos  na medida de desempenho dos cursos (IKUTA, 2016; BITTENCOURT et al. 2010). Outro ponto importante a considerar é que um sistema único de pesos para todos os cursos e IES não permite captar via CPC a diversidade de especializações das instituições, principalmente quando se avaliam IES públicas e privadas com os mesmos critérios de desempenho. Bittencourt et al. (2010) ressaltam que “existem pontos fortes e fracos nos dois tipos de universidade e a distribuição dos pesos poderá ser favorável ou desfavorável a um grupo”. Lacerda e Ferri (2017) também mencionam a necessidade de se ter em conta fatores do contexto regional em que a instituição está inserida, sua organização e sua relação com a geração dos recursos para a sua existência.

Ainda sobre a questão dos pesos alocados às componentes do CPC, Ikuta (2016) e Lacerda e Ferri (2017) chamam a atenção para o fato de que 70% da nota do CPC está inteiramente relacionada aos discentes, seja pelo desempenho dos mesmos no Exame Nacional de Desempenho de Estudantes (Enade), seja pelas respostas dos discentes no Questionário do Estudante. Ikuta (2016) ainda menciona o agravante relacionado ao alto grau de subjetividade intrínseco às respostas dos discentes.

Griboski e Fernandes (2016) apontam a importância de associar a atividade avaliativa não como um instrumento de competição entre as instituições, mas como uma atividade que apoie a gestão acadêmica e institucional, visando a melhoria da qualidade da Educação Superior.

Levando em conta as componentes do CPC, este trabalho tem o objetivo de avaliar o desempenho de um conjunto de cursos de graduação por meio de uma formulação alternativa do CPC em que os pesos são selecionados com base em um modelo de otimização. Este modelo estima o CPC dos cursos com base na técnica de Análise Envoltória de Dados (DEA). DEA é uma técnica baseada em programação linear muito eficaz para estimar indicadores compósitos. A principal vantagem de usar DEA na avaliação está relacionada à habilidade de definir os pesos das componentes com base em um processo de otimização. Esta característica possibilita valorizar as prioridades ou vocações de cada curso ou instituição, pois cada curso avaliado tem flexibilidade para definir, endogenamente, o conjunto de pesos que melhor favoreça as suas especialidades.

Neste estudo, dois cenários serão explorados: No primeiro cenário, os cursos serão avaliados permitindo total flexibilidade na atribuição de pesos às componentes do CPC. Esta análise é particularmente interessante para que seja possível identificar os cursos que, mesmo quando os pesos são otimizados para melhorar seu escore de desempenho, não conseguem atingir um bom resultado na avaliação. No segundo cenário, os cursos serão avaliados seguindo uma abordagem de compromisso entre os extremos de total flexibilidade na seleção dos pesos das componentes e total rigidez. Para isso, será necessário impor restrições aos pesos das componentes, permitindo que os pesos variem dentro de um intervalo de valores.

A formulação alternativa proposta não tem a pretensão de propor uma nova metodologia para o cálculo de CPC. No lugar disso, o intuito aqui é apresentar uma   ferramenta que possibilite a análise complementar do desempenho dos cursos sob diferentes cenários de atribuição de pesos. Isso permite apoiar decisões de gestão e possibilita também identificar  para cada curso avaliado as áreas que são críticas do ponto de vista da melhoria contínua. Além disso, possibilita identificar exemplos de melhores práticas (benchmarks) a serem seguidos por cursos que apresentaram desempenho insatisfatório.

Conforme destacado por Andriola (2004) e Andriola e Araújo (2018), a explicação e a interpretação da realidade educacional são tarefas complexas. Tais tarefas exigem enfoques teóricos variados e procedimentos técnicos diversos. Portanto, este estudo conduz uma análise complementar à análise oficial já estabelecida pelo CPC, explorando o potencial de uma técnica alternativa de avaliação que ajude a guiar melhorias de desempenho.

Este artigo está organizado da seguinte forma. A seção de introdução dedicou-se à contextualização do tema de estudo, à apresentação da motivação e descrição dos objetivos da pesquisa. A seção 2 reporta as dimensões e componentes do CPC. A seção 3 detalha a metodologia utilizada na avaliação de desempenho dos cursos. A seção 4 apresenta os resultados e discussões deste estudo. Por fim, a seção 5 apresenta considerações finais, implicações desta análise complementar e as sugestões para trabalhos futuros.

2 O Conceito Preliminar de Curso

O CPC é considerado um indicador compósito que agrega em uma única medida de desempenho diferentes aspectos dos cursos de graduação. Desde de sua criação em 2008, o CPC passou por revisões para incorporar modificações advindas do Exame Nacional de Desempenho de Estudantes (Enade) e também reivindicações da comunidade acadêmica. As principais alterações realizadas concentraram-se em componentes incluídos na avaliação e nos pesos destas componentes (BARREYRO; ROTHEN, 2014).

O Quadro 1 reporta as dimensões e as componentes atuais do CPC. O sistema de pesos utilizados no cálculo do indicador também é reportado. 

Quadro 1 – Dimensões, componentes e pesos do CPC

Dimensões	Componentes	Peso das componentes	Peso das dimensões
Desempenho dos estudantes	Nota dos Concluintes no Enade (NC)	20%	20%
Valor agregado pelo processo formativo oferecido pelo curso	Nota do Indicador da Diferença entre os Desempenhos Observado e Esperado (NIDD)	35%	35%
Percepção Discente sobre o Processo Formativo	Nota referente à Organização Didático-Pedagógica (NO)	7,5%	15%
	Nota referente à Infraestrutura e Instalações Físicas (NF)	5,0%
	Nota referente às Oportunidades de Ampliação da Formação Acadêmica e Profissional (NA)	2,5%
Corpo Docente	Nota de Proporção de Mestres (NM)	7,5%	30%
	Nota de Proporção de Doutores (ND)	15%
	Nota de Regime de Trabalho (NR)	7,5%

Fonte: Brasil (2018)

A primeira dimensão é composta por uma única componente, que tem um peso de 20% no indicador, está relacionada ao desempenho dos estudantes e é mensurada a partir das notas dos estudantes concluintes no Enade (NC).

A segunda dimensão também é formada por uma única componente: a Nota do Indicador da Diferença entre os Desempenho Observado e Esperado (NIDD). A NIDD está associada ao valor agregado pelo processo formativo oferecido pelo curso e é calculada a partir do desempenho do discente concluinte do Enade e das notas do Enem. Esta componente tem o propósito de captar as diferenças em relação ao perfil dos estudantes dos diferentes cursos ao ingressar no Ensino Superior. A Nota Técnica nº 45/2019 traz a metodologia completa do cálculo do NIDD (BRASIL, 2019). Esta dimensão contribui com 35% do peso do CPC.

A terceira dimensão também está relacionada aos estudantes. Ela representa a percepção do discente sobre o processo formativo. A essa dimensão confere-se 15% de peso no CPC. As três componentes desta dimensão são as seguintes: organização didático-pedagógica (NO), insfraestrutura e instalações (NF) e oportunidades de ampliação da formação acadêmica e profissional (NA). São calculadas com base nas respostas do Questionário do Estudante, o qual é respondido pelos discentes que prestam o Enade.

A quarta dimensão está relacionada ao corpo docente. Esta dimensão representa 30% do peso do CPC. Os dados desta dimensão são obtidos do Censo da Educação Superior. Esta dimensão é composta pelas componentes relacionadas à titulação e ao regime de trabalho dos docentes: proporção de professores com titulação igual ou superior a de mestre (NM); proporção de professores com titulação de doutor (ND); proporção de professores em regime de trabalho parcial ou integral (NR).

Todas as componentes do CPC são padronizadas e reescalonadas para assumirem valores contínuos compreendidos entre zero e cinco. Utilizando como base os valores das componentes padronizadas, o cálculo da Nota Contínua do CPC para cada curso j(NCj), é dado por meio da ponderação das notas de cada componente conforme reportado na formulação (1):

(1)

Por fim, a Nota Contínua do CPC é convertida em valores discretos compreendidos no intervalo de 1 (um) até 5 (cinco). Este valor discretizado é que dá origem ao “Conceito Preliminar de Curso” detalhado na Nota Técnica nº 18/2018 (BRASIL, 2018).

3 Metodologia

3.1 Modelo de Indicador Compósito (IC)

Esta seção descreve o modelo de Indicador Compósito (IC) adotado nesta pesquisa para avaliar o desempenho dos cursos de graduação. O modelo é construído com base na técnica de Data Envelopment Analysis (DEA), termo traduzido para o português como Análise Envoltória de Dados. Trata-se de uma técnica baseada em programação linear introduzida por Charnes et al. (1978) para quantificar a eficiência relativa de um conjunto homogêneo de Decision Making Units (DMUs), termo traduzido para o português como unidades tomadoras de decisão ou unidades produtivas (COOPER; SEIFORD; TONE, 2006; FERREIRA; GOMES, 2009).

A técnica DEA possibilita calcular uma medida agregada de eficiência para cada DMU, com base em comparações diretas com as outras DMUs incluídas na amostra. Esta característica é particularmente interessante para realização de benchmarking, pois avalia o desempenho por meio de comparação com o que foi efetivamente observado entre as unidades avaliadas.

Embora a técnica de DEA tenha sido proposta para avaliar a eficiência de um conjunto relativamente homogêneo de DMUs no uso de múltiplos recursos (inputs) para produzir múltiplos resultados (outputs), esta técnica pode ser usada também no contexto da construção de indicadores compósitos.

Um indicador compósito tem como objetivo agregar em uma medida global um determinado conjunto de indicadores individuais de desempenho. O IC resultante desta agregação é capaz de refletir conceitos multidimensionais que não poderiam ser capturados por um único indicador individual. Dentre as vantagens do uso de ICs, pode-se citar a capacidade de resumir a informação e a facilidade de interpretar resultados em comparação com uma baterias de indicadores, como detalhado no “Manual para construção de indicadores compósitos”, proposto pela Organização para a Cooperação e Desenvolvimento Econômico (OCDE) (NARDO et al., 2008).

O uso de DEA para construção e ICs foi proposto por Cook e Kress (1990). Anos mais tarde, o trabalho de Cherchye et al. (2007) possibilitou popularizar o uso de ICs baseados em DEA. Os autores propuseram um modelo de fácil aplicação do ponto de vista matemático, que foi cunhado como “Benefit-of-the-doubt (BoD) composite indicator” (IC de “benefício da dúvida”). Isso significa que, para cada DMU em avaliação, o peso de cada indicador é atribuído endogenamente por meio de otimização. Dessa maneira, cada DMU é avaliada com os pesos que mais a favorecem na avaliação, evitando o uso de um único sistema de pesos que poderia desfavorecer alguma outra DMU.

O modelo de programação linear que possibilitará avaliar o desempenho dos cursos de graduação é mostrado na expressão (2)I. Como referido por Cherchye et al. (2007), o modelo (2) é equivalente ao modelo original de DEA proposto por Charnes (1978), em que todos os indicadores do processo são tratados como resultados (outputs) e uma variável dummy igual a “1” é considerada como input único para todas as DMUs.

Sujeito às restrições:	(2)
	(2.a)
	(2.b)

No modelo (2), yij representa o valor observado no indicador i para a DMU j. O subscrito “o” em jo, representa a DMU em avaliação, note que o modelo é resolvido n vezes, uma vez para cada DMU avaliada. uij representa o peso do i-ésimo indicador da DMU j, deste modo, uij são as variáveis de decisão deste modelo de otimização. ε é um valor infinitésimo que garante pesos estritamente positivos. O estudo conduzido no presente artigo usa o modelo da formulação (2) para quantificar o desempenho dos cursos de graduação considerando-se as componentes do CPC. Portanto, as DMUs representam os “cursos de graduação” e os indicadores individuais (yij) correspondem às “componentes” do CPC.

O valor do indicador ICj0 pode assumir valores entre 0 e 1. Valores iguais a 1 indicam os melhores desempenhos observados na amostra, enquanto que valores menores que 1 indicam potencial de melhoria.

Com o intuito de facilitar a interpretação valor do indicador compósito apresentado no modelo (2), apresenta-se na Figura 1 um pequeno exemplo ilustrativo. Este exemplo ilustra a avaliação de desempenho de 5 DMUs, denominadas A, B, C, D e E, as quais são avaliadas utilizando dois indicadores (Y1 e Y2). Em ambos os indicadores, valores mais altos correspondem a um melhor desempenho. 

As DMUs A, B e C apresentam os melhores desempenhos observados na amostra e, portanto, obterão o valor máximo do indicador compósito ICj0= 1. Essas DMUs compõem a fronteira de desempenho, a partir da qual as demais unidades que não atingiram o escore máximo de desempenho (ou seja, as unidades D e E) terão seus escores calculados. O valor do indicador compósito da DMU D, por exemplo, será dado pela razão O’D/O’D*, em que O’ corresponde a origem das coordenadas e D* corresponde à projeção da DMU D na fronteira de desempenho. Deste modo, o  valor do indicador compósito do  modelo (2) pode ser interpretado como um potencial de melhoria, ou seja, quanto a DMU D deveria melhorar proporcionalmente ambos os indicadores para atingir a fronteira de desempenho.

Figura 1 – Ilustração de uma avaliação envolvendo 5 DMUs, avaliadas utilizando dois indicadores de desempenho

Fonte: Autores (2021)

Uma das principais vantagens de um modelo baseado em DEA é que permite a cada curso selecionar, recorrendo à otimização, os pesos que enfatizam suas especialidades ou vocações. Devido a esta característica, os pesos podem diferir para cada curso avaliado.

A flexibilidade na escolha dos pesos no modelo (2), que é a grande vantagem dos modelos baseados em DEA, também pode representar uma fraqueza em casos em que um curso tem desempenho muito ruim em alguma componente específica. Nestes casos, um peso praticamente nulo poderá ser alocado a esta componente, sendo desta forma, ignorada na análise de desempenho deste curso. Conforme pode ser observado no modelo (2), a restrição imposta pelo modelo tradicional exige apenas que os pesos sejam positivos. Em casos em que há interesse em evitar pesos muito baixos, ou então, quando se deseja refletir a importância relativa das componentes, fruto de opinião de especialistas da área ou desicion-makers, esta informação pode ser facilmente inserida no modelo através da imposição de restrições de peso.

No contexto deste artigo, os cursos de graduação foram avaliados num primeiro momento permitindo total flexibilidade na seleção dos pesos. Esta primeira abordagem permite identificar os cursos que, mesmo quando os pesos são definidos de maneira a valorizar todas as suas potencialidades, ainda assim não conseguem apresentar bom desempenho.

Num segundo momento, foram impostas restrições parciais aos pesos das componentes para refletir a importância relativa das mesmas em relação a todas as componentes avaliadas. O primeiro estudo que aplicou restrições aos pesos em modelos de DEA foi o trabalho de Wong e Beasley (1990). As restrições impostas pelos autores limitavam o peso (importância relativa) dedicado a um específico output da unidade em avaliação. Desde então, a questão da imposição de restrições de peso nos modelos baseados em DEA atraiu considerável atenção na literatura e diferentes abordagens foram propostasII.

No contexto dessa pesquisa, foram impostas restrições de peso que são aplicadas à DMU (curso) em avaliação j0, tal como mostrado na expressão (3). Estas restrições limitam a quantidade de peso virtual que deve estar associada à componente i (uiyijo )) proporcionalmente ao peso virtual alocado a todas as componentes ().

Por peso virtual entende-se o produto entre o peso absoluto e o valor da componente a ele associada. O peso virtual pode ser interpretado como a “importância” relativa de uma componente na avaliação. Esta forma de restrição de peso foi inicialmente proposta por Wong e Beasley (1990) e tem sido extensivamente utilizada em aplicações quando o objetivo é limitar em termos percentuais o peso de uma componente do indicador compósito.

(3)

Na formulação (3), o parâmetro w se refere ao peso da componente do CPC. Os pesos das componentes (wi) foram reportados na penúltima coluna do Quadro 1. O fator (k +- w) reflete o grau de flexibilidade admitido para o peso da componente . Portanto, quanto maior o valor de k, maior será o grau de flexibilidade admitido. Para exemplificar, o valor de k = 0 especifica limites inferior e superior iguais ao valor definido no sistema de pesos original do CPC (valores de referência no Quadro 1). Porém, quando k = 0,2, a avaliação permite uma margem de mais ou menos 20% do valor de referência dos pesos fixos do CPC reportados no Quadro 1.

3.2 Delimitação da amostra

A seguir são descritos os critérios adotados para a inclusão dos cursos de graduação em Administração neste estudo. A base de dadosIII disponibilizada pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) fornece dados dos 1766 cursos de Bacharelado em Administração que fizeram parte da avaliação realizada em 2018. Dentre estes, foram selecionados cursos presenciais e oferecidos por universidades públicas da esfera estadual e federal. Como consequência, o tamanho da amostra foi reduzido para 210 cursos. Em seguida, para aumentar a confiabilidade nos resultados da avaliação, ainda foram eliminados do estudo os cursos em que menos de 15 estudantes participaram do processo de avaliação. Desse modo, a amostra final utilizada foi constituída por 167 cursos de graduação em Administração. Em detalhes, a amostra é composta por 74 de universidades estaduais e 93 universidades federais. No Apêndice A deste artigo são listados todos os cursos integrantes desta amostra.

4 Resultados e discussões

Os resultados e discussões são apresentados da seguinte forma. A subseção 4.1 apresenta os resultados da análise exploratória para compreender o comportamento dos dados e as correlações entre as componentes do CPC. Nas subseções 4.2 e 4.3, reportam-se os resultados de dois cenários da avaliação de desempenho dos cursos de graduação em Administração segundo a abordagem BoD. Os resultados são discutidos sob a perspectiva da comparação entre os cursos da amostra. Esta comparação é denominada exercício de benchmarking.

4.1 Análise exploratória das componentes do CPC

Na Figura 2, são mostrados os histogramas das oito componentes do CPC e, na Tabela 1, são apresentadas as principais medidas descritivas. Os histogramas permitem visualizar a distribuição dos dados. As maiores assimetrias identificadas nas distribuições podem ser vistas nas variáveis relacionadas ao regime de trabalho (NR) e proporção de mestres (NM). Quanto à componente NR, observou-se que apenas 16 cursos obtiveram nota diferente de 5, sendo uma variável com grande concentração de cursos com a mesma nota. O histograma da componente NM também revela que grande parte dos cursos avaliados tem boa nota nesta componente, na Tabela 1, observa-se que 75% dos cursos tiveram nota superior a 3,48 (Quartil 1).

Outro histograma que mostrou bastante concentração de cursos com notas similares se refere à componente NIDD, com o menor desvio-padrão da amostra. Diferentemente da componente NR, a componente NIDD apresenta pouca assimetria na distribuição, por isso, os valores da média e da mediana estão bastante próximos e centralizados. Pelos valores dos desvios-padrões, nota-se que as maiores discrepâncias na amostra encontram-se nas componentes relacionadas à proporção de mestres (NM) e a proporção de doutores (ND).

Valores muito baixos ou iguais a zero foram observados em algumas componentes. Conforme explicado na Nota Técnica nº 38 (BRASIL, 2018), os cursos que não possuíam docentes com a titulação de mestre (NM) ou doutor (ND), ou no regime de trabalho parcial ou integral (NR), tiveram as notas computadas como zero. Ainda, com relação às componentes da dimensão Percepção Discente (NO, NF e NA), quando nenhum estudante respondeu pelo menos um item em cada componente, o curso teve valor igual a zero computado.

Figura 2 – Histogramas das componentes do CPC

Fonte: Autores (2021)

Tabela 1 – Principais medidas descritivas para as componentes do CPC

	NC	NIDD	NO	NF	NA	NM	N	NR
Média	3,290	2,483	2,322	2,300	2,690	4,042	2,446	4,881
D. Padrão	0,848	0,433	0,937	0,937	0,795	1,083	1,335	0,577
Mínimo	1,050	0,414	0	0	0,147	0	0	0
Quartil 1	2,697	2,281	1,650	1,668	2,167	3,485	1,5	5
Mediana	3,374	2,508	2,324	2,235	2,607	4,451	2,5	5
Quartil 3	3,851	2,723	2,945	2,831	3,145	4,867	3,522	5
Máximo	5	3,978	4,925	4,915	4,963	5	5	5

Fonte: Autores (2021)

Os valores dos coeficientes de correlação de Pearson entre as componentes são mostrados na Tabela 2. Valores positivos para o coeficiente de correlação indicam componentes que caminham num mesmo sentido, por exemplo, a correlação positiva entre as componentes NC e ND indica que cursos que tiveram notas baixas na componente NC tendem a ter notas baixas também na componente ND e cursos que tiveram notas altas na componente NC tendem a ter notas altas também na componente ND. Por outro lado, valores negativos de correlação indicam variáveis que caminham em sentidos contrários. Por exemplo, a correlação negativa entre as componente NO e NC, a qual indica que cursos que tiveram notas baixas na componente NO, tendem a ter notas altas na componentes NC. Similarmente, cursos que tiveram notas altas na componente NO tendem a ter notas baixas na componente NC. Portanto, quanto mais próximos de zero forem os coeficientes (sejam positivos ou negativos), menores são as correlações entre as componentes e quanto mais próximos de +/- 1, mais fortes são as correlações.

Tabela 2 – Correlações entre as componentes do CPC

	NC	NIDD	NO	NF	NA	NM	ND	NR
NC	1	-	-	-	-	-	-	-
NIDD	0,353*	1	-	-	-	-	-	-
NO	-0,388*	0,152	1	-	-	-	-	-
NF	-0,135	0,154	0,838*	1	-	-	-	-
NA	-0,076	0,156	0,771*	0,890*	1	-	-	-
NM	0,437*	-0,071	-0,231	-0,040	0,006	1	-	-
ND	0,598*	-0,108	-0,313	-0,020	0,063	0,677*	1	-
NR	0,231	0,063	-0,054	-0,002	0,010	0,174	0,245	1

Fonte: Autores (2021)

Em que: * correlações significantes a um nível de 0.01 de significância

Os três coeficientes mais elevados se referem às correlações entre as componentes da dimensão Percepção Discente sobre o Processo Formativo. Embora as três componentes (NO, NF e NA) desta dimensão se proponham a medir aspectos distintos, observa-se que as respostas dos alunos estão bastante alinhadas, mostrando que os alunos tendem a avaliar de maneira muito semelhante os diferentes aspectos.

O coeficiente que relaciona as componentes “proporção de docentes com titulação mínima de mestre” (NM) e “proporção de docentes com titulação de doutor” (ND) também se mostrou elevado. Era esperado que estas componentes tivessem alta correlação, pois a componente NM inclui no seu cálculo também os professores com titulação de doutor.

Também foi observada uma correlação elevada entre as componentes “proporção de docentes com titulação de doutor” (ND) e “nota dos Concluintes no Enade” (NC), apesar de buscarem captar aspectos distintos dos cursos, o coeficiente mostra que os cursos que têm boa nota em uma das componentes tendem a ter boa nota na outra também.

Além das correlações discutidas nos parágrafos anteriores, que representam correlações fortes entre as componentes, ao conduzir um teste estatístico para avaliar a significância das correlações, observou-se que as correlações entre as componentes NIDD e NC e entre as componentes NC e NO apesar de serem moderadas, também são significantes. 

De acordo com o manual para construção de ICs da OCDE (NARDO et al., 2008), é importante verificar a correlação estatística entre indicadores individuais que compõem um indicador compósito, pois quando dois indicadores correlacionados são incluídos com um peso w1 e w2, representam, na verdade, um peso correspondente a w1 + w2. Nestes casos, deve-se avaliar se os indicadores correlacionados estão medindo um mesmo aspecto, se sim, pode-se escolher apenas um dos indicadores para incluir na análise, ou então, pode-se ajustar pesos dando menos peso aos indicadores correlacionados. No caso das correlações elevadas observadas na presente pesquisa, a correlação entre NM e ND revelam duas componentes buscando refletir um aspecto comum: “qualificação docente”. Já as correlações observadas na dimensão Percepção Discente, apesar de serem altas, as componentes buscam refletir diferentes aspectos, como mencionado na segunda seção deste trabalho.

4.2 Avaliação de desempenho com total flexibilidade na seleção dos pesos das componentes

Nesta seção, avaliou-se os cursos utilizando o modelo (2) que permite total flexibilidade para definir, para cada curso em avaliação, o conjunto de pesos que otimiza o seu escore de desempenho comparado aos demais cursos. Portanto, quando um curso obtiver o escore máximo de desempenho significa que se “sobressai” em pelo menos uma componente avaliada. Porém, isso não significa que não haja potencial para melhoria em outros aspectos avaliados.

Na Tabela 3, são apresentados os 14 cursos que atingiram o escore máximo de desempenho. Como uma medida complementar, é mostrado também o “número de vezes que cada curso apareceu como benchmark” de outros cursos com menor desempenho. Os benchmarks podem ser identificados por meio do modelo dualIV do modelo apresentado na expressão (1). Pode-se notar que os cursos da UFLA (Lavras)V, da UFSM (Santa Maria) e da UEG (Aparecida de Goiânia) são os que mais frequentemente foram selecionados como exemplos de melhores práticas.

Na Tabela 4, são apresentados os 15 cursos que apresentaram os desempenhos mais baixos na avaliação. Nesta avaliação em que cada curso tem total liberdade para selecionar os pesos que melhor o favorecem, diz-se que as unidades que não atingiram o escore máximo de desempenho apresentam evidências muito fortes de que as demais unidades estão desempenhando melhor.

Tabela 3 – Cursos que atingiram o escore máximo de desempenho quando avaliados com o modelo permitindo total flexibilidade na seleção dos pesos das componentes

Curso de Administração	IC Escore	Nº vezes como benchmark	Curso de Administração	IC Escore	Nº vezes como benchmark
UFLA (Lavras)	1	147	UNIOESTE (F. Beltrão)	1	2
UFSM (Santa Maria*)	1	26	UFPB (Bananeiras)	1	2
UEG (A. ge Goiânia)	1	14	UFV (Viçosa)	1	2
UERN (Caraúbas)	1	5	UDESC (Florianópolis)	1	1
UFMS (Paranaíba)	1	5	UEG (Goianésia)	1	1
UFRA (Parauapebas)	1	5	UNIFESP (Osasco)	1	1
UNIFEI (Itajubá)	1	3	UTFPR (Curitiba)	1	1

Fonte: Autores (2021)

Em que: * código do curso e-MEC 13852 (Diurno).

Tabela 4 – Quinze cursos com menor escore de desempenho quando avaliados com o modelo permitindo total flexibilidade na seleção dos pesos das componentes

Curso de administração	IC escore	Curso de administração	IC escore	Curso de administração	IC escore
UFMS (C. Grande)	0,977	UERR (Boa Vista)	0,941	UEMG (Cláudio)	0,855
UFMS (Corumbá)	0,955	UFMS (Aquidauana)	0,939	UEMA (Imperatriz)	0,795
UEMA (Bacabal)	0,953	UEMA (Timon)	0,937	UEMS (Ponta Porã)	0,737
UFMS (N. Andradina)	0,949	UFMS (Três Lagoas)	0,914	UEMA (Açailândia)	0,698
UVA (Sobral)	0,944	UEMG (Passos)	0,898	UEMS (Maracaju)	0,678

Fonte: Autores (2021)

Os escores das demais unidades, suprimidas das tabelas por questão de otimização de espaço no artigo, apresentaram escore de desempenho muito próximo de 1.

Para ilustrar a discussão dos resultados, selecionou-se o curso da UFMS (Corumbá) como exemplo. Os três cursos identificados como benchmarks para o curso da UFMS (Corumbá) são mostrados na Tabela 5. Com base nos valores das componentes, o curso da UFMS (Corumbá) pode observar qual benchmark pode fornecer bons exemplos em cada componente.

Tabela 5 – Valores das oito componentes para o curso de Administração da UFMS (Corumbá) e os cursos identificados como benchmarks

			Valores das componentes
	Curso de administração		NC	NIDD	NO	NF	NA	NM	ND	NR
Benchmarks	UFMS (Corumbá)		3,261	2,829	3,422	2,609	2,992	3,144	1,667	4,777
	UFLA (Lavras)	λ=0,562	4,779	2,810	3,531	4,003	4,075	5	5	5
	UFSM (S. Maria)	λ=0,233	4,685	3,141	2,826	3,782	3,827	5	4,405	5
	UEG (A. de Goiânia	λ=0,160	3,169	3,224	4,863	4,864	4,963	2,773	1,5	5

Fonte: Autores (2021)

Nota: os valores de λ se referem ao grau de similaridade entre o curso avaliado e o respectivo benchmark.

Para facilitar a análise, os valores das componentes são ilustradas na Figura 3.

Figura 3 – Comparação dos curso de Administração da UFMS (Corumbá) e seus benchmarks

Fonte: Autores (2021)

Observa-se que o curso da UFMS é superado em desempenho pela maioria de seus benchmarks. Destaca-se nesse contexto a diferença de desempenho principalmente nas componentes de infraestrutura e instalações (NF), organização didático-pedagógica (NO) e possibilidade de ampliação da formação discente (NA), em que os três cursos benchmarks podem fornecer bons exemplos. Fenômeno similar pode ser observado nas componentes relacionadas à formação docente (NM e ND), em que os cursos da UFLA e UFSM mostraram melhores resultados. O mesmo ocorre na componente Nota do Enade (NC), que também tem como referência de desempenho os cursos da UFLA e UFSM.

4.3 Avaliação de desempenho restringindo parcialmente os pesos das componentes

Nesta seção, foram incorporadas no modelo (2) restrições parciais sobre o peso das oito componentes, tal como apresentado na expressão (3). O valor de , na expressão (3), foi definido como k = 0,5. Este valor possibilitou restringir 50% dos pesos na avaliação. Portanto, os cursos ainda têm 50% de liberdade para selecionar os pesos que maximizam o seu escore de desempenho. Na Tabela 6 são mostrados os limites inferior e superior das restrições em torno do peso proposto no CPC, para cada componente.

Tabela 6 – Limites inferior e superior dos pesos das componentes

Componente	Limite inferior wi (1-k)	Peso proposto no CPC wi	Limite superior wi (1+k)
NC	0,1	0,2	0,3
NIDD	0,175	0,35	0,525
NO, NM E NR	0,0375	0,075	0,1125
NF	0,025	0,05	0,075
NA	0,0125	0,025	0,0375
ND	0,075	0,15	0,225

Fonte: Autores (2021)

Como resultado, os cursos de graduação obtiveram escores de desempenho variando entre 0,2689 e 1. Conforme já detalhado na seção 3.1, o valor do indicador de desempenho pode variar entre 0 e 1, em que valores mais altos refletem melhor desempenho. No histograma apresentado na Figura 4 são mostrados os escores de desempenho, observa-se que grande parte dos cursos atingiram escores compreendidos entre 0,6 e 0,9. Na Tabela 7, são apresentadas as medidas descritivas associadas aos escores obtidos pelos cursos. A média e o desvio-padrão dos escores foram de 0,7182 e 0,1569, respectivamente.

Figura 4 – Histograma dos escores de desempenho dos 167 cursos avaliados

Fonte: Autores (2021)

Tabela 7 – Medidas descritivas dos escores obtidos pelos 167 cursos

Média	D. Padrão	Mínimo	Quartil 1	Mediana	Quartil 3	Máximo
0,7182	0,1569	0,2689	0,6316	0,754	0,8306	1

Fonte: Autores (2021)

A partir dos valores dos quartis, os cursos foram classificados em quatro grupos para facilitar a interpretação dos resultados: cursos com desempenho Baixo (escores entre 0,2689 e 0,6316); cursos com desempenho Moderado (escores entre 0,6316 e 0,7540);  cursos com desempenho Alto (escores entre 0,7540 a 0,8306); e, por fim, cursos com desempenho Muito alto (escores entre 0,8306 e 1). 

Na terceira coluna do Apêndice A deste artigo são mostrados, em ordem decrescente, os escores para os 167 cursos avaliados, bem como o grupo ao qual foram classificados.

Nas Tabela 8 e 9 são mostrados, respectivamente, os 15 cursos com maiores e menores escores de desempenho na avaliação conduzida nesta etapa. Pode-se observar que sete cursos que tinham atingido o escore máximo na avaliação anterior (Tabela 3) não conseguiram manter o bom desempenho quando impostas restrições sobre os pesos. Isso mostra evidência de que tinham atingido o escore máximo de desempenho somente devido a uma escolha criteriosa de pesos. Restringindo parcialmente os pesos, somente três cursos (UFLA (Lavras), UFMS (Paranaíba) e UFSM (Santa Maria)) se mantiveram com escore máximo e podem ser considerados benchmarks neste cenário.

Tabela 8 – Quinze cursos com maior escore de desempenho quando avaliados com o modelo incorporando restrições parciais nos pesos das componentes

Curso de Administração	IC Escore	Curso de Administração	IC Escore	Curso de Administração	IC Escore
UFLA (Lavras)	1	UNIFEI (Itajubá)	0,931	UFFS (Chapecó)	0,902
UFMS (Paranaíba)	1	UFRPE (Recife)	0,929	UFMG (Montes Claros)	0,897
UFSM (Santa Maria*)	1	UNICENTRO (Irati)	0,916	UNEB (Guanambi)	0,896
UNIFESP (Osasco)	0,949	UFV (Viçosa)	0,916	UDESC (Florianópolis)	0,887
UFSM (Santa Maria◊)	0,935	UFSJ (S.J. Del-Rei)	0,907	UNESP (Tupã)	0,884

Fonte: Autores (2021)

Em que: * código do curso e-MEC 13852 (Diurno); ◊ código do curso e-MEC 41011 (Noturno).

Tabela 9 – Quinze cursos com menor escore de desempenho quando avaliados com o modelo incorporando restrições parciais nos pesos das componentes

Curso de Administração	IC Escore	Curso de Administração	IC Escore	Curso de Administração	IC Escore
UPE (Recife)*	0,444	UNICAMP (Limeira**)*	0,392	UEMG (Cláudio)	0,363
UNIMONTES (B. Minas)*	0,431	UNIR (Cacoal)*	0,369	UNEMAT (Diamantino)*	0,360
UEPB (Patos)*	0,425	UNIR (G. Mirim)*	0,368	UEMA (Timon)	0,341
UEMS (Maracaju)	0,402	UEG (Goianésia)*	0,367	UEG (Silvania)*	0,279
UERN (Caraúbas)*	0,394	UERR (Boa Vista)	0,367	UEMA (Açailândia)	0,269

Fonte: Autores (2021)

Em que: ** código do curso e-MEC 122964; *cursos que não estavam entre os últimos na análise livre de restrições de peso.

Entre os 15 cursos com menor desempenho nesta etapa da análise (Tabela 9), pode-se observar que 10 deles, assinalados com *, não haviam se mostrado entre os últimos na avaliação livre de restrições de peso (Tabela 4). Estes cursos possuem pelo menos uma das oito componentes com valores muito baixos, como consequência, quando estas componentes são exigidas (por meio das restrições de peso) a fazer parte da avaliação, comprometeram o desempenho do curso.

No estudo dos pesos selecionados pelos cursos por meio do modelo de otimização, pode-se identificar as forças e fraquezas de cada curso nas oito componentes avaliadas. Para facilitar a escrita, chamaremos simplesmente de “peso” a proporção do peso virtual (importância) de uma componente, relativamente a todas as componentes consideradas, tal como mostrado na expressão (3). Tomando novamente como exemplo o curso de Administração da UFMS (Corumbá), que obteve um escore de desempenho igual a 0,7804 nesta avaliação, a configuração da distribuição dos pesos (dentro dos limites estabelecidos) que maximiza o desempenho deste curso é mostrado na Figura 5. Qualquer outra configuração de pesos, colocaria o referido curso em uma posição inferior comparado aos seus pares, ou por reduzir o seu escore de desempenho ou por beneficiar ainda mais os demais cursos.

Figura 5 – Pesos selecionados pelos cursos de Administração da UFMS (Corumbá)

Fonte: Autores (2021)

Pode-se observar que o curso da UFMS (Corumbá) alocou os maiores pesos possíveis para as componentes NO e NR, mostrando que, em comparação com os demais cursos, estas duas componentes representam uma potencialidade do curso da UFMS. Por outro lado, os menores pesos possíveis foram alocados às componentes NF, NA, NM e ND, evidenciando que estas componentes são as que menos favorecem este curso na avaliação de desempenho, sendo, portanto, uma potencial fragilidade do referido curso. Pesos intermediários foram alocadas às componentes relacionadas ao desempenho dos discentes, em que o peso da componente NC ficou bastante próximo do peso originalmente proposto pelo CPC, e à componente NIDD, que obteve cerca de 10% a mais do que o peso originalmente proposto pelo CPC. Na Figura 3, os pesos propostos pelo CPC são ilustrados por meio de um losango e os pesos selecionados pelo curso em avaliação são ilustrados por meio de círculos. A extensão das barras verticais representa a margem de variação permitida para os pesos das componentes.

Neste estudo, o curso da UFMS (Corumbá) foi usado como um exemplo para ilustrar a potencialidade da técnica aplicada para identificar os benchmarks do curso e identificar as forças e fraquezas através da análise dos pesos selecionados. A informação sobre os pesos selecionados pelos demais cursos da amostra, que possibilita estender esta análise para qualquer outro curso avaliado, encontra-se no Apêndice A deste artigo.

4.4 Contextualização com a literatura

A avaliação de cursos de Administração no Brasil usando a técnica de DEA já foi abordada na literatura. O primeiro estudo neste contexto foi o de Borges e Carnielli (2006), que avaliou 181 cursos de Administração com base nos dados do Exame Nacional de Curso (ENC) do ano 2003, exame que precedeu a avaliação proposta no âmbito do Sinaes. O modelo de DEA aplicado pelo autor permitiu avaliar a eficiência dos cursos no uso de recursos (corpo docente, instalações, vagas ofertadas e organização didático pedagógica) para gerar resultados (variáveis Nota do ENC e quantidade de formados). 

A avaliação dos cursos tendo em conta especificamente os componentes do CPC, tal como a avaliação conduzida na presente pesquisa, foi abordada nos trabalhos de Soliman et al. (2017) e Rodrigues e Gontijo (2018). Soliman et al. (2017) aplicaram um modelo de DEA para avaliar a eficiência de um conjunto de 1229 cursos de Administração de instituições privadas e públicas, com dados do ano 2009. Os autores trataram as componentes relacionadas à titulação e regime de trabalho docente e à percepção discente sobre processo formativo oferecido pelo curso como inputs (recursos) e as componentes Nota dos discentes no Enade e Valor agregado pelo processo formativo como outputs (resultados) do processo. Procedimento similar foi adotado por Rodrigues e Gontijo (2018), os autores utilizaram as componentes do CPC como inputs e outputs do processo para avaliar a eficiência de cursos de Administração Pública. Os autores ainda utilizaram restrições de peso no modelo de DEA para incorporar a opinião de especialistas sobre a importância das componentes. 

Diferentemente do estudo conduzido na presente pesquisa, que usou a técnica de DEA para construir uma medida de desempenho (indicador compósito), o foco dos estudos de Borges (2008), Soliman et al. (2017) e Rodrigues e Gontijo (2018) foi na avaliação da eficiência dos cursos (uso de recursos para produzir resultados). A busca na literatura não identificou nenhum trabalho que tenha usado DEA (ou a abordagem BoD, como também é conhecida no contexto dos indicadores) para construir indicadores compósitos para avaliar cursos de graduação no Brasil.

A seguir, os resultados da avaliação conduzida na presente pesquisa serão comparados com resultados do próprio CPCVI, divulgados pelo INEP/MEC.

A Figura 6 apresenta a relação entre os escores do indicador compósito baseado na abordagem BoD, que variam entre zero e 1, e os valores da Nota Contínua do CPC, que variam entre 0 a 5. O coeficiente de correlação de Pearson foi igual a 0,884, mostrando uma relação positiva e forte entre os resultados das duas abordagens de avaliação.

Na Figura 6, os 167 cursos de graduação em Administração são mostrados de acordo com a classificação em quatro faixas de desempenho (Baixo, Moderado, Alto e Muito alto). Pelo padrão de dispersão dos pontos, observa-se que para valores de escore de desempenho mais elevados, os cursos tendem a apresentar bom desempenho em ambas as abordagens de avaliação. Por outro lado, os cursos que apresentaram baixo desempenho na avaliação conduzida na presente pesquisa, haviam apresentado notas intermediárias a baixas na Nota contínua do CPC. Enquanto que na avaliação conduzida pelos INEP/MEC o desempenho de cada curso é calculado com base em uma média ponderada das componentes e independem completamente do desempenho dos outros cursos, na abordagem utilizada na presente pesquisa o cálculo dos escores de desempenho tem como base comparações diretas com os demais cursos da amostra. Além disso, a abordagem permite alguma flexibilidade na seleção dos pesos dos componentes, deste modo, os cursos que não tiveram uma pontuação elevada em alguma componente (como a Nota do Enade), puderam alocar maior peso na avaliação (dentro de uma margem de variação permitida pelo modelo) para outra componente em que haviam sido melhor avaliados. 

Figura 6 – Relação entre os escores das duas abordagens de avaliação

Fonte: Autores (2021)

No Apêndice A deste artigo são apresentadas as informações detalhadas sobre os valores do IC BoD e da classificação nas quatro categorias de desempenho para todos os cursos da amostra.

5 Considerações finais

Levando em consideração as componentes do CPC, este artigo se propôs a avaliar o desempenho dos cursos de graduação por meio de um indicador compósito construído com base na Análise Envoltória de Dados (DEA).  Nesta abordagem, os pesos das componentes resultam de um processo de otimização. A ilustração da análise foi efetuada no âmbito da avaliação dos cursos de graduação em Administração. Foram consideradas IES das redes públicas federal e estadual brasileiras. O ano-base adotado foi 2018.

O uso de DEA para estimar o sistema de pesos das IES permitiu alguns diferenciais e vantagens com relação à abordagens tradicionais para construção de indicadores. Por isso, a análise conduzida gerou informações complementares para dar suporte à decisão no âmbito da gestão universitária. O uso de escores otimizados e sistemas de peso diferenciados para cada IES, é uma característica que possibilita superar a questão levantada por Bittencourt (2010), de que as instituições têm diferentes vocações e, portanto, um determinado sistema de pesos poderá prejudicar algum grupo de instituições. Ainda, possibilita lidar com desacordos entre decision-makers quanto aos pesos ideias das componentes.

Além disso, dois subprodutos desta avaliação podem ajudar a guiar melhorias no desempenho, o primeiro está relacionado à identificação dos exemplos de melhores práticas (benchmarks) a serem seguidos por cursos que apresentaram baixo desempenho, o segundo, está relacionada à análise do sistema de pesos selecionado por cada curso com baixo desempenho para identificar suas potencialidades ou fraquezas (área mais críticas a serem melhoradas) na análise de desempenho.

Como trabalho futuro, sugere-se o aprofundamento do estudo das inter-relações entre as componentes do CPC. Conforme discutido neste artigo, algumas componentes possuem correlações elevadas e esta questão é bastante sensível na construção de indicadores compostos. Principalmente as correlações elevadas entre as componentes da dimensão Percepção Discente merecem estudo mais aprofundado para analisar o impacto nos resultados do CPC.

Referências

ANDRIOLA WB. Avaliação institucional na Universidade Federal do Ceará (UFC): Organização de sistema de dados e indicadores da qualidade institucional. Avaliação: Revista da Avaliação da Educação Superior. 2004;9(4):33-54.

ANDRIOLA WB, ARAÚJO AC. Uso de indicadores para diagnóstico situacional de Instituições de Ensino Superior. Ensaio: Avaliação e Políticas Públicas em Educação. 2018;26(100)645-663.

BARREYRO GB, ROTHEN, JC. Percurso da avaliação da educação superior nos Governos Lula. Educação e Pesquisa. 2014;40(1):61-76.

BITTENCOURT HR, VIALI L, RODRIGUES AC, CASARTELLI AO. Mudanças nos pesos do CPC e seu impacto nos resultados de avaliação em universidades federais e privadas. Avaliação: Revista da Avaliação da Educação Superior (Campinas).2010;15(3):147-166.

BORGES RS, CARNIELLI BL. Confrontando avaliações: os resultados do Exame Nacional de Cursos e os da Análise Envoltória de Dados. Revista da Rede de Avaliação Institucional da Educação Superior. 2006;11(3):171-185..

BRASIL. Lei n. 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior – Sinaes e dá outras providências. Brasília-DF. 2004.

BRASIL. Portaria Normativa n. 4, de 5 de agosto de 2008. Regulamenta a aplicação do conceito preliminar de cursos superiores – CPC, para fins dos processos de renovação de reconhecimento respectivos, no âmbito do ciclo avaliativo do Sinaes. Brasília-DF. 2008.

BRASIL. Nota técnica n. 18/2018. Metodologia de cálculo do Conceito Preliminar de Curso (CPC). Brasília-DF. 2018.

BRASIL. Nota técnica n. 45/2019. Metodologia de cálculo do Indicador de Diferença entre os Desempenhos Observado e Esperado (IDD) referente ao ano de 2018. Brasília-DF. 2019.

CHARNES A, COOPER WW, RHODES E. Measuring the efficiency of decision making units. European Journal of Operational Research. 1978;2(6):429-444.

CHERCHYE L, MOESEN W, ROGGE N, VAN PUYENBROECK T. An Introduction to ‘Benefit of the Doubt’ Composite Indicators. Social Indicators Research. 2007;82(1):111-145.

COOK WD, KRESS M. A data envelopment model for aggregating preference rankings. Management Science. 1990;36(11):1302-1310.

COOPER WW, SEIFORD LM, TONE K. Introduction to Data Envelopment Analysis and its uses. New York: Springer Science & Business Media, 2006.

FERREIRA CMC, GOMES AP. Introdução à Análise Envoltória de Dados. Viçosa: Editora UFV, 2009.

GRIBOSKI CM, FERNANDES IR. Avaliação da Educação Superior: como avançar sem desqualificar. Observatório Universitário. 2016;1:1-31.

HOFFMANN C, ZANINI RR, CORRÊA ÂC, SILUK JC, SCHUCH Jr. VF, ÁVILA LV. O desempenho das universidades brasileiras na perspectiva do Índice Geral de Cursos (IGC). Educação e Pesquisa. 2014;40(3):651-665.

IKUTA CYS. Sobre o Conceito Preliminar de Curso: concepção, aplicação e mudanças metodológicas. Estudos em Avaliação Educacional. 2016;27(66)938-969.

LACERDA LLV, FERRI C. Conceito Preliminar de Curso: conceito único para uma realidade educacional múltipla. Estudos em Avaliação Educacional. 2017;28(69):748-772.

NARDO M, SAISANA M, SALTELLI A, TARANTOLA S, HOFFMAN A, GIOVANNINI E. Handbook on Constructing Composite Indicators: Methodology and user guide. Organisation for Economic Co-operation and Development, 2008.

RODRIGUES AC, GONTIJO TS. Incorporando julgamentos de especialistas em educação na avaliação da eficiência de cursos de graduação: uma abordagem por data envelopment analysis. Revista Gestão & Tecnologia. 2019;19(1):113-139.

ROTHEN JC, BARREYRO GB. Avaliação da educação superior no segundo governo Lula: “provão II” ou a reedição de velhas práticas? Educação & Sociedade. 2011;32(114):21-38.

SCHWARTZMAN S. O Conceito Preliminar e as boas práticas de avaliação do ensino superior. Estudos - Revista da Associação Brasileira de Mantenedoras de Ensino Superior. 2008;26(38):9-32.

SOLIMAN M, SILUK JCM, NEUENFELDT Jr. AL, CASADO FL. Avaliação da eficiência técnica dos cursos de Administração no Brasil. Rev. Adm. UFSM. 2017;10(2):188-203.

THANASSOULIS E, PORTELA MC, ALLEN R. Incorporating Value Judgments in DEA. In: Handbook on Data Envelopment Analysis. Boston: Kluwer Academic Publishers, 2004.

VERHINE RE, DANTAS LM. A avaliação do desempenho de alunos de educação superior: uma análise a partir da experiência do ENADE. In: Dazzani, M. V. e Lordêlo, J. A. C. Avaliação Educacional: destando e reatando nós. Salvador: SciELO Books, 2009. p. 173–199.

WONG YHB, BEASLEY JE. Restricting Weight Flexibility in Data Envelopment Analysis. The Journal of the Operational Research Society. 1990;41(9):829-835.

ZANELLA A, CAMANHO AS, DIAS TG. Undesirable outputs and weighting schemes in composite indicators based on Data Envelopment Analysis. European Journal of Operational Research. 2015;245:517-530.

Apêndice A – Valores do IC e pesos selecionados pelos cursos em cada componente

Código curso	Curso de Administração	IC escore	Classif.	Pesos
				NC	NIDD	NO	NF	NA	NM	ND	NR
53522	UFLA (Lavras)	1	M. Alto	0.104	0.355	0.054	0.025	0.013	0.112	0.225	0.112
52136	UFMS (Paranaíba)	1	M. Alto	0.1	0.525	0.112	0.075	0.037	0.037	0.075	0.037
13852	UFSM (Santa Maria)	1	M. Alto	0.3	0.388	0.037	0.075	0.038	0.049	0.075	0.038
1128679	UNIFESP (Osasco)	0.949	M. Alto	0.3	0.175	0.038	0.025	0.013	0.113	0.225	0.113
41011	UFSM (Santa Maria)	0.935	M. Alto	0.3	0.294	0.043	0.025	0.037	0.112	0.075	0.112
18148	UNIFEI (Itajubá)	0.931	M. Alto	0.3	0.271	0.038	0.075	0.016	0.112	0.075	0.113
118418	UFRPE (Recife)	0.929	M. Alto	0.3	0.345	0.091	0.025	0.012	0.039	0.075	0.113
683	UFV (Viçosa)	0.916	M. Alto	0.3	0.175	0.038	0.025	0.013	0.112	0.225	0.112
45352	UNICENTRO (Irati)	0.916	M. Alto	0.1	0.353	0.113	0.025	0.013	0.113	0.172	0.113
4190	UFSJ (S. J. del Rei)	0.907	M. Alto	0.107	0.368	0.037	0.025	0.013	0.112	0.225	0.112
5000376	UFFS (Chapeco)	0.902	M. Alto	0.209	0.368	0.086	0.025	0.013	0.113	0.075	0.112
121492	UFMG (Montes Claros)	0.897	M. Alto	0.1	0.372	0.04	0.025	0.012	0.112	0.225	0.112
91799	UNEB (Guanambi)	0.896	M. Alto	0.1	0.427	0.037	0.025	0.013	0.112	0.173	0.112
2532	UDESC (Florianópolis)	0.887	M. Alto	0.3	0.28	0.037	0.025	0.038	0.112	0.095	0.112
73420	UNESP (Tupã)	0.884	M. Alto	0.1	0.33	0.038	0.045	0.037	0.113	0.225	0.113
90475	UFF (Volta Redonda)	0.881	M. Alto	0.3	0.308	0.037	0.025	0.012	0.112	0.092	0.112
74064	UNIVASF (Petrolina)	0.881	M. Alto	0.3	0.4	0.038	0.025	0.013	0.038	0.075	0.112
104300	UNIPAMPA (S. Livramento)	0.876	M. Alto	0.132	0.343	0.112	0.075	0.038	0.112	0.075	0.113
41244	UFT (Palmas)	0.875	M. Alto	0.1	0.412	0.037	0.025	0.013	0.113	0.188	0.113
13998	UFC (Fortaleza)	0.874	M. Alto	0.3	0.306	0.057	0.025	0.012	0.113	0.075	0.112
1148015	UEG (A. Goiânia)	0.872	M. Alto	0.1	0.452	0.112	0.075	0.037	0.037	0.075	0.111
13703	UFRGS (Porto Alegre)	0.87	M. Alto	0.3	0.175	0.038	0.025	0.013	0.113	0.225	0.112
105440	UFMA (São Luís)	0.865	M. Alto	0.17	0.355	0.112	0.025	0.037	0.113	0.075	0.113
13572	UFPE (Recife)	0.863	M. Alto	0.3	0.249	0.037	0.075	0.038	0.113	0.076	0.112
91260	UFERSA (Mossoró)	0.861	M. Alto	0.252	0.448	0.037	0.025	0.013	0.038	0.075	0.112
103408	UFSM (P. das Missões)	0.861	M. Alto	0.1	0.322	0.113	0.075	0.038	0.113	0.128	0.113
12941	UFMG (Belo Horizonte)	0.859	M. Alto	0.3	0.175	0.038	0.025	0.012	0.112	0.225	0.112
145	UNB (Brasília)	0.856	M. Alto	0.3	0.175	0.038	0.025	0.013	0.112	0.225	0.113
11166	UNICENTRO (Guarapuava)	0.854	M. Alto	0.1	0.39	0.037	0.025	0.012	0.113	0.21	0.113
12724	UFF (Macaé)	0.853	M. Alto	0.3	0.296	0.066	0.025	0.013	0.112	0.075	0.113
115870	UFU (Uberlândia)	0.853	M. Alto	0.12	0.379	0.037	0.025	0.013	0.112	0.201	0.112
49464	UFPR (Curitiba)	0.848	M. Alto	0.3	0.312	0.037	0.025	0.012	0.112	0.089	0.112
85430	UNESP (Jaboticabal)	0.845	M. Alto	0.129	0.346	0.038	0.025	0.012	0.112	0.225	0.112
112594	UFOP (Mariana)	0.843	M. Alto	0.29	0.335	0.037	0.025	0.013	0.113	0.075	0.112
118174	UFRR (Boa Vista)	0.843	M. Alto	0.1	0.383	0.113	0.067	0.037	0.113	0.075	0.113
14701	UNIOESTE (Cascavel)	0.843	M. Alto	0.171	0.397	0.038	0.025	0.012	0.113	0.132	0.113
14711	UNIOESTE (M. C. Rondon)	0.842	M. Alto	0.114	0.386	0.113	0.075	0.013	0.112	0.075	0.113
60984	UEA (Manaus)	0.84	M. Alto	0.125	0.35	0.112	0.075	0.038	0.112	0.075	0.112
1083680	UFRRJ (Três Rios)	0.836	M. Alto	0.103	0.403	0.037	0.025	0.013	0.112	0.194	0.112
22446	UFRRJ (Nova Iguaçu)	0.835	M. Alto	0.1	0.378	0.037	0.025	0.013	0.112	0.222	0.112
91814	UNEB (B. J. da Lapa)	0.835	M. Alto	0.1	0.468	0.038	0.025	0.012	0.113	0.132	0.113
38202	UFC (Fortaleza)	0.831	M. Alto	0.3	0.325	0.038	0.025	0.012	0.112	0.075	0.113
103016	UFU (Ituiutaba)	0.83	Alto	0.1	0.419	0.052	0.025	0.012	0.112	0.167	0.112
13455	UFPB (Bananeiras)	0.829	Alto	0.1	0.334	0.112	0.075	0.038	0.113	0.116	0.113
20762	UFS (São Cristóvão)	0.827	Alto	0.258	0.442	0.038	0.025	0.013	0.037	0.075	0.113
22451	UFJF (Juiz De Fora)	0.826	Alto	0.3	0.325	0.037	0.025	0.013	0.112	0.075	0.113
1028	FURG (Rio Grande)	0.824	Alto	0.229	0.396	0.038	0.025	0.013	0.112	0.075	0.112
1297373	UNICAMP (Limeira)	0.824	Alto	0.275	0.175	0.037	0.025	0.038	0.113	0.225	0.113
1126514	UFV (Florestal)	0.821	Alto	0.231	0.394	0.037	0.025	0.012	0.112	0.075	0.112
101082	UFPE (Caruaru)	0.82	Alto	0.1	0.401	0.037	0.025	0.013	0.112	0.199	0.112
3393	UEM (Maringá)	0.818	Alto	0.215	0.41	0.038	0.025	0.012	0.112	0.075	0.113
14537	UTFPR (Pato Branco)	0.815	Alto	0.256	0.444	0.038	0.025	0.012	0.037	0.075	0.113
1267553	UNIFAP (Macapá)	0.813	Alto	0.209	0.491	0.038	0.025	0.013	0.037	0.075	0.113
15830	UFMS (Campo Grande)	0.812	Alto	0.1	0.384	0.037	0.025	0.012	0.113	0.216	0.113
1270725	UFRA (Parauapebas)	0.81	Alto	0.1	0.525	0.113	0.025	0.012	0.038	0.075	0.112
13395	UFPB (Joao Pessoa)	0.808	Alto	0.245	0.38	0.037	0.025	0.013	0.113	0.075	0.113
12913	UFRRJ (Seropédica)	0.808	Alto	0.101	0.374	0.037	0.025	0.013	0.112	0.225	0.113
115084	UFSCAR (Sorocaba)	0.807	Alto	0.3	0.175	0.037	0.025	0.012	0.112	0.225	0.112
92761	UEG (Luziânia)	0.805	Alto	0.155	0.395	0.112	0.075	0.037	0.038	0.075	0.112
12311	UFRN (Natal)	0.805	Alto	0.3	0.325	0.038	0.025	0.012	0.112	0.075	0.112
1178684	UFJF (G. Valadares)	0.803	Alto	0.182	0.443	0.038	0.025	0.013	0.112	0.075	0.113
111120	UFV (Rio Paranaíba)	0.803	Alto	0.1	0.395	0.038	0.025	0.012	0.113	0.204	0.113
99340	UFCA (J. do Norte)	0.801	Alto	0.3	0.325	0.037	0.025	0.012	0.112	0.075	0.113
12572	UFPR (Curitiba)	0.8	Alto	0.273	0.352	0.037	0.025	0.013	0.113	0.075	0.113
13	UFMT (Cuiabá)	0.798	Alto	0.208	0.402	0.037	0.025	0.012	0.038	0.165	0.112
16397	UEPG (Ponta Grossa)	0.797	Alto	0.166	0.441	0.056	0.025	0.013	0.112	0.075	0.112
15877	UFMS (Três Lagoas)	0.796	Alto	0.212	0.37	0.08	0.025	0.013	0.112	0.075	0.113
21540	UFGD (Dourados)	0.795	Alto	0.1	0.419	0.048	0.025	0.013	0.112	0.17	0.112
5000386	UFFS (Cerro Largo)	0.791	Alto	0.1	0.303	0.113	0.075	0.037	0.112	0.147	0.112
13434	UFCG (C. Grande)	0.787	Alto	0.3	0.325	0.038	0.025	0.012	0.113	0.075	0.113
18664	UNEB (Salvador)	0.786	Alto	0.287	0.338	0.038	0.025	0.012	0.113	0.075	0.113
43016	UESPI (Picos)	0.784	Alto	0.168	0.382	0.112	0.075	0.037	0.037	0.075	0.112
15847	UFMS (Corumbá)	0.78	Alto	0.183	0.442	0.112	0.025	0.012	0.037	0.075	0.112
69868	UNIOESTE (F. Beltrão)	0.78	Alto	0.155	0.47	0.038	0.025	0.013	0.113	0.075	0.113
14365	UFRJ (Rio De Janeiro)	0.778	Alto	0.3	0.318	0.038	0.025	0.012	0.112	0.082	0.112
102084	UFG (Catalão)	0.777	Alto	0.2	0.384	0.078	0.025	0.013	0.113	0.075	0.112
12355	UFRN (Currais Novos)	0.771	Alto	0.249	0.376	0.113	0.025	0.013	0.038	0.075	0.113
14213	UFSC (Florianópolis)	0.771	Alto	0.283	0.342	0.037	0.025	0.013	0.112	0.075	0.113
392	UFAM (Manaus)	0.77	Alto	0.231	0.394	0.113	0.025	0.012	0.038	0.075	0.112
99028	UFOB (Barreiras)	0.77	Alto	0.186	0.439	0.038	0.025	0.013	0.113	0.075	0.113
1161626	UFSM (Santa Maria)	0.762	Alto	0.1	0.225	0.112	0.075	0.037	0.113	0.225	0.113
1101544	UFPEL (Pelotas)	0.76	Alto	0.1	0.401	0.037	0.025	0.012	0.112	0.199	0.112
90047	UFG (Goiânia)	0.755	Alto	0.263	0.362	0.037	0.025	0.012	0.112	0.075	0.112
103410	UFSM (P. das Missões)	0.754	Alto	0.1	0.225	0.113	0.075	0.038	0.113	0.225	0.113
20580	UNEB (S. A. de Jesus)	0.753	Moderado	0.183	0.442	0.037	0.025	0.013	0.112	0.075	0.112
3558	UERN (Mossoró)	0.751	Moderado	0.106	0.369	0.113	0.075	0.038	0.112	0.075	0.113
116566	UFES (Vitoria)	0.749	Moderado	0.3	0.311	0.038	0.025	0.013	0.112	0.089	0.112
11320	UERJ (Rio De Janeiro)	0.748	Moderado	0.3	0.311	0.037	0.025	0.012	0.113	0.089	0.113
12822	UFES (Vitoria)	0.743	Moderado	0.273	0.348	0.037	0.025	0.012	0.113	0.08	0.112
17052	UNEMAT (T. da Serra)	0.741	Moderado	0.1	0.408	0.113	0.042	0.038	0.113	0.075	0.113
52130	UFMS (Aquidauana)	0.739	Moderado	0.1	0.436	0.05	0.025	0.012	0.112	0.152	0.113
13203	UFAL (Maceió)	0.738	Moderado	0.261	0.364	0.038	0.025	0.012	0.113	0.075	0.112
95033	UFS (Itabaiana)	0.734	Moderado	0.164	0.461	0.038	0.025	0.013	0.113	0.075	0.113
16688	UESPI (Floriano)	0.73	Moderado	0.1	0.471	0.038	0.025	0.013	0.037	0.204	0.113
12701	UFF (Niterói)	0.73	Moderado	0.3	0.175	0.038	0.025	0.012	0.113	0.225	0.112
766	UEL (Londrina)	0.727	Moderado	0.217	0.408	0.037	0.025	0.013	0.113	0.075	0.112
13322	UFBA (Salvador)	0.722	Moderado	0.3	0.361	0.038	0.025	0.012	0.077	0.075	0.112
14719	UNIOESTE (F. Iguaçu)	0.72	Moderado	0.183	0.442	0.038	0.025	0.013	0.112	0.075	0.112
15988	UNIR (Porto Velho)	0.718	Moderado	0.229	0.351	0.083	0.025	0.013	0.113	0.075	0.112
15734	UESB (V. da Conquista)	0.708	Moderado	0.199	0.351	0.112	0.025	0.012	0.113	0.075	0.112
16180	UENP (C. Procópio)	0.707	Moderado	0.1	0.377	0.112	0.073	0.038	0.113	0.075	0.112
11601	UEPB (C. Grande)	0.7	Moderado	0.152	0.473	0.038	0.025	0.012	0.112	0.075	0.113
29354	UECE (Fortaleza)	0.699	Moderado	0.3	0.225	0.112	0.025	0.038	0.113	0.075	0.113
58508	UNEMAT (Sinop)	0.695	Moderado	0.12	0.355	0.113	0.075	0.037	0.113	0.075	0.113
68567	UNEB (Serrinha)	0.691	Moderado	0.21	0.415	0.038	0.025	0.013	0.113	0.075	0.113
8762	UNESPAR (C. Mourão)	0.69	Moderado	0.167	0.458	0.037	0.025	0.012	0.112	0.075	0.112
11989	UFPA (Belém)	0.688	Moderado	0.21	0.415	0.037	0.025	0.012	0.113	0.075	0.113
16677	UESPI (Teresina)	0.684	Moderado	0.3	0.302	0.038	0.025	0.012	0.112	0.098	0.112
112106	UFAM (Parintins)	0.681	Moderado	0.13	0.495	0.037	0.025	0.012	0.113	0.075	0.112
500	UFPI (Parnaíba)	0.675	Moderado	0.199	0.426	0.038	0.025	0.013	0.112	0.075	0.112
1272129	UFRA (Tome-Açu)	0.674	Moderado	0.1	0.447	0.113	0.075	0.012	0.066	0.075	0.113
7835	UNIMONTES (M. Claros)	0.674	Moderado	0.1	0.525	0.038	0.025	0.013	0.113	0.075	0.113
118472	UFRPE (Serra Talhada)	0.673	Moderado	0.175	0.515	0.048	0.025	0.012	0.037	0.075	0.112
2104	UESC (Ilhéus)	0.672	Moderado	0.3	0.325	0.038	0.025	0.012	0.112	0.075	0.112
1268539	UNEB (Eunápolis)	0.664	Moderado	0.1	0.36	0.112	0.025	0.038	0.113	0.14	0.113
118546	UFCG (Sousa)	0.663	Moderado	0.19	0.435	0.037	0.025	0.013	0.113	0.075	0.113
18373	UFPI (Teresina)	0.659	Moderado	0.181	0.444	0.037	0.025	0.012	0.112	0.075	0.112
1272127	UFRA (Capanema)	0.659	Moderado	0.137	0.388	0.112	0.025	0.038	0.113	0.075	0.112
3638	UNESPAR (Paranavaí)	0.654	Moderado	0.103	0.447	0.113	0.025	0.013	0.112	0.075	0.112
120848	UEPG (Ponta Grossa)	0.652	Moderado	0.229	0.396	0.038	0.025	0.013	0.113	0.075	0.113
105274	UEMG (Carangola)	0.65	Moderado	0.11	0.365	0.113	0.075	0.037	0.112	0.075	0.112
21871	UEG (Caldas Novas)	0.644	Moderado	0.1	0.525	0.112	0.025	0.038	0.037	0.075	0.087
1185902	UNEMAT (Juara)	0.638	Moderado	0.1	0.398	0.113	0.052	0.037	0.113	0.075	0.112
52785	UEMA (Imperatriz)	0.634	Moderado	0.175	0.525	0.037	0.025	0.012	0.038	0.075	0.112
79690	UEMG (Frutal)	0.633	Moderado	0.1	0.434	0.113	0.075	0.038	0.054	0.075	0.113
122908	UFMS (N. Andradina)	0.632	Moderado	0.1	0.339	0.113	0.075	0.038	0.112	0.111	0.112
120346	UNESPAR (Apucarana)	0.628	Baixo	0.154	0.471	0.038	0.025	0.012	0.112	0.075	0.112
1313150	UNITINS (Dianópolis)	0.628	Baixo	0.1	0.439	0.113	0.025	0.038	0.099	0.075	0.112
99870	UFPI (Picos)	0.626	Baixo	0.1	0.525	0.112	0.025	0.012	0.037	0.075	0.113
11879	UEMA (São Luís)	0.622	Baixo	0.147	0.478	0.113	0.025	0.013	0.038	0.075	0.113
1152630	UTFPR (Curitiba)	0.618	Baixo	0.3	0.291	0.038	0.025	0.012	0.113	0.109	0.112
116640	UFPI (Floriano)	0.617	Baixo	0.212	0.463	0.037	0.025	0.038	0.037	0.075	0.112
113045	UEMS (Ponta Porã)	0.615	Baixo	0.168	0.525	0.037	0.025	0.019	0.112	0.075	0.037
4102	UVA (Sobral)	0.615	Baixo	0.175	0.525	0.037	0.025	0.012	0.038	0.075	0.112
5000093	UERGS (Frederico W.)	0.611	Baixo	0.1	0.34	0.112	0.075	0.038	0.113	0.11	0.113
1127343	UFMT (Rondonópolis)	0.611	Baixo	0.214	0.411	0.038	0.025	0.013	0.112	0.075	0.113
1270313	UNIFESSPA (R. do Para)	0.61	Baixo	0.1	0.378	0.113	0.072	0.038	0.112	0.075	0.113
42040	UNESPAR (Paranaguá)	0.606	Baixo	0.216	0.484	0.037	0.025	0.013	0.038	0.075	0.113
101936	UFAL (Arapiraca)	0.604	Baixo	0.218	0.407	0.037	0.025	0.013	0.113	0.075	0.113
9976	UNEAL (Arapiraca)	0.596	Baixo	0.1	0.484	0.112	0.025	0.012	0.078	0.075	0.113
15406	UEFS (F. de Santana)	0.573	Baixo	0.231	0.394	0.038	0.025	0.013	0.113	0.075	0.113
101608	UFAM (B. Constant)	0.571	Baixo	0.1	0.525	0.112	0.025	0.012	0.037	0.075	0.112
1153461	UESPI (Uruçuí)	0.564	Baixo	0.1	0.525	0.113	0.025	0.013	0.037	0.075	0.113
122752	UNIR (Vilhena)	0.558	Baixo	0.1	0.525	0.037	0.025	0.013	0.112	0.075	0.113
122970	UNICAMP (Limeira)	0.548	Baixo	0.15	0.175	0.112	0.075	0.038	0.112	0.225	0.113
61296	UEMA (Bacabal)	0.518	Baixo	0.175	0.525	0.038	0.025	0.013	0.037	0.075	0.112
44461	UNEMAT (N. Mutum)	0.479	Baixo	0.1	0.525	0.112	0.025	0.013	0.037	0.075	0.112
120599	UPE (Salgueiro)	0.466	Baixo	0.1	0.525	0.113	0.025	0.013	0.037	0.075	0.113
60418	UEMG (Passos)	0.465	Baixo	0.1	0.525	0.037	0.025	0.012	0.112	0.075	0.112
72602	UERN (Pau Do Ferros)	0.46	Baixo	0.1	0.525	0.113	0.025	0.013	0.038	0.075	0.113
92693	UEG (Sanclerlândia)	0.454	Baixo	0.1	0.475	0.113	0.075	0.012	0.037	0.075	0.113
120595	UPE (Caruaru)	0.454	Baixo	0.1	0.525	0.112	0.025	0.012	0.038	0.075	0.112
8433	UPE (Recife)	0.444	Baixo	0.278	0.422	0.038	0.025	0.013	0.037	0.075	0.112
150243	UNIMONTES (B. de Minas)	0.431	Baixo	0.1	0.525	0.112	0.025	0.012	0.037	0.075	0.112
114756	UEPB (Patos)	0.425	Baixo	0.1	0.525	0.112	0.025	0.012	0.038	0.075	0.112
113047	UEMS (Maracaju)	0.402	Baixo	0.1	0.354	0.112	0.075	0.037	0.112	0.171	0.037
1158599	UERN (Caraúbas)	0.394	Baixo	0.1	0.525	0.112	0.075	0.037	0.037	0.075	0.037
122964	UNICAMP (Limeira)	0.392	Baixo	0.3	0.175	0.037	0.025	0.012	0.113	0.225	0.113
16008	UNIR (Cacoal)	0.369	Baixo	0.1	0.525	0.113	0.025	0.012	0.038	0.075	0.113
24092	UNIR (Guajará-Mirim)	0.368	Baixo	0.3	0.175	0.112	0.075	0.038	0.112	0.075	0.112
94270	UEG (Goianésia)	0.367	Baixo	0.1	0.525	0.112	0.075	0.037	0.037	0.075	0.037
1185016	UERR (Boa Vista)	0.367	Baixo	0.1	0.525	0.112	0.075	0.037	0.037	0.075	0.038
50902	UEMG (Claudio)	0.363	Baixo	0.1	0.525	0.112	0.025	0.013	0.112	0.075	0.037
48299	UNEMAT (Diamantino)	0.36	Baixo	0.1	0.525	0.112	0.025	0.012	0.037	0.075	0.112
105578	UEMA (Timon)	0.341	Baixo	0.175	0.525	0.038	0.025	0.012	0.037	0.075	0.113
92687	UEG (Silvania)	0.279	Baixo	0.1	0.525	0.113	0.025	0.013	0.038	0.075	0.113
120747	UEMA (Açailândia)	0.269	Baixo	0.25	0.525	0.037	0.025	0.012	0.038	0.075	0.037

Fonte: Autores (2021)

Contribuições De Autoria

1 – Andreia Zanella

Contribuição: Escrita - primeira redação, revisão e edição

2 – Renata Melo e Silva de Oliveira

Contribuição: Escrita - revisão e edição

---