Universidade Federal de Santa Maria

Ci. e nat., Santa Maria, v. 42

Commemorative Edition: Statistic, e54, 2020

DOI: http://dx.doi.org/10.5902/2179460X40413

Received: 07/10/2019 Accepted: 12/03/2020

 

 


Bacharelado

 

Satisfação dos usuários de um Restaurante Universitário: adaptação de uma escala a partir da Teoria da Resposta ao Item

Satisfaction of users of a University Restaurant: adaptation of a scale based on Item Response Theory

 

Angelica Peripolli I

Bruna Gregory Palm II

Caroline Pafiadache da Silva Piekala III

Laís Helen Loose IV

Rafael Piaia V

Vinícius Teodoro Scher VI

Fernando de Jesus Moreira Junior VII

 

I Universidade Federal de Santa Maria, Santa Maria, Brasil. E-mail: angelicaperipolli@gmail.com.

II Universidade Federal de Pernambuco, Recife, Brasil. E-mail: brunagpalm@gmail.com.

III Universidade Federal de Santa Maria, Santa Maria, Brasil. E-mail: carolpafiadache@gmail.com.

IV Universidade Federal de Santa Maria, Santa Maria, Brasil. E-mail: laisloose@gmail.com.

V Universidade Federal de Santa Maria, Santa Maria, Brasil. E-mail: rpiaia@gmail.com.

VI Universidade Federal de Pernambuco, Recife, Brasil. E-mail: vinitscher@gmail.com.

VII Universidade Federal de Santa Maria, Santa Maria, Brasil. E-mail: fmjunior777@yahoo.com.br.

 

 

RESUMO

A avaliação da satisfação de clientes é uma das formas mais eficientes de analisar o desempenho de uma organização. Os restaurantes universitários desempenham um papel de destaque nas Instituições Públicas de Ensino Superior, representam a democratização do espaço universitário, contribuem para a redução dos índices de evasão escolar e possibilitam melhores condições de vida para os usuários. A Teoria de resposta ao item vem mostrando um bom desempenho em várias aplicações na área da gestão, inclusive na avaliação do nível de satisfação de clientes.  Nesse sentido, o presente trabalho teve como objetivo criar uma escala para mensurar o nível de satisfação dos usuários do Restaurante Universitário da Universidade Federal de Santa Maria, por meio do Modelo Logístico de Dois Parâmetros (ML2) da Teoria da Resposta ao Item (TRI). Os dados foram obtidos por meio de um formulário elaborado utilizando o aplicativo Google Docs, totalizando 1.855 respondentes. Uma análise descritiva dos dados é apresentada e em seguida o ML2 é ajustado.  Foi possível identificar em que nível da escala de satisfação os usuários do RU da UFSM estão situados, assim como a interpretação desses níveis. Verificamos que o ML2 da TRI foi adequado para a análise proposta.

Palavras-chave: Restaurante universitário; Teoria de Resposta ao Item; Satisfação.

 

ABSTRACT

The client’s opinion is one of the most accurate way to evaluate the performance of an organization. The university restaurants play an important role in public institutions of undergraduate education, representing the democratization of the university space, contributing to dropout rate reduction, and improving living conditions for the clients. Item response theory has been presenting good performance in different management applications, including customer satisfaction assessment. Thus, the goal of this paper is to create a scale to evaluate the user satisfaction level of the Universidade Federal de Santa Maria (UFSM) restaurant considering the two-parameter logistic model (2PL) and item response theory (IRT). The data were obtained based on a form prepared using the Google Docs program, in a total of 1.855 respondents. A descriptive analysis of the considered data is presented and the 2LM model was fitted. The results show at what level of the satisfaction assessment the clients of the UFSM university restaurant are situated and the interpretation of the levels. The 2PL and IRT are identified as suitable tools for the data analysis.

Keywords: University restaurant; Item response theory; Satisfaction.

 

1 INTRODUÇÃO

O antigo hábito de realizar todas as refeições em casa, vem se tornando algo raro num mundo onde as pessoas estão com seu tempo cada vez mais limitado diante das inúmeras responsabilidades adquiridas. A busca pela praticidade aliada à falta de tempo em conjunto com a distância entre o local de trabalho e a residência, fez com que as pessoas mudassem seus hábitos alimentares, de maneira que muitas destas passaram a realizar as refeições fora de casa (PASSADOR; FILHO; SPANHOL; RODRIGUES; SABES, 2006, DUARTE; ALMEIDA; MARTINS, 2013).

Nesse contexto, está a comunidade acadêmica, composta por estudantes, professores e técnicos administrativos. Os estudantes que, geralmente possuem uma carga horária extensa de aulas, exercem atividades como bolsistas e outras  diversas ocupações acadêmicas, muitas vezes residem distante do centro acadêmico, assim, acabam optando por realizar suas refeições na própria universidade. O mesmo ocorre com professores e técnicos administrativos que trabalham em turno integral nas Instituições de Ensino Superior. No campus, uma das principais opções para a refeição da comunidade acadêmica é o restaurante universitário (RU).

Segundo Fonaprace (1997), os Restaurantes Universitários, no contexto das Instituições Públicas de Ensino Superior, representam não só a democratização do espaço universitário, mas uma necessidade para o melhor funcionamento dessas Instituições, são inclusive responsáveis diretos pela redução dos índices de evasão escolar. Os Restaurantes Universitários contribuem na melhora não só do rendimento acadêmico, como também das condições de vida dos usuários.

Um desafio diário dos RU´s é manter, a um baixo custo, um atendimento de qualidade, fornecendo uma refeição saudável, a qual atenda às necessidades nutricionais dos usuários, por meio de um cardápio qualitativo e quantitativo variado e equilibrado. Diante desses desafios é importante verificar, periodicamente, a satisfação dos usuários em relação aos serviços oferecidos.

Segundo Oliver (2014) satisfação é a resposta ao contentamento do consumidor. De maneira geral, é o julgamento formado durante o uso ou consumo de produto ou serviço de determinado fornecedor, ou depois dele; portanto constitui uma reação ou sentimento em relação a uma expectativa (SOLOMON, 2002; ARAÚJO; NEUMANN; NEVES; SOARES, 2019).

Nos últimos anos mensurar a satisfação do cliente é um conceito que tem recebido crescente interesse por parte de pesquisadores e empresários. Isso, se deve a sua importância na elaboração de estratégias de negócios das empresas, que buscam sobreviver e ganhar vantagem competitiva na economia atual, e pelo seu papel no desempenho das organizações públicas e privadas (TINOCO; RIBEIRO, 2008; BRAGA; PEREIRA; de ANDRADE JUNIOR, 2015).

Tontini e Sant’Ana (2007) afirmam que a satisfação está relacionada com o atendimento das necessidades implícitas e explícitas do cliente, por meio de um conjunto de características ou atributos do serviço ou produto. Nesse sentido, é importante identificar como o desempenho de diferentes atributos está relacionado à satisfação do cliente.

Braga, Pereira e De Andrade Junior, (2015) destacam que a satisfação do cliente é um requisito essencial para o sucesso de qualquer estabelecimento alimentício. Quando medida por meio da aplicação de uma pesquisa de mercado, é a maneira mais eficiente de avaliar o desempenho de uma organização, possibilita estabelecer um controle por parte dos gestores das empresas, assegurando a qualidade percebida e garantindo a satisfação (MOREIRA JUNIOR et al. 2015).

A avaliação da satisfação em uma instituição pública, como o caso dos RU’s, permite obter informações necessárias para auxiliar na elaboração e revisão do planejamento estratégico e em outras tomadas de decisão a fim de identificar e compreender as causas da satisfação ou insatisfação dos usuários do RU. Dentro desse contexto, é importante encontrar métodos que possam auxiliar na compreensão dos problemas existentes e na identificação das causas dos indicadores de insatisfação.

Nesse sentido, a Teoria da Resposta ao Item (TRI), vem mostrando um bom desempenho em várias aplicações na área da gestão, tais como, na avaliação do nível de satisfação, na gestão da qualidade organizacional, na avaliação da maturidade empresarial etc. (MOREIRA JUNIOR, 2010). Um dos grandes avanços da TRI, em relação à Teoria Clássica dos Testes (TCT), é a possibilidade de criar escalas nas quais itens e respondentes são posicionados simultaneamente, o que permite a interpretação dessa escala (ANDRADE; TAVARES; VALLE, 2000).

Dada a importância do restaurante universitário em níveis sociais, econômicos e ambientais, e a satisfação dos usuários do RU o objetivo desse trabalho é adaptar uma escala para avaliar o nível de satisfação dos usuários do RU da Universidade Federal de Santa Maria  (UFSM), considerando as três unidades de RU’s da cidade de Santa Maria - RS, por meio do Modelo Logístico de Dois Parâmetros (ML2) da Teoria da Resposta ao Item (TRI). Os resultados dessa pesquisa poderão gerar subsídios para formulação de propostas que visam melhorias (mudanças e/ou adaptações) nos critérios avaliados para que o usuário tenha um serviço que atenda às suas necessidades e expectativas.

O presente trabalho está organizado da seguinte forma. A Seção 2 introduz a TRI e o ML2, abordando aspectos básicos da teoria e interpretações do modelo. Na Seção 3 a metodologia é apresentada, contemplando detalhes sobre a elaboração e aplicação do questionário, bem como especifica os softwares utilizados para cada procedimento na modelagem. A Seção 4 apresenta os resultados da análise descritiva, da análise fatorial, as estimativas e interpretações para o ML2. Por fim, na Seção 5 são apresentadas as conclusões.

 

2 TEORIA DA RESPOSTA AO ITEM E O MODELO LOGÍSTICO DE DOIS PARÂMETROS

A Teoria da Resposta ao Item (TRI) é uma metodologia que utiliza modelos matemáticos, denominados Modelos de Resposta ao Item (MRI). Esses modelos nos permitem estabelecer a correspondência entre variáveis latentes e suas manifestações (DE AYALA, 2009), ou seja, uma forma de representar a relação entre a probabilidade de um indivíduo dar uma resposta a um item e o seu traço latente (ANDRADE; TAVARES; VALLE, 2000), o que nos permite  a criação de uma escala padronizada.

Traços latentes são características do indivíduo que não podem ser medidas diretamente, porém, são medidas por meio de um questionário com variáveis secundárias relacionadas com o traço latente. São exemplos deste: proficiência, habilidade, grau de satisfação, importância atribuída, nível de ansiedade, grau de usabilidade etc. (MOREIRA JUNIOR, 2014a).

A TRI foi desenvolvida principalmente para suprir limitações da tradicional Teoria Clássica dos Testes, também chamada de Teoria Clássica de Medidas (TCM). Na abordagem tradicional o traço latente é mensurado por meio de um somatório ponderado, ou não, dos pontos atribuídos a cada questão do questionário. A TRI apresenta algumas vantagens em relação à TCT, dentre as quais se destacam:

(1) a TRI fornece informações mais precisas do desempenho dos respondentes, tanto em relação à estimação dos parâmetros quanto ao seu erro padrão, pois o traço latente do indivíduo não depende da dificuldade das questões que compõem do questionário. Já na TCT o escore do indivíduo depende essencialmente do conjunto de itens que compõe o questionário (ANDRADE; TAVARES; VALLE, 2000; EMBRETSON; REISE, 2000; VENDRAMINI; SILVA; CANALE, 2004);

(2) a TRI permite, sob certas condições, a comparação através do escore entre os indivíduos que responderam questionários com itens diferentes para medir o mesmo traço latente, pois os itens e os indivíduos são colocados na mesma escala, a qual é interpretável (ANDRADE; TAVARES; VALLE, 2000; EMBRETSON; REISE, 2000);

(3) na TRI, uma vez estimado o traço latente do indivíduo, é possível verificar qual a probabilidade de dar certa resposta a um determinado item, caso ele não o tenha respondido (VENDRAMINI; SILVA; CANALE, 2004).

A TRI surgiu como uma forma de considerar cada item particularmente e não apenas os escores totais, como é feito na TCT. Destaca-se que essa não entra em conflito com os princípios da TCT, mas possibilita uma nova proposta de análise estatística (ARAUJO; ANDRADE; BORTOLOTTI, 2009).

Moreira Junior (2014) descreve de forma sucinta o procedimento geral para uma análise sob a ótica da TRI. O conjunto de itens deve ser elaborado da forma tradicional, da mesma forma que na TCT, ou seja, por especialistas no assunto do traço latente analisado, consultando a literatura existente sobre o assunto, abrangendo todo o conteúdo necessário, realizando pré-teste e análise de juízes, quando for conveniente. O conjunto de itens resultantes irá compor o questionário, ou seja, o instrumento de avaliação. Este deverá ser submetido a uma amostra suficiente de respondentes. As respostas obtidas serão analisadas por meio de um MRI, o qual irá fornecer estimativas para os parâmetros dos itens desse modelo. Os itens serão analisados por meio dessas estimativas e por meio da Função de Informação do Item (FII), que mede a qualidade do item para o construto. Se algum item tiver qualidade duvidosa, poderá ser eliminado da análise. Outros itens, com boas qualidades, irão se tornar “itens âncoras”, conceito que será utilizado nesse trabalho. Após obtidos os itens âncoras, a escala do traço latente foi organizada, com a finalidade de posicionar os itens de acordo com a escala. Finalizada a avaliação dos itens, a TRI avalia os respondentes, atribuindo uma “nota”, ou seja, um valor para o traço latente para cada respondente, que é a estimativa para o parâmetro dos respondentes. Nesse momento, os respondentes poderão ser posicionados na escala criada, junto com os itens, podendo-se, então, fazer a análise e interpretação da escala.

Existem vários MRI utilizados na TRI, diferentes quanto à sua função e à quantidade de parâmetros, e cada um deles é específico para uma situação. Esses modelos podem ser classificados quanto à sua dimensão (unidimensionais ou multidimensionais), quanto ao tipo de traço latente (cumulativo ou não cumulativo), quanto ao tipo de item (dicotômico ou politômico) e quanto ao número de populações envolvidas (MOREIRA JUNIOR, 2011).

Os modelos unidimensionais são utilizados quando se supõe que o objeto de estudo é composto por um único traço latente. Este está relacionado com a capacidade ou habilidade do indivíduo em responder aos itens do teste, ou quando o traço latente pode ser representado por uma única dimensão ou fator, o qual deve explicar mais de 20% da variância total, segundo Reckase (1979). Já os modelos multidimensionais são adequados quando se estuda mais de um traço latente ou quando este não pode ser representado por uma única dimensão (MOREIRA JUNIOR, 2014a). A dimensionalidade pode ser verificada por meio de uma Análise Fatorial apropriada para dados categorizados (EMBRETSON; REISE, 2000; ANDRADE; TAVARES; VALLE, 2000).

Outra suposição dos modelos unidimensionais é a chamada independência local ou independência condicional. Nela se assume que para um dado traço latente, as respostas aos diferentes itens do questionário são independentes, ou seja, a probabilidade de responder um item é determinada pelo nível do traço latente do respondente e não por suas respostas a outros itens do conjunto. Esta suposição é fundamental para o processo de estimação dos parâmetros do modelo. No entanto, a unidimensionalidade implica independência local, assim, é suficiente satisfazer a suposição de unidimensionalidade (ANDRADE; TAVARES; VALLE, 2000; EMBRETSON; REISE, 2000).

A estimação dos parâmetros dos itens se dá por meio de métodos estatísticos, entre os principais: o método da máxima verossimilhança (MV), o método bayesiano da esperança a posteriori (EAP) e o método bayesiano da moda a posteriori (MAP).

A escolha do MRI depende basicamente do tipo de item e representa a probabilidade de resposta a um item em função dos parâmetros do próprio item e do traço latente do respondente (TAVARES; ANDRADE; PEREIRA, 2004). No caso de itens dicotômicos, onde não há a possibilidade de acerto casual, os modelos que podem ser utilizados são: o modelo logístico de um parâmetro (ML1) e o modelo logístico de dois parâmetros (ML2). O ML1 considera apenas a dificuldade do item e o ML2 considera a dificuldade e a discriminação do item. Nesse trabalho, não se supõe que todos os itens possuem a mesma discriminação. Dessa forma, será utilizado o ML2, desenvolvido por Birnbaum (1968), que é dado por (1):

Pij = P(Uij =1|qj ) =

 (1)

com i = 1, 2, ..., I, e j = 1, 2, ..., n, onde, I é a quantidade de itens no teste; n é número total de respondentes; ai é o parâmetro de discriminação (ou de inclinação) do item i; bi é o parâmetro de dificuldade (ou de posição) do item i, medido na mesma escala do traço latente e representa o nível do traço latente necessário para que a probabilidade de uma resposta correta ou concordo ou satisfazer as condições do item seja de 0,5; θj representa o traço latente do respondente j; Uij é uma variável dicotômica que assume os valores 1, quando o respondente j responde corretamente, concorda ou satisfaz as condições do item i, ou 0 caso contrário; P(Uij =1|θj ) é a probabilidade do respondente j, com seu traço latente θj, responder sim, estar satisfeito ou concordar como item i e é chamada de Função de Resposta do Item (FRI); e é a conhecida constante de Euler igual a 2,718281...; D é um fator de escala constante, igual a 1 se os parâmetros dos itens são estimados na métrica da Logística, ou igual a 1,7, se os parâmetros dos itens são estimados na métrica da ogiva Normal, que é a distribuição Normal acumulada, por aproximação (nesse estudo, os parâmetros serão analisados pela métrica da Logística, considerando, portanto, D = 1).

A Figura 1 apresenta um exemplo de uma Curva Característica do Item (CCI) do modelo logístico de 2 parâmetros, com parâmetros ai =1,6 e bi =1, em uma escala (0,1), isto é, com média zero e desvio padrão um.

 

Figura 1 – Exemplo de CCI do modelo Logístico de 2 parâmetros

Fonte: Moreira Junior; Tezza; Bornia (2011).

 

Pode-se observar que a curva característica do item neste modelo é uma função não linear e, onde maior a habilidade, maior a probabilidade de responder o item corretamente. Observa-se que, o indivíduo que tem traço latente igual a um, possui 0,5 de probabilidade de concordar ou estar satisfeito com esse item. Indivíduos com traço latente maior que 1, possuem mais de 0,5 de probabilidade de concordar ou estar satisfeito com esse item, enquanto que indivíduos com traço latente menor que 1, possuem probabilidade menor de 0,5 de concordar ou estar satisfeito com esse item.

O parâmetro ai mede a discriminação do item. Matematicamente, seu valor é proporcional à derivada da tangente da curva no ponto de inflexão, ou seja, no ponto bi (ANDRADE; TAVARES; VALLE, 2000). Valores baixos de ai indicam que o item tem pouco poder de discriminação, ou seja, a probabilidade de um indivíduo concordar ou estar satisfeito com ele não difere muito entre indivíduos com baixo ou alto valor de traço latente. Por outro lado, valores altos de ai indicam que o item tem grande poder de discriminação, dividindo os indivíduos praticamente em dois grupos: os que possuem habilidades abaixo do valor de bi  (com baixa probabilidade de concordar ou estar satisfeito com o item), e os que possuem habilidades acima do valor de bi  (com alta probabilidade de concordar ou estar satisfeito com o item). Não existe um valor exato de ai para decidir se um item discrimina bem ou não. Os pesquisadores consideram, em geral, que um item com ai  maior que 0,7 é aceitável, na métrica logística, porém um valor maior ou igual a 1,0 indica que o item tem uma boa discriminação. Valores extremamente altos de ai também não são adequados, pois dividiria os indivíduos em dois grupos distintos (os que têm θi maior que bi  e os que têm θi menor que bi ), mas não faria distinção entre os indivíduos dentro dos grupos (MOREIRA JUNIOR, 2014b).

O parâmetro bi é o parâmetro de dificuldade ou de posição, que é medido na mesma unidade da escala do traço latente do indivíduo (θi). Quanto maior seu valor, mais difícil é para um indivíduo concordar ou estar satisfeito com o item, e vice-versa. Esse valor de bi é que vai definir a posição do item na escala, por isso ele também é chamado de parâmetro de localização. Teoricamente, bi pode assumir qualquer valor entre –∞ e +∞, no entanto, para valores muito altos ou baixos, o item pode não ser adequado, sendo usual os valores entre -3 e 3, na escala (0, 1), isto é, com média igual a zero e desvio padrão igual a um.

O traço latente (habilidade ou proficiência) do indivíduo (θi) é medido em uma escala arbitrária que varia teoricamente entre  e , diferentemente da TCT, em que a escala geralmente varia entre zero e a quantidade total de questões do questionário. Porém, o importante nessa escala não é a sua magnitude, mas as relações de ordem existentes (ANDRADE; TAVARES; VALLE, 2000). O traço latente, para os modelos acumulativos, é especificado como um tipo de característica que apresenta uma probabilidade maior para indivíduos com θi maior, e uma probabilidade menor para indivíduos com θi menor. Ou seja, quanto maior for θi, maior será a probabilidade do indivíduo j concordar ou estar satisfeito com o item.

 

Para o ML2, a Função de Informação de um Item (FII) é dada por (2):

 Ii (q) = ai2 Pi(q) Qi(q)

(2)

onde: Pi(q) = P(Uij =1|qj) e Qi(q) = 1- Pi(q) .

 

Observa-se que a informação do item é proporcional ao valor da sua discriminação (parâmetro ai) e, quanto maior for a discriminação de um item, maior será a informação que ele fornece ao teste ou ao questionário que compõe os itens.

A função de informação total do teste (FIT) é a soma das informações fornecidas por cada item que compõe o mesmo. A curva de informação total é utilizada para avaliar o desempenho dos itens, ou seja, o quão bem um conjunto de itens está avaliando o traço latente. A FIT está relacionada com a precisão necessária para estimar o traço latente, de forma que o erro padrão de medida pode ser estimado como o inverso da raiz quadrada do valor da informação total do teste em cada nível do traço latente. Portanto, quanto maior for a informação, menor será o erro padrão da estimativa do traço latente.

O processo de estimação dos parâmetros dos itens e dos respondentes, no caso do ML2, está implementado em softwares específicos, tais como, BILOG-MG (TOIT, 2003), o XCalibre (GIERL; ACKERMAN, 1996) e em alguns pacotes do software R (R DEVELOPMENT CORE TEAM, 2008). Neste trabalho, os parâmetros do modelo foram estimados por meio do método da Máxima Verossimilhança Marginal, método implementado no pacote irtoys (PARTCHEV, 2013) do software R.

O processo de calibração dos itens, ou seja, a estimação dos parâmetros dos itens, geralmente é feita na escala (0,1), devido à facilidade computacional, ou seja, numa escala com média igual a zero e desvio padrão igual a 1 (MOREIRA JUNIOR, 2014a). Após essa etapa, é realizada a construção da escala do traço latente, que é colocada na mesma métrica dos itens. Conforme, Fontanive, Elliot e Klein (2007), as escalas de habilidade ordenam o desempenho dos indivíduos do menor para o maior de forma contínua e são cumulativas, isto é, os indivíduos que se situam em um determinado nível da escala são capazes de demonstrar as habilidades descritas nesse nível e nos níveis anteriores dessa escala.

No entanto, existe uma dificuldade, na prática, em compreender os valores negativos e decimais que existem na escala (0,1), na qual muitas vezes os valores das proficiências são interpretados inadequadamente (VALLE, 2001). Nesse sentido, é bastante comum fazer uma transformação linear em todos os parâmetros envolvidos antes da construção das escalas, fazendo com que todos os valores fiquem positivos, de forma a representar a habilidade em valores numéricos que tornem mais fácil o entendimento pelas pessoas.

A construção da escala tem o objetivo de encontrar uma interpretação qualitativa dos valores obtidos pela aplicação do modelo da TRI, possibilitando, assim, a interpretação pedagógica dos valores das habilidades. Assim, surge a ideia dos níveis âncoras e a técnica conhecida como ancoragem (BEATON; ALLEN, 1992).

Andrade, Tavares e Valle (2000) definem níveis âncora como pontos selecionados pelo analista na escala da habilidade para serem interpretados pedagogicamente. Usualmente, os níveis âncoras são estabelecidos em função do desvio padrão em relação à média. Beaton e Allen (1992) definem item âncora da seguinte forma: considere dois níveis âncora consecutivos Y e Z, sendo que Y < Z. Um determinado item é âncora para o nível Z se e somente se as 3 condições abaixo forem satisfeitas simultaneamente:

 

i) P(U=1|θ=Z) ≥ 0,65,

ii) P(U=1|θ=Y) ≤ 0,50 e

iii) P(U=1|θ=Z) - P(U=1|θ=Y) ≥ 0,30.

 

Isto significa que para um item ser considerado âncora em um determinado nível âncora Y é necessário que seja respondido positivamente por pelo menos 65% dos respondentes com este nível do traço latente e por uma proporção menor do que 50% dos respondentes de um nível de traço latente imediatamente inferior X (MOREIRA JUNIOR, 2014a). E ainda que a diferença entre a proporção de respondentes destes dois níveis consecutivos deve ser pelo menos de 30% (Beaton; Allen, 1992).

Na prática, às vezes um item não se caracteriza âncora por violar “levemente” uma das três condições necessárias. Nessas situações, pode-se considerar esse item como sendo âncora, se ele for importante ou se existirem poucos itens no instrumento de pesquisa. Outra alternativa é dividir os itens em grupos, segundo a quantidade de condições satisfeitas, ou seja, os itens âncoras que satisfazem as três condições, e os itens “quase” âncoras que satisfazem uma ou duas condições.

Depois de identificados os itens âncoras de cada nível âncora, os especialistas no traço latente estudado devem caracterizar os níveis âncoras, segundo o conteúdo abordado no conjunto de itens que compõem cada nível.

 

3 METODOLOGIA

A pesquisa foi realizada através de um questionário quantitativo elaborado com base nos seguintes autores Carvalho, Amorim e Tavares (2003), Siebeneichler, Wienningkamp, Ruchel, Trombini e Zamberlan (2008) e Garcez, Fachin e Andrade Júnior (2000). O questionário era autoaplicável e foi enviado de forma eletrônica ao público-alvo, cujos os e-mails estavam cadastrados no SIE - Sistema de Informações para o Ensino da UFSM. O formulário foi elaborado utilizando o aplicativo Google Docs (www.google.com/docs).

O questionário foi dividido em duas partes de interesse no presente trabalho, a primeira com abordagens sobre informações do perfil do usuário, a segunda sobre o nível de satisfação do usuário em relação a 41 aspectos relacionados aos restaurantes universitários. Dessa forma, os usuários avaliaram a sua satisfação em relação aos 41 aspectos utilizando uma escala likert de cinco pontos. Para a adequação ao uso do ML2, os dados foram dicotomizados da seguinte forma: (1) “satisfeito”, formado pelas categorias satisfeito e muito satisfeito e (0) “não satisfeito”, formado pelas categorias muito insatisfeito, insatisfeito e indiferente (nem satisfeito nem insatisfeito).

O formulário também foi divulgado na página oficial da Universidade Federal de Santa Maria, em redes sociais e por meio de cartazes fixados em pontos do campus universitário onde havia grande circulação de pessoas. O questionário esteve à disposição para ser respondido pelos frequentadores do RU, sendo estes, alunos de graduação e pós-graduação, docentes, servidores e técnicos administrativos que frequentam o restaurante no horário do almoço, entre os dias 16 de janeiro a primeiro de fevereiro de 2013. Destaca-se que nesse período a Universidade Federal de Santa Maria estava com aulas regulares. Esta pesquisa foi aprovada pelo Comitê de Ética em Pesquisa da UFSM e o projeto registrado no Gabinete de Projetos.

As análises utilizadas foram estatísticas descritivas, tabelas de frequências, análise multivariada (análise fatorial) e a Teoria da Resposta ao Item (TRI) com o ML2. Foi utilizado o software Statistical Package for the Social Science - SPSS 17.0 (Bisquerra; Sarriera; Martínez, 2004), para as análises descritivas, o software FACTOR, versão 9.2 (LORENZO-SEVA; FERRANDO, 2013) para a análise fatorial de dados qualitativos, e o pacote irtoys (PARTCHEV, 2013) do software R (R DEVELOPMENT CORE TEAM, 2008) para a análise da TRI. As análises foram baseadas apenas nas respostas válidas, ou seja, nas perguntas que foram respondidas.

 

4 RESULTADOS

Participaram da pesquisa 1.855 usuários do RU da UFSM, sendo 41,35% do sexo masculino e 58,65% do feminino. A maioria dos respondentes é solteira (85,61%) seguido dos casados (12,61%), e ainda um pequeno percentual de divorciados (1,78%) e viúvos (0,27%). Em relação ao vínculo com a UFSM, 92,14% são alunos, sendo 23,03% alunos carentes (com benefício socioeconômico) e 69,11% são alunos sem o benefício, 6,85% são servidores técnicos administrativos que trabalham na universidade e 1,02% são docentes que lecionam na instituição. Entre os alunos, 72,61% cursam a graduação, 17,41% a Pós-Graduação, 1,24% fazem um curso técnico e 0,86% estão no ensino médio, e cerca de 8% não responderam que curso frequenta na UFSM. A maioria dos usuários declarou que almoça em grupo (76,17%), e apenas 4,2% alegaram ser vegetarianos. Com relação à faixa etária, a grande maioria (71,86%) é composta por jovens com idade entre 17 e 25 anos. Dentre os frequentadores do RU, 34,5% almoçam antes do meio-dia, já 58,44% preferem fazer esta refeição no intervalo do meio-dia às 13 horas, restando uma pequena parcela de 7,06% que opta por almoçar após as 13 horas. Com relação à frequência, 44,47% dos usuários almoçam diariamente no RU, 31,54% de 3 a 4 vezes por semana, 10,73% duas vezes por semana, 1,89% uma vez por semana e 11,37% almoçam eventualmente no RU. A maioria dos participantes (89,9%) almoça no Campus localizado no bairro Camobi sendo 50,9% no Restaurante I e 38,9% no Restaurante II, enquanto que apenas 10,1% almoça no RU localizado no Centro de Santa Maria, RS. A maioria dos usuários opta pelo RU devido ao preço atrativo das refeições (58,3%), outros 21,5% almoçam no RU por estar localizado próximo do local da aula, bolsa ou trabalho. Ainda, 7,1% dos usuários escolhem o RU para almoçar devido à qualidade das refeições, 6,6% devido à alimentação saudável proporcionada, e 6,5% por outros motivos.

A Tabela 1 apresenta o percentual de satisfeitos e não satisfeitos (insatisfeitos e indiferentes) das respostas válidas aos 41 itens utilizados na avaliação da satisfação. Os 41 itens estão agrupados em quatro dimensões: ambiente externo, ambiente interno, alimentação e atendimento.

 

Tabela 1 – Percentual de satisfação e não satisfação segundo o item

Item

Satisfeito

Não satisfeito

Ambiente interno

 

 

Tamanho/estrutura

62,7%

37,3%

Layout

61,6%

38,4%

Limpeza

75,6%

24,4%

Iluminação

87,4%

12,7%

Odores/cheiros

48,2%

51,8%

Ventilação

49,9%

50,1%

Conforto

65,6%

34,4%

Barulhos

27,6%

72,4%

Decoração

34,0%

66,1%

Banheiro

28,9%

71,1%

Ambiente externo

 

 

Fachada/aparência

44,0%

56,0%

Localização

81,0%

19,1%

Acessibilidade

70,0%

30,0%

Abrigo do sol e chuva

43,3%

56,7%

Sinalização

45,9%

54,2%

Alimentação

 

 

Organização do Buffet

76,9%

23,1%

Qualidade dos alimentos

67,8%

32,2%

Temperatura dos alimentos

75,6%

24,4%

Equilibrada e saudável

76,6%

23,4%

Sabor e temperos

38,2%

61,8%

Higiene dos alimentos

69,5%

30,5%

Variedade diária

46,5%

53,5%

Variedade do cardápio semanal

51,0%

49,0%

Quantidade da porção da carne

55,7%

44,4%

Quantidade da porção sobremesa

60,8%

39,2%

Salada

51,7%

48,3%

Arroz

72,7%

27,3%

Complemento

53,4%

46,6%

Feijão/lentilha

63,6%

36,4%

Carne

47,8%

52,2%

Guisado de Soja

24,8%

75,2%

Atendimento

 

 

Apresentação dos funcionários

69,6%

30,4%

Agilidade em repor os alimentos

64,0%

36,1%

Manutenção do cardápio

46,6%

53,4%

Preço cobrado

85,9%

14,1%

Opções de pagamento

65,5%

34,5%

Horário para a compra de créditos

62,9%

37,1%

Tamanho da fila para a compra de créditos

29,6%

70,4%

Tamanho da fila para entrar no RU

27,8%

72,2%

Disponibilidade de lugar para almoçar

32,9%

67,1%

Limpeza dos utensílios

52,5%

47,6%

 

Por meio da análise descritiva apresentada na Tabela 1, pode-se observar que os itens com maior percentual de satisfação foram: a iluminação interna (87,4%), o preço cobrado (85,9%) e a localização do RU (81,0%). Por outro lado, os itens com menor satisfação foram: guisado de soja (24,8%), barulhos (27,6%), tamanho da fila para entrar no RU (27,8%), banheiro (28,9%) e tamanho da fila para a compra de créditos (29,6%). No entanto, essa análise não permite concluir se esses itens são adequados para avaliar a satisfação do usuário, o que poderá ser verificado por meio da análise da TRI.

A Análise Fatorial baseada na matriz das correlações tetracóricas foi executada no software FACTOR a fim de verificar a suposição de unidimensionalidade dos dados. O procedimento utilizado para determinar o número de fatores foi a implementação ótima da Análise Paralela (TIMMERMAN; LORENZO-SEVA, 2011). As variáveis do presente estudo são de natureza qualitativa e a análise fatorial foi realizada após a dicotomização dos dados. Foram retiradas as observações que continham dados faltantes, resultando um total de 1.470 observações, que, ainda assim, é um tamanho de amostra adequado.  O primeiro fator apresentou 34,4% de variância explicada pelos dados, indicando assim a existência de um componente principal dominante, que se destaca dos demais. Isso não significa que o construto seja propriamente unidimensional, mas a existência de um fator dominante permite que uma análise com modelos unidimensionais da TRI possa ser realizada (ANDRADE; TAVARES; VALLE, 2000). Esse fator dominante é o traço latente que está sendo medido, que foi denominado como “satisfação dos usuários do RU da UFSM”.

Na Tabela 2 são apresentadas as estimativas dos parâmetros de discriminação e de dificuldade dos itens, com seus respectivos erros padrões, segundo o ajuste do ML2.

Quanto à discriminação dos itens (ai), observa-se na Tabela 2 que os parâmetros de discriminação variaram entre 0,56 e 2,26, com uma média de 1,23, indicando que todos os itens possuem um poder de discriminação de razoável a muito bom. O item “Complemento” da alimentação (a=2,22), seguido de “Qualidade dos alimentos” (a=2,11) são os itens que melhor discriminam entre os usuários satisfeitos e insatisfeitos, enquanto que o item “Ventilação” do ambiente interno (a=0,56), seguido de “Opções de pagamento” (a=0,65) são os itens que discriminam com menos eficiência. Os erros padrões são baixos e adequados.

É também observado, com relação à dificuldade dos itens (bi), que os parâmetros de dificuldade variaram entre -2,22 e 1,47, com uma média de -0,26, indicando que todos os itens possuem valores adequados para o parâmetro de dificuldade, no entanto há itens mais fáceis de obter satisfação (25 itens com bi negativo) do que itens mais difíceis de obter satisfação (16 itens com bi positivo). O item “preço cobrado” da alimentação é o item mais fácil de obter satisfação dos usuários, o que é perfeitamente justificável, uma vez que o preço do almoço no RU é muito baixo se comparado a um restaurante comercial. Seguido dos itens “Iluminação” e “Localização”. Por outro lado, o item “guisado de soja” da alimentação é o item mais difícil de obter satisfação dos usuários, já que esse é um prato que não é apreciado por muitos. Seguido de “Banheiro”, “Barulhos” e “Tamanho da fila para entrar no RU”. Os resultados do parâmetro de dificuldade corroboram com os resultados da análise descritiva clássica da Tabela 1, o percentual de satisfação dos itens destacados como mais fáceis de obter satisfação é superior a 80%, e o percentual de insatisfação dos itens destacados como mais difíceis de obter satisfação é superior a 70% na análise descritiva. Os erros padrões são baixos e adequados.

 

Tabela 2 – Estimativas dos parâmetros dos itens e respectivos erros padrões

Item

Descrição

a

EP(a)

b

EP(b)

 

Ambiente interno

 

 

 

 

1

Tamanho/estrutura

0,87

0,0749

-0,68

0,0840

2

Layout

0,92

0,0765

-0,59

0,0765

3

Limpeza

1,29

0,0985

-1,12

0,0799

4

Iluminação

1,25

0,1102

-1,93

0,1360

5

Odores/cheiros

1,12

0,0835

0,09

0,0563

6

Ventilação

0,56

0,0635

0,01

0,0984

7

Conforto

1,03

0,0817

-0,74

0,0756

8

Barulhos

1,04

0,0859

1,12

0,0944

9

Decoração

1,13

0,0869

0,74

0,0708

10

Banheiro

0,90

0,0797

1,16

0,1065

 

Ambiente externo

 

 

 

 

11

Fachada/aparência

0,88

0,0744

0,32

0,0708

12

Localização

0,91

0,0860

-1,83

0,1575

13

Acessibilidade

1,09

0,0860

-0,94

0,0815

14

Abrigo do sol e chuva

0,64

0,0662

0,47

0,0981

15

Sinalização

0,94

0,0764

0,22

0,0656

 

Alimentação

 

 

 

 

16

Organização do Buffet

1,90

0,1335

-0,96

0,0569

17

Qualidade dos alimentos

2,11

0,1413

-0,56

0,0435

18

Temperatura dos alimentos

1,59

0,1140

-0,99

0,0650

19

Equilibrada e saudável

1,79

0,1268

-0,97

0,0595

20

Sabor e temperos

1,69

0,1135

0,42

0,0473

21

Higiene dos alimentos

1,74

0,1186

-0,69

0,0512

22

Variedade diária

1,51

0,1024

0,14

0,0465

23

Variedade do cardápio semanal

1,69

0,1120

-0,03

0,0431

24

Quantidade da porção da carne

0,99

0,0782

-0,27

0,0640

25

Quantidade da porção sobremesa

1,02

0,0803

-0,51

0,0677

26

Salada

1,24

0,0890

-0,06

0,0523

27

Arroz

1,70

0,1191

-0,83

0,0570

28

Complemento

2,26

0,1460

-0,09

0,0373

29

Feijão/lentilha

1,31

0,0940

-0,55

0,0578

30

Carne

1,79

0,1166

0,08

0,0420

31

Guisado de Soja

0,87

0,0813

1,47

0,1315

 

Atendimento

 

 

 

 

32

Apresentação dos funcionários

1,19

0,0901

-0,87

0,0732

33

Agilidade em repor os alimentos

1,07

0,0832

-0,65

0,0704

34

Manutenção do cardápio

1,24

0,0890

0,15

0,0530

35

Preço cobrado

0,94

0,0937

-2,22

0,1912

36

Opções de pagamento

0,65

0,0682

-1,06

0,1308

37

Horário para a compra de créditos

0,81

0,0727

-0,73

0,0913

38

Tamanho da fila para a compra de créditos

1,08

0,0871

0,98

0,0839

39

Tamanho da fila para entrar no RU

1,04

0,0866

1,11

0,0933

40

Disponibilidade de lugar para almoçar

1,24

0,0928

0,74

0,0660

41

Limpeza dos utensílios

1,29

0,0913

-0,09

0,0510

 

A Figura 2 apresenta as CCI’s de todos os 41 itens avaliados, onde o comportamento das curvas é adequado, segundo indica a literatura, tal como a Figura 1.

 

Figura 2 – CCI’s dos 41 itens avaliados

 

Figura 3 – FII’s dos 41 itens avaliados

 

A Figura 3 apresenta as FII’s de todos os 41 itens avaliados. A FII está diretamente relacionada com discriminação do item, no sentido que, quanto maior a discriminação, maior é a informação que o item fornece para o instrumento. Observa-se, portanto, que o item “Complemento” da alimentação (item 28) é o item que contribui com a maior informação para o questionário e está localizado próximo da média da escala.

A Figura 4 apresenta a Função de Informação total (FIT) do instrumento de medida. Observa-se que o instrumento de medida tem uma boa quantidade de informação entre -2 e 1,5. Isso significa que esse questionário de avaliação é mais adequado para medir a satisfação de indivíduos que possuem nível de satisfação entre -2 e 1,5, que corresponde a uma boa cobertura do traço latente. O erro padrão das estimativas do traço latente será menor nas regiões de maior informação de acordo com a Tabela 2.

 

Figura 4 – Função de Informação do Teste

 

A Tabela 3 e a Figura 5 apresentam a distribuição de frequência dos valores do traço latente (nível de satisfação do usuário do RU) estimado por meio do método EAP na escala (0, 1), ou seja, com média zero e desvio padrão 1. O nível de satisfação médio da amostra foi 0,00, com um desvio padrão de 0,95. O erro padrão das estimativas do traço latente (Figura 6) foi em média 0,30, variando entre 0,22 e 0,55. Isso significa que as estimativas possuem uma boa precisão, principalmente nos valores do traço latente entre -2 e 2, abrangendo 95,4% dos respondentes. O menor valor do traço latente foi -2,97 (erro padrão de 0,50), enquanto que o maior valor do traço latente foi 2,63 (erro padrão de 0,55).

 

Figura 5 – Histograma dos valores do traço latente

 

Tabela 3 – Distribuição de Frequência dos Valores do Traço Latente

Intervalo

Quantidade

Percentual

-3,0 a -2,5

18

1,2%

-2,5 a -2,0

23

1,6%

-2,0 a -1,5

42

2,9%

-1,5 a -1,0

122

8,3%

-1,0 a -0,5

210

14,3%

-0,5 a 0,0

314

21,4%

0,0 a 0,5

312

21,2%

0,5 a 1,0

219

14,9%

1,0 a 1,5

130

8,8%

1,5 a 2,0

54

3,7%

2,0 a 2,5

16

1,1%

2,5 a 3,0

10

0,7%

 

Figura 6 – Erro padrão do traço latente

 

As categorias âncoras dos itens e os níveis âncoras foram estabelecidos com base nas condições definidas por Beaton e Allen (1992). Os níveis âncoras foram estabelecidos em função do desvio padrão da escala utilizada na calibração dos itens, que é igual a 1 (um). Entre os itens não identificados como âncoras, foram verificados, e considerados na análise, aqueles que eram “quase” âncoras (aqueles que satisfaziam apenas duas condições). Dentre os 41 itens avaliados, 10 eram âncoras, 14 eram quase âncoras, e 17 não se caracterizaram como itens âncoras.

A interpretação do nível de satisfação de um indivíduo leva em conta a sua posição na escala do traço latente para identificar o nível que ele se encontra. Com base na descrição dos itens, as interpretações para cada nível da escala de satisfação são apresentadas na Tabela 4.

 

Tabela 4 – Interpretações para cada nível da escala de satisfação

Nível

% da amostra

Indivíduos situados nesse nível estão satisfeitos com:

Abaixo de -1

8,30%

Nada

-1

35,60%

A iluminação interna*

 

 

A localização do RU*

 

 

Com os itens descritos no nível anterior e:

 

 

Conforto do ambiente interno*

 

 

Acessibilidade*

 

 

Organização do Buffet

 

 

Qualidade dos alimentos

 

 

Temperatura dos alimentos

0

36,10%

Alimentação equilibrada e saudável

 

 

Higiene dos alimentos

 

 

Variedade do cardápio semanal*

 

 

Arroz

 

 

Feijão (ou lentilha)

 

 

Complemento (terceiro prato)*

 

 

Apresentação dos funcionários*

 

 

Agilidade na reposição dos alimentos*

 

 

Com os itens descritos nos níveis anteriores e:

 

 

Odores/cheiros do ambiente interno*

 

 

Sinalização Externa*

1

12,50%

Sabor e temperos dos alimentos

 

 

Variedade do cardápio semanal

 

 

Carne

 

 

Manutenção do cardápio previsto*

 

 

Com os itens descritos nos níveis anteriores e:

2 ou acima

1,80%

Barulhos/ruídos no ambiente interno*

 

 

Banheiros do RU*

 

 

Tamanho da fila para entrar no RU*

(*) Itens quase âncoras

 

5 CONSIDERAÇÕES FINAIS        

A utilização da Teoria da Resposta ao Item (TRI) em avaliações é uma tendência universal. A TRI tem sido utilizada na área educacional, proporcionando uma avaliação mais precisa do fenômeno estudado e também está encontrando espaço em outras áreas, avaliando outros tipos de traços latentes, principalmente os relacionados com fenômenos organizacionais.

Neste trabalho foi desenvolvida uma escala interpretável para avaliar o nível de satisfação dos usuários do RU da UFSM, por meio do ML2 da Teoria da Resposta ao Item (TRI), onde foram posicionados os itens de satisfação e os participantes da pesquisa.

Os dados foram analisados por meio de estatísticas descritivas, tabelas de frequências, análise fatorial e Teoria da Resposta ao Item. Participaram da pesquisa 1.855 usuários do RU da UFSM. O resultado da análise fatorial mostrou que existe um fator dominante, denominado nível de satisfação do usuário do RU, o que indica que a escolha do ML2 da TRI é uma plausível para modelagem desses dados. No processo de calibração dos itens os resultados se mostraram coerentes, tanto para o parâmetro de dificuldade quanto para o de discriminação, os mesmos corroboram com a análise descritiva. Os itens “guisado de soja”, “Banheiro”, “Barulhos” e “Tamanho da fila para entrar no RU”, foram identificados como os itens mais difíceis de obter satisfação. Enquanto que os itens “preço cobrado”, “Iluminação” e “Localização” foram identificados como os mais fáceis de se obter satisfação. Já os itens “Qualidade dos alimentos” e “Complemento” foram identificados como os itens que melhor discriminam entre os usuários satisfeitos e insatisfeitos, enquanto que os itens “Ventilação” e “Opções de pagamento” são os que menos discriminam. De uma maneira geral, os indivíduos estão mais satisfeitos do que não satisfeitos, pois há 25 itens com bi negativo e 16 itens com bi positivo. A FIT indicou que o instrumento de medida tem uma boa quantidade de informação, com valores entre -4 e 3. Mostrou-se bastante adequado para medir a satisfação de indivíduos que possuem nível de satisfação entre -3 e 2, que corresponde a uma boa cobertura do traço latente. Ainda, foi possível identificar em que nível da escala de satisfação os usuários do RU da UFSM estão situados, assim como a interpretação dos níveis. Pode-se concluir que o ML2 da TRI foi adequado para a análise proposta.

Diferentemente do caso da avaliação educacional, onde a escala é construída para ser utilizada por um bom período de tempo se beneficiando da propriedade da invariância dos parâmetros dos itens (BAKER, 2001), na avaliação da satisfação, essa propriedade pode não funcionar adequadamente. Por exemplo, se os administradores do RU efetivassem alguma ação que reduzisse o tamanho da fila para entrar no RU, identificado como um dos itens mais difíceis de obter satisfação do usuário do RU, uma nova pesquisa poderia apontar que esse item passaria a ser mais satisfatório do que foi registrado nessa pesquisa, ou seja, haveria uma mudança nos parâmetros dos itens. Nesse sentido, se alguma ação for tomada para mudar o nível de satisfação dos itens avaliados, uma nova pesquisa deverá ser realizada, pois alguns itens podem sofrer mudanças nas suas propriedades psicométricas, ao longo do tempo, devendo ter as suas estimativas atualizadas.

Os resultados da TRI suprimem a intuição e fortalecem a racionalidade para a tomada de decisão. A importância da TRI reside no método aplicado e nos resultados obtidos, para posterior aplicação de medidas corretivas ou alternativas. Assim, os resultados obtidos serão encaminhados para a administração do RU/UFSM onde poderão gerar subsídios para formulação de propostas que visam melhorias (mudanças e/ou adaptações) nos critérios avaliados para que o usuário tenha um serviço que atenda às suas necessidades e expectativas.

 

REFERÊNCIAS

ANDRADE DF, TAVARES HR, VALLE RC. Teoria da resposta ao item: conceitos e aplicações. São Paulo: ABE - Associação Brasileira de Estatística, 2000.

ARAUJO EAC, ANDRADE DF, BORTOLOTTI SLV. Teoria da Resposta ao item. Revista da Escola de Enfermagem USP. 2009;43(Esp):1000-8.

ARAÚJO, RS, NEUMANN, D, DA ROCHA NEVES, K, SOARES, HC. Satisfação dos clientes do restaurante universitário do campus JK da Universidade federal dos Vales do Jequitinhonha e Mucuri–UFVJM-MG/Satisfaction of clients of the University Restaurant on the JK campus of the Federal University of the Jequitinhonha and Mucuri Valley. Brazilian Journal of Development. 2019;5(12):29971-29989.

BAKER FB. Item response theory parameter estimation techniques. New York: Marcel Dekker; 1992.

BEATON AE, ALLEN NL. Interpreting scales through scale anchoring. Journal of Educational Statistics. 1992;17:191-204.

BIRNBAUM A. Some Latent Trait Models and Their Use in Infering an Examinee’s Ability. In: Lord, FM, Novick MR. Statistical Theories of Mental Test Scores. MA: Addison-Wesley, 1968.

Bisquerra R, Sarriera JC, Martínez F. Introdução à Estatística: Enfoque Informático com o Pacote Estatístico SPSS. São Paulo: Artmed; 2004.

BRAGA AC, PEREIRA T de L, de ANDRADE JUNIOR PP. Avaliação de restaurante universitário por meio de indicadores de qualidade. Desenvolvimento em Questão, 2015;13(30):306-326.

CARVALHO LR, AMORIM SL, TAVARES MF. Sistema de indicadores de qualidade como ferramenta de gestão em um restaurante universitário: estudo de caso. In: XXIII Encontro Nacional de Engenharia de Produção; 2003 October 21-24; Ouro Preto; MG; 2003.

DE AYALA RJ. The Theory and Practice of Item Response Theory. New York: Wiley; 2009.

DUARTE, FM; ALMEIDA, SDS de; MARTINS, KA. Alimentação fora do domicílio de universitários de alguns cursos da área da saúde de uma instituição privada. O mundo da Saúde. 2013;37(3):288-298.

EMBRETSON S, REISE SP. Item Response Theory for Psychologists. New Jersey: Lawrence Erlbaum Associates, Inc.  Publishers; 2000.

FONAPRACE [Internet]. Realidade dos RUs em 1997 [cited 2013 jun 24]. Perfil dos Restaurantes Universitários das Instituições de Ensino Superior do País, 1997. Available from: http://www.ufrn.br/sites/fonaprace/rus.html.

FONTANIVE NS, ELLIOT LG, KLEIN R. Os desafios da apresentação dos resultados da avaliação de sistemas escolares a diferentes públicos. REICE - Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación. 2007;5(2).

GARCEZ EMS, FACHIN GRB, ANDRADE JÚNIOR PP. Indicadores da qualidade em restaurantes: um estudo de caso. Revista de Ciências da Administração. 2000;2(3):29–38.

GIERL MJ, ACKERMAN T. Software Review: XCALIBRE™ Marginal Maximum-Likelihood Estimation Program, Windows™ Version 1. 10. Applied Psychological Measurement. 1996;20:303-307.

LORENZO-SEVA U, FERRANDO PJ. [Internet]. Manual of the Program Factor [cited 2014 may 30]. Tarragona, Spain: Departament de Psicologia. Universitat Rovira i Virgili, 2013. Available from: http://psico.fcep.urv.cat/utilitats/factor/documentation/Manual-of-the-Factor-Program-v92.pdf

MOREIRA JUNIOR FDJ, PAFIADACHE C, LOOSE LH, PIAIA R, SCHER VT, PERIPOLLI A, PALM BG. Satisfação dos usuários do restaurante universitário da Universidade Federal de Santa Maria: uma análise descritiva. Revista Sociais e Humanas. 2015;28(2):83-108.

MOREIRA JUNIOR FJ. A utilização da teoria da resposta ao item como ferramenta para a construção de escalas na área de gestão. Revista Gestão Organizacional. 2014a;6:143-159.

MOREIRA JUNIOR FJ. Aplicações da Teoria da Resposta ao Item (TRI) no Brasil. Revista Brasileira de Biometria. 2010;28(4):137-170.

MOREIRA JUNIOR FJ. Contribuições da Teoria da Resposta ao Item nas Avaliações Educacionais. Ciência e Natura. 2014b;36(Edição Especial)58-72.

MOREIRA JUNIOR FJ.  Sistemática para a Implantação de Testes Adaptativos Informatizados baseados na Teoria da Resposta ao Item [thesis]. Florianópolis: Universidade Federal de Santa Catarina/UFSC; 2011. 334 p.

MOREIRA JUNIOR FJ, TEZZA R, BORNIA AC. Estimação da usabilidade de sites e-commerce pelo método da máxima verossimilhança. Ciência e Natura. 2011;33(2):23-42.

PARTCHEV I. Package irtoys: Simple interface to the estimation and plotting of IRT models, 2013. R package version 0.1.6; 2013.

PASSADOR JL, FILHO DOL, SPANHOL PS, RODRIGUES FS, SABES JJS. A percepção do consumidor de alimentos “fora de casa”: um estudo multicaso na cidade de Campo Grande/MS. In: XIII SIMPEP; 2006 nov 6-8; Bauru, SP, Brasil.

OLIVER RL. Satisfaction: A Behavioral Perspective on the Consumer. 2nd ed. New York: McGraw–Hill; 2014.

RECKASE MD. Unifactor Latent Trait Models Applied to Multifactor Tests: Results and Implications. Journal of Educational Statistics. 1979;4(3):207–230.

R DEVELOPMENT CORE TEAM. R: A language and environment for statistical computing. R Foundation for Statistical Computing. Vienna, Austria; 2008.

SIEBENEICHLER T, WIENNINGKAMP D, RUCHEL AP, TROMBINI ES, ZAMBERLAN L. A Satisfação de Clientes de Restaurantes: Uma Avaliação da Satisfação e da Importância dos Atributos. In XI SemeAd; 2008 aug 28-29.

SOLOMON Michael R. O Comportamento do consumidor: comprando, possuindo e sendo. 11ª ed. Bookman Editora; 2016.

TAVARES HR, ANDRADE DF, PEREIRA CA. Detection of determinant genes and diagnostic via item response theory. Genetics and Molecular Biology. 2004;27(4):679-685.

TIMMERMAN ME, LORENZO-SEVA U. Dimensionality Assessment of Ordered Polytomous Items with Parallel Analysis. Psychological Methods. 2011;16:209-220.

TINOCO MAC; RIBEIRO JLD. Estudo qualitativo dos principais atributos que determinam a percepção de qualidade e de preço dos consumidores de restaurantes a la carte. Gestão e produção. São Carlos, SP. 2008;15(1):73-87.

TOIT M. IRT from SSI: BILOG-MG, MULTILOG, PARSCALE, TESTFACT. Scientific Software International; 2003.

TONTINI G, SANT’ANA AJ. Identificação de atributos críticos de satisfação em um serviço através da análise competitiva do gap de melhoria. Gestão e Produção, São Carlos, 2007;14(1):43-54.

VALLE RC. A Construção e a Interpretação de Escalas de Conhecimento – Considerações Gerais e uma Visão do que vem sendo feito no SARESP. Estudos em Avaliação Educacional 2001;(23):71-92.

VENDRAMINI CMM, SILVA MC, CANALE M. Análise de Itens de uma Prova de Raciocínio Estatístico. Psicologia em Estudo. 2004;9(3):487-498.