ESCALAS DE MENSURAÇÃO E ANTECEDENTES MOTIVACIONAIS DE AMBIENTES VIRTUAIS DE APRENDIZADO FOMENTADOS PELA INTELIGÊNCIA ARTIFICIAL

Ana Luize Correa Bertoncini

Universidade do Estado de Santa Catarina

Mauricio C. Serafim

Universidade do Estado de Santa Catarina

mauricio.serafim@udesc.br

Eduardo Henrique de Borba

Universidade do Estado de Santa Catarina

eduardo.borba14@gmail.com

Resumo: A aplicação da Inteligência Artificial (IA) desenvolveu os Ambientes Virtuais de Aprendizado (AVAs) e agregou valor às formas tecnológicas de ensino. Estes ambientes on-line se revelaram essenciais em situações inesperadas, como a pandemia de Coronavírus (COVID-19). Sendo assim, neste artigo, apresenta-se um levantamento bibliográfico sistemático e uma análise semi-sistemática de escalas que avaliam AVAs fomentados pela inteligência artificial, focando nos antecedentes de adoção e na análise das escalas. Os resultados, provenientes das bases de dados Web of Science, Science Direct, Springer Link, Emerald Insight e EBSCO Host, são expostos mediante análise quantitativa descritiva e avaliação comparativa das escalas. Os resultados evidenciaram escassez de escalas que avaliem os AVAs, e os poucos artigos que as fazem carecem de rigor em etapas iniciais de desenvolvimento. Destacou-se também dimensões referentes a percepção dos estudantes que antecedem a adoção destes ambientes virtuais, evidenciando assim elementos determinantes da motivação dos estudantes on-line.

Palavras-chave: Inteligência Artificial; Revisão Sistemática; Ambiente Virtual de Aprendizado; Escala.

MEASUREMENT SCALES AND MOTIVATIONAL BACKGROUND OF VIRTUAL LEARNING ENVIRONMENTS SUPPORTED BY ARTIFICIAL INTELLIGENCE

Abstract: The application of Artificial Intelligence (AI) developed Virtual Learning Environments (VLEs) and added value to technological forms of teaching. These online environments have proved essential in unexpected situations, such as the Coronavirus (COVID-19) pandemic. Therefore, this article presents a systematic bibliographic survey and a semi-systematic analysis of scales that assess AI-enhanced VLEs, focusing on the antecedents of adoption and the analysis of the scales. The results from the Web of Science, Science Direct, Springer Link, Emerald Insight, and EBSCO Host databases are exposed through descriptive quantitative analysis and comparative assessment of the scales. The results showed a scarcity of scales that assess the VLEs, and the few articles that make them lack rigor in the initial stages of development. Dimensions referring to the students' perceptions that precede the adoption of these virtual environments were also highlighted, thus evidencing determinant elements of the motivation of online students.

Keywords: Artificial Intelligence; Systematic review; Virtual Learning Environment; Scale

Introdução

A tecnologia transformou de maneira decisiva as práticas de ensino e aprendizagem. Ferramentas como inteligência artificial (IA), big data, learning analytics e cloud computing são adotadas em diferentes extensões e o resultado pode ser notado em novos ambientes de aprendizado, como o e-learning, m-learning, tele-educação e os ambientes virtuais de aprendizado (AVA). Com isso, vem crescendo também o interesse acadêmico em explorar como essas diferentes inovações tecnológicas podem enriquecer o ensino tradicional e quais os desafios de sua implementação (CHEUNG et al., 2021; RAJESH; REENA, 2015).

Outro fator importante é que, atualmente, a tecnologia faz parte da vida cotidiana dos estudantes (ROBLEK et al., 2019) e a quantidade de informações que têm acesso são de um nível sem precedente (MONDIGO; LAO, 2017). Neste cenário, a IA apresenta a versatilidade necessária (VODENKO; LYAUSHEVA, 2020), pois está proporcionando ao ensino virtual, por exemplo, ferramentas colaborativas, redes neurais artificiais e sistema independentes (JALAL; MAHMOOD, 2019) que melhor se adaptam à realidade atual.

Explorar formas de ensino virtual se tornou ainda mais importante com o novo cenário gerado pela pandemia de COVID-19. Escolas e universidades em mais de 188 países fecharam em abril de 2020, impactando mais de 91% da população de estudantes do mundo (UNESCO, 2021) e forçando a mudança para a modalidade virtual. A rápida transição ressaltou dificuldades para professores e alunos, pois apenas ler um material disponibilizado ou assistir a um professor falando ao vivo por horas pode ser desmotivador e cansativo. Os desafios advindos reforçam antigos estigmas do ensino on-line como uma opção mais débil e de baixa qualidade (HEW et al., 2020).

O cenário pandêmico reacendeu a preocupação com a efetividade do ensino on-line. Essas mudanças na educação estão tornando o ensino centrado no estudante, e não mais no professor (RAJESH; REENA, 2015). Assim, percebe-se que facilitar o acesso às ferramentas não é garantia do aprendizado e, como a participação do estudante se torna essencial, o engajamento passou a ser mais explorado para o entendimento da eficácia da aprendizagem percebida (PANIGRAHI et al., 2020), bem como a intenção, que explica em torno de 70% da variação no comportamento a fim de adotar algum tipo de tecnologia. Mesmo assim, a literatura focada nas motivações para se participar de um ambiente de aprendizagem virtual ainda é esparsa (LI; YU, 2020).

A motivação no ensino on-line é influenciada de maneira diferente do ensino convencional. Enquanto o modelo tradicional depende basicamente da abordagem do design da instrução, a expectativa com o sistema, adoção da tecnologia e usabilidade exercem um papel importante na opção virtual, mostrando que as características da tecnologia devem ser consideradas e são até críticas no alcance da satisfação e intenção de uso (MALDONADO et al., 2009; PANIGRAHI et al., 2020). Por outro lado, a IA tem se tornado um recurso indispensável para o ensino on-line, melhorando os sistemas e imitando capacidades humanas de tutoria que aumentam a integração (YUCE et al., 2019).

Dessa forma, como a qualidade do sistema influencia na motivação e, por consequência, no aprendizado, o objetivo deste artigo é apresentar os resultados de um levantamento bibliográfico sistemático sobre escalas que analisam AVAs fomentados pela inteligência artificial, focando nos antecedentes de adoção dos ambientes virtuais e na análise das escalas de mensuração. Para este propósito, utiliza-se uma apreciação semi-sistemática dos artigos selecionados, antecedida de um referencial teórico sobre os temas abordados nos estudos.

Referencial Teórico

O termo ‘ambiente virtual de aprendizado’ (AVA ou virtual learning environment – VLE) é usado de diferentes maneiras, mas, de forma geral, recomenda-se classificá-lo como um componente em que alunos e tutores participam de variadas interações on-line, incluindo o ensino do tipo e-learning (TOTKOV, 2003). Neste sentido, há dois tipos de e-learning: o processo síncrono, descrito como a experiência de aprendizado em tempo real que permite o estudante interagir e colaborar diretamente com professores, e a opção assíncrona, com menos interações por ser off-line, porém mais vantajoso pela possibilidade de personalização da experiência (JUSOH et al., 2019).

O aprendizado eletrônico - e-learning - é um meio de comunicação para a construção do conhecimento. Surgiu como o sucessor da aprendizagem auxiliada por computador (Computer Aided Learning - CAL), do treinamento auxiliado por computador (Computer Aided training - CAT) e da instrução assistida por computador (Computer Aided Instruction - CAI), incluindo a aprendizagem baseada em computador (Computer Based Learning - CBL), treinamento baseado em computador (Computer Based Training - CBT) e todas as formas de aprendizagem baseada na web. É considerado uma evolução natural dos avanços tecnológicos e vem sendo usado pela educação continuada, educação à distância e escolas e universidades tradicionais (MOISIL, 2008).

O e-learning se tornou possível a partir de 2001, quando as tecnologias de reconhecimento e entrada de voz nos computadores passaram a caracterizar o estágio contemporâneo da evolução do ensino à distância (TOTKOV, 2003). A sua popularidade cresceu à medida que proporciona um tempo de ciclo de entrega reduzido, tem a sobrecarga de informações reduzida e o rastreamento aprimorado e as despesas são mais baixas (PANIGRAHI et al., 2020). Além disso, é mais conveniente para o estudante, à medida que, com acesso à tecnologia necessária, o aprendizado pelo e-learning assíncrono pode acontecer a qualquer momento. Mesmo no processo síncrono, os cursos geralmente são gravados e arquivados para consultas futuras dos estudantes (WELSH e al., 2003).

Entretanto, ao mesmo tempo que oferece muitas oportunidades, traz também alguns desafios (MOISIL, 2008). Por exemplo, a motivação do estudante, que reflete a tendência de encontrar sentido e valor na atividade, passa a ter um papel ainda mais essencial no ensino digital, posto que engloba fatores de usabilidade do sistema e funciona como influenciador na obtenção dos benefícios acadêmicos (MALDONADO et al., 2009). Se por um lado suas ferramentas oferecem mais autonomia, por outro, muitos estudantes relatam baixa motivação em dar continuidade aos estudos. Entre os motivos, destaca-se que o ambiente virtual carece de interações sociais e de orientação e atenção pessoal do instrutor face a face, que podem resultar em sentimentos de isolamento ou desconexão, e baixo envolvimento com o ambiente. Consequentemente, os estudantes precisam ser mais independentes para acompanhar seus estados de aprendizagem e para navegar por quaisquer desafios que surjam durante o processo (GUO et al., 2016). Esses problemas podem diminuir a motivação dos estudantes para se envolverem na aprendizagem on-line e podem, eventualmente, levá-los a abandonar os cursos (GUO et al., 2016; Li; Yu, 2020).

A interação presencial entre as pessoas permite uma imagem da realidade mais rica, a qual é prejudicada nos ambientes virtuais. É por isso que recentes desenvolvimentos na IA têm a tornado um recurso indispensável em ambientes de aprendizado. Um exemplo é o seu uso nos sistemas de tutoria inteligente, que imitam comportamentos e habilidades humanas. Entre seus benefícios, estão o maior entendimento dos assuntos por um sistema personalizado e adaptativo para as necessidades de cada aluno. Além disso, a IA vem sendo usada em sistemas que podem reconhecer, interpretar, processar e simular afetos humanos, simulando a empatia. No contexto do aprendizado, as emoções podem ser usadas para aumentar a atenção do aluno e melhorar a memória e raciocínio, no qual os tutores devem estar preparados para estimular a construção colaborativa do conhecimento ao identificar as emoções dos alunos (ARGUEDAS et al., 2018; YUCE et al., 2019).

O uso de um design de interação é considerado uma alternativa para fomentar o aprendizado, pois permite manter a curiosidade dos alunos e, por conseguinte, motivá-los (MOISIL, 2008). Além disso, no aprendizado mediado pela tecnologia, o engajamento do estudante impacta positivamente o desempenho acadêmico por meio do aprendizado auto direcionado (PANIGRAHI et al., 2020). Neste sentido, os ambientes de aprendizagem virtual são ferramentas inovadoras que realçam a interação dos usuários, algumas vezes avançando da tradicional perspectiva 2D entre aluno e professor para opções digitais que envolvem até uma perspectiva 3D (RAJESH; REENA, 2015).

Além dos fatores comportamentais, a motivação em um ambiente virtual de aprendizado também é influenciada pelas características estruturais do sistema que envolvem usabilidade, intenção para o uso, conhecimento de outras tecnologias, entre outros, para a avaliação de seus possíveis benefícios acadêmicos. Portanto, diferentemente do ensino convencional, que volta seus esforços para o design de ensino, no e-learning também há a preocupação com a qualidade do sistema de informação (SI) (MALDONADO et al., 2009). Yuce et al. (2019) relacionam a qualidade do SI com o programa de software e explicam que os pilares para o seu sucesso são: qualidade do sistema, do conhecimento e do serviço.

Como os estudantes também avaliam o quanto uma ferramenta se encaixa nos seus objetivos – que no caso do ensino por meio da tecnologia é o aprendizado – a satisfação com as aplicações funcionais passa a se relacionar diretamente com a qualidade percebida do sistema. O resultado de um sistema bem-preparado, então, será ajudar a conseguir atingir o objetivo da performance na educação. Como afeta a aceitação, satisfação e, por consequência, os resultados, a qualidade do sistema entra como um dos aspectos desafiadores para os estudos sobre motivação de estudantes em ambientes virtuais de aprendizado. Assim, promover serviços, informações e sistemas eficientes se tornou um dos fundamentos para as estratégias de aprendizado e ensino do século 21 (YUCE et al., 2019).

Metodologia

A fim de analisar escalas que avaliam Ambientes Virtuais de Aprendizado (AVAs) fomentados pela inteligência artificial (IA), focando nos elementos de motivação dos estudantes e na análise das escalas encontradas, procedeu-se uma busca sistemática de termos chaves na base de dados do Periódico Capes. Iniciou-se a pesquisa por queries com termos mais amplos e seus sinônimos, como, por exemplo, “e-learning” OR “virtual learning environment” e “motivation” OR “engagement” OR “student motivation”. Após o refinamento, os descritores foram definidos como “artificial intelligence” AND “virtual learning environment” AND “student motivation”, por serem aqueles que trouxeram o maior número de artigos com aderência à proposta do estudo.

O levantamento bibliográfico foi feito na Web of Science (coleção principal), Science Direct, Springer Link, Emerald Insight e EBSCO Host, selecionadas por serem bases com representatividade na área das Ciências Sociais. Os critérios de elegibilidade para inclusão na amostra foram os artigos de pesquisa publicados em revistas ou eventos que apresentassem escalas ou medida do construto desejado, sem recorte de período temporal e os termos utilizados podiam constar em qualquer parte dos trabalhos. Para aumentar a qualidade da pesquisa e evitar possíveis vieses, utilizou-se o guia PRISMA (MOHER, 2015). O resultado das primeiras etapas pode ser verificado na Tabela 1.

Tabela 1: Procedimentos da busca sistemática de artigos.

ETAPAS	BASES DE DADOS E QUANTIDADE DE ARTIGOS
Coleta Bases de Dados	Web of Science	1
	Science Direct	20
	Springer Link	33
	Emerald Insight	12
	EBSCO Host	25
	Total	91
Filtros	Não duplicados	67
	Selecionados após leitura dos títulos e resumos	14
	Amostra final após leitura completa	6

Fonte: Elaborado pelos autores.

A busca resultou em 91 artigos e, após a exclusão dos duplicados e de cinco publicações que não eram artigos de pesquisa, restaram 67 trabalhos para a etapa de leitura de títulos e resumos. Na leitura completa, oito apresentaram a construção ou validação de uma escala, porém somente seis relacionavam-se com a percepção sobre o sistema do AVA. A importação e gerenciamento dos dados foram feitos com o software Mendeley e a análise dos dados foi feita pelo Excel, pois com o número de dados da amostra não foi possível utilizar ferramentas de análise bibliométrica.

Na análise qualitativa dos estudos na seguinte seção, será descrito brevemente as dimensões e resultados, apresentando a escala elegida pelos autores de cada artigo, bem como a relação do AVA com a IA. Na análise das escalas, utilizou-se as diretrizes para o desenvolvimento de escalas proposto por DeVellis (2012), cujo guia com oito passos apresenta etapas essenciais para a elaboração de uma escala válida e confiável.

Resultados e Discussões

A revisão sistemática é um método que busca identificar pesquisas relevantes para analisar comparativamente seus dados. O objetivo é identificar evidências que se encaixam em critérios de inclusão previamente especificados a fim de combinar os resultados dos diferentes estudos em uma meta-análise. Muito disseminada na área da saúde, encontra alguns obstáculos nas áreas sociais devido às características não controladas e não randômicas dos ensaios (SNYDER, 2019). Este é o caso da amostra deste estudo que, além de pequena (6 artigos), apresenta uma grande variação nos tipos de dados e resultados. Dessa forma, os resultados foram analisados de forma semi-sistemática, no modelo de uma revisão narrativa. Primeiramente são apresentados os dados quantitativos, para um panorama geral dos dados das publicações. Em seguida, realiza-se uma avaliação referente à validade e confiança das escalas utilizadas.

Os artigos foram escritos por seis autores e 13 coautores diferentes, em um total de 19 pesquisadores distintos. O país dos autores principais foram México, Malásia, Peru, Índia, Turquia e Reino Unido, representando dois asiáticos, dois europeus e dois latino-americanos. Além disso, as publicações foram feitas em seis veículos distintos, que em conjunto com as localizações e a não repetição de autores, pode representar uma dispersão na área de estudo. É importante ressaltar que esta conclusão se refere apenas à amostra do estudo e a generalização para os temas abordados (AVA, IA, escalas e motivação de estudantes) deve ser feita somente com uma revisão mais representativa de cada um dos campos.

O artigo mais antigo é do ano de 2009, mas a maior concentração de publicações foi no primeiro semestre de 2020, período em que foram publicados três artigos. Os outros dois foram publicados em 2018 e 2019. Esta tendência pode ser um indicativo de maior interesse por estudos dos AVAs advindo das restrições sanitárias ocorridas durante a pandemia de COVID-19, a qual eclodiu globalmente em dezembro de 2019, e que até o momento determina uma mudança de comportamento de toda a população (HALE et al., 2020).

No Quadro 1, apresenta-se um resumo das dimensões de interesse e precedentes avaliadas e dos resultados dos estudos. Na dimensão de interesse, Cabada et al., (2018) e Maldonado et al. (2009) trabalharam com adoção de tecnologia, Yuce et al. (2019), estudaram a eficiência do sistema de informação, Salam e Farooq (2020) relacionam qualidade, satisfação e uso de sistema, Li e Yu, (2020) falam sobre intenção de continuidade de uso de tecnologia, enquanto Panigrahi et al. (2020) estudam a eficácia percebida no aprendizado on-line. Todos os artigos conseguiram validar, pelo menos em parte, suas hipóteses.

Quadro 1 - Resumo das dimensões e resultados dos estudos avaliados.

REFERÊNCIA	DIMENSÃO DE INTERESSE	DIMENSÕES PRECEDENTES AVALIADAS	RESULTADOS
Cabada et al. (2018)	Intenção de Uso de software de e-learning	Utilidade Percebida; Facilidade de Uso Percebida; Satisfação Percebida; Atitude a Favor do Uso	Satisfação percebida impactou positivamente a Intenção de Uso, e alunos que usam o software obtiveram ganho de aprendizagem maior do que aqueles que aprendem pelo método tradicional.
Li e Yu, (2020)	Intenção de Continuidade de Uso de e-learning	Experiência Anterior; Competência em TI; Autoeficácia; Facilidade de Uso Percebida; Utilidade Percebida; Afeto; Atitude; Uso Real	Intenção dos alunos em retornar ao ambiente de aprendizagem eletrônico está altamente associada à sua atitude e afeto em relação à ferramenta de aprendizagem eletrônica.
Maldonado et al. (2009)	Comportamento de Uso de e-learning	Influência Social; Condições Facilitadoras; Motivação	A motivação dos alunos tem uma influência positiva na adoção de e-learning.
Panigrahi et al. (2020)	Eficácia de Aprendizado Percebida em e-learning	Autoeficácia da Internet; Qualidade da Informação; Qualidade do Sistema; Qualidade do Serviço; Engajamento Comportamental; Engajamento Emocional; Engajamento Cognitivo	Os engajamentos Comportamental, Emocional e Cognitivo impactam positivamente a Eficácia Percebida do aprendizado. Há uma relação positiva entre a Qualidade do Sistema de Informações e o Engajamento no e-learning.
Salam e Farooq (2020)	Benefícios Líquidos do Sistema de Informação de Aprendizagem Colaborativa Baseado na Web (WBCLIS)	Qualidade do Sistema; Qualidade da Informação; Qualidade do Serviço; Qualidade de Sociabilidade; Uso do Sistema; Satisfação do Usuário	A Qualidade da Sociabilidade impacta positivamente no Uso do Sistema e na Satisfação do Usuário, e essas duas últimas dimensões são fortes preditoras dos Benefícios Líquidos do WBCLIS.
Yuce et al. (2019)	Desempenho de Aprendizagem em Sistemas de Tutoria Inteligente (ITS)	Qualidade do Conhecimento; Qualidade do Sistema; Qualidade do Serviço; Ajuste Tarefa-Tecnologia; Satisfação; Motivação.	A Qualidade do Conhecimento, Sistema e Serviço impactam positivamente na Satisfação e melhoram o Ajuste Tarefa-Tecnologia. E a Satisfação do aluno com o ITS aumenta a sua Motivação.

Fonte: Elaborado pelos autores.

Sobre a escala selecionada para o estudo, Cabada et al. (2018) utilizaram o modelo TAM (Technology Acceptance Model) baseado em Davis (1989) para avaliar a usabilidade e a aceitação do sistema. O TAM é um dos modelos mais populares para predição da aceitação de tecnologia (CABADA et al., 2018) e oferece uma escala validada com variáveis consideradas fundamentais para a aceitação: a usabilidade e a facilidade de uso (DAVIS, 1989). O sistema apresentado neste artigo foi um Web-based Intelligent Environment (ILE), que é um tipo de AVA, com um componente de IA no software 3.0 voltado para a recomendação personalizada e automatizada de novos exercícios para cada aluno.

Li e Yu (2020) investigaram os fatores que influenciam as intenções de continuação no uso de ambientes eletrônicos após o uso inicial entre estudantes de graduação. Foram adotadas variáveis emocionais e a experiência prévia no uso de tecnologia. O modelo escolhido também foi o TAM, visto que segue o pressuposto de que a adoção de uma tecnologia depende principalmente do comportamento intencional em usá-la. Diferente de Cabada et al. (2018), Li e Yu (2020) utilizaram análise fatorial confirmatória e um modelo de equações estruturais para avaliar a intenção de uso de wikipages no curso de negócios de sistemas de informação. As wikipages deste estudo faziam parte do Blackboard, um conhecido sistema de gerenciamento de aprendizado com tecnologias proporcionadas pelos avanços da IA como, por exemplo, os chatbots (programa que simula seres humanos em conversas).

Maldonado et al. (2009) ampliaram o modelo de Teoria Unificada de Aceitação e Uso de Tecnologia (Unified Theory of Acceptance and Use of Technology – UTAUT) com a adição da “motivação em e-learning”. Além disso, consideram região e gênero como moderadores. A teoria UTAUT foi proposta por Venkatesh et al. (2003) e busca explicar os precedentes da adoção de sistemas de informações. Outro ponto discutido foi o efeito da influência social e importância do papel dos professores e pares; assim, por considerar a interação e ser um portal fruto de inovações de IA, esse artigo foi incluído nesta amostra. Maldonado et al. (2009) aplicaram o modelo em um contexto da América do Sul (Peru), com alunos do ensino médio. Já na pesquisa de Panigrahi et al. (2020), os autores investigam a eficácia percebida do aprendizado (Perceived Learning Effectiveness – PLE) no contexto de estudantes de graduação na Índia. Estes autores utilizaram um modelo que usa fatores pessoais e ambientais pela ótica da teoria cognitiva social (Social Cognitive Theory - SCT) para entender o PLE e se inspiraram em quatro escalas diferentes. A parte referente à qualidade do sistema foi baseada em Cheng (2014), o qual se fundamenta no modelo de DeLone e McLean (1992), introduzindo uma taxonomia com seis grandes dimensões para estruturar a variável dependente “sucesso do sistema de informação”.

Salam and Farooq (2020) incluíram a qualidade da sociabilidade no modelo de sistema de informação (IS) de DeLone e McLean (2003) para explorar a sua relação com a satisfação do usuário, uso e benefícios totais de um sistema de informação de aprendizagem colaborativa baseado na web (Web-based Collaborative Learning Information System – WBCLIS). O modelo selecionado é uma atualização do popular modelo de DeLone e McLean (1992) feita pelos próprios autores. Assim como no software de Cabada et al. (2018), a IA possibilitou a colaboração entre participantes no WBCLIS, aumentando a interação social e promovendo um ambiente de aprendizado ativo.

Yuce et al. (2019) exploraram algumas nuances da eficiência de um sistema de tutoria inteligente (Intelligent Tutoring System – ITS) na motivação, satisfação e auxílio aos estudantes de graduação na melhoria de sua performance de aprendizado. O sistema de tutoria inteligente é fruto do desenvolvimento da tecnologia que propiciado pela IA, representando uma das ferramentas educacionais suplementares que oferece mais benefícios para professores e estudantes. Ao simular as capacidades de tutores humanos, aumenta a performance de aprendizado para além das salas de aula, além de oferecer um ambiente adaptativo e individualizado. Entre as escalas utilizadas, aquelas relacionadas à qualidade do sistema, do conhecimento e do serviço foram baseadas em Chiu et al. (2007), os quais integraram o sucesso do sistema de informação com a teoria da justiça.

Os seis artigos expostos no Quadro 1 evidenciam a complexidade em torno da avaliação de AVAs. Cada estudo buscou compreender elementos que impactam a adoção das plataformas por parte dos estudantes. Além de procurar entender qual a relação entre os precedentes da adoção de uma nova tecnologia baseada em IA e tecnologia da informação.

Posto individualmente cada artigo, apresenta-se no Quadro 2 uma análise comparativa da elaboração de cada escala de medida. Utiliza-se como embasamento o guia apresentado por DeVellis (2012) cujos passos incluem: (1) Clareza na definição da medida; (2) Geração do conjunto de itens; (3) Escolha do formato de medição adequado; (4) Revisão dos itens por outros especialistas; (4) Avaliação da inclusão de itens de validação; (5) Aplicação de pré-teste; (6) Avaliação da performance individual dos itens e (7) Otimização da escala.

Quadro 2: Avaliação comparativa das escalas, conforme guia de DeVellis (2012).

REFERÊNCIA	CLAREZA	GERAÇÃO DE ITENS	FORMATO	REVISÃO	INCLUSÃO DE ITENS	PRÉ-TESTE	AVALIAÇÃO	OTIMIZAÇÃO DA ESCALA
Cabada et al. (2018)	SIM	X	SIM	X	X	X	X	X
Li e Yu (2020)	SIM	SIM	SIM	X	X	X	SIM	X
Maldonado et al. (2009)	SIM	SIM	SIM	X	X	SIM	X	X
Panigrahi et al. (2020)	SIM	SIM	SIM	X	X	SIM	SIM	X
Salam e Farooq (2020)	SIM	SIM	SIM	X	SIM	SIM	SIM	SIM
Yuce et al. (2019)	SIM	SIM	SIM	X	X	SIM	SIM	X

Fonte: Elaborado pelos autores.

Conforme o quadro comparativo, nenhum artigo cumpriu todas as etapas sugeridas por DeVellis (2012). Contudo, o trabalho de Salam e Farooq (2020) foi o que evidenciou mais etapas. Os procedimentos iniciais de clareza, geração de itens e escolha do formato foram os mais explorados pelos seis artigos. Estes passos são essenciais, uma vez que, pautadas na fundamentação teórica dos estudos, visam gerar uma validade para o conteúdo que é concebido.

A primeira etapa no desenvolvimento de uma escala é a clareza e se refere a expor inteligivelmente o construto a ser medido (DEVELLIS, 2012). A geração de itens foi seguida por todos, menos Cabada et al. (2018) que não explicaram como os itens apresentados no questionário foram desenvolvidos. O formato escolhido por Yuce et al. (2019) foram notas que deveriam ser dadas para cada item no questionário, enquanto os outros autores optaram por escalas do tipo Likert. Dessa forma, a terceira etapa, que é a definição do formato, junto com a primeira etapa, apresentam-se como os únicos passos do guia de Devellis (2012) cumprido em todos os estudos.

A etapa de revisão feita por especialistas não foi incluída por nenhum dos seis artigos avaliados, indicando uma carência no que diz respeito ao acréscimo de validação ao conteúdo. Este pode ser, inclusive, um dos indicativos para o fato de quase todos os autores não terem incluído mais itens: a exceção foi Salam e Farooq (2020). A etapa do pré-teste foi realizada em quatro artigos e apenas Cabada et al. (2018) e Li e Yu, (2020) não a destacaram. Vale ressaltar que, assim como o parecer de especialistas, o pré-teste agrega validação ao conteúdo criado, visto que está fortemente ligado à definição do construto que está sendo examinado (DEVELLIS, 2012).

A sétima etapa é a avaliação dos itens e constitui o cerne do desenvolvimento de uma escala. Este procedimento é feito inicialmente ao verificar a correlação, o escore e a variância, seguidos pela análise fatorial em si e o coeficiente alfa (DEVELLIS, 2012). Esta etapa não foi cumprida por Cabada et al. (2018), que não fizeram uma análise fatorial, e Maldonado et al. (2009), que não realizaram corretamente a análise dos coeficientes alfa. Por fim, a otimização do último passo consiste em avaliar a escolha entre brevidade e confiabilidade para excluir “maus” itens, tendo em vista o tamanho da desejado para a escala. A interpretação de um item como “bom” ou “mau” depende de sua correlação entre os outros itens e o quanto sua exclusão ou manutenção pode aumentar ou diminuir o alfa. Ou seja, se o alfa aumenta ao excluir um item, significa que este é um “mau” item e deve ser excluído na etapa de otimização da escala. A sugestão é dividir a amostra, utilizando uma subamostra no desenvolvimento e ou na replicação (DEVELLIS, 2012, grifos do autor, p. 111). Nos artigos selecionados, somente Salam e Farooq (2020) cumpriram todos estes procedimentos.

Conforme as análises acima, percebe-se que, no geral, a criação inicial dos itens dos instrumentos foi feita de acordo com a forma recomendada pela literatura baseada em DeVellis (2012), seguindo pressupostos em clareza e escolha do formato adequado. Enquanto as etapas seguintes, que incluem validações de conteúdo, inclusões de itens, avaliações específicas e otimização, não foram evidenciadas por todos os autores. Estas etapas são cruciais para a elaboração de uma escala válida e confiável. Vale frisar que a confiabilidade de uma escala mostra até que ponto uma escala produz resultados consistentes, se as medidas são tomadas repetidamente; já a validade diz respeito a sua capacidade de medir aquilo que ela realmente pretende (DEVELLIS, 2012).

Por fim, na Tabela 2, são expostos os dados referentes à abordagem estatística de análise e itens de validação e confiança.

Tabela 2 – Metodologia dos estudos avaliados.

REFERÊNCIA	ABORDAGEM	N	ITENS	ALFA DE CRONBACH	VALIDAÇÃO DE CONTEÚDO
Cabada et al. (2018)	Regressão e Teste t de Student	43	10	0,66 - 0,77	-
Li e Yu (2020)	SEM	122	36	0,88 - 0,96	CFA
Maldonado et al. (2009)	PLS-SEM	150	21	Utilizou Confiabilidade Composta (> 0,93)	EFA e CFA
Panigrahi et al. (2020)	CB-SEM	412	43	0,82 - 0,93	CFA
Salam e Farooq (2020)	PLS-SEM	80	48	0,85 - 0,94	EFA e CFA
Yuce et al. (2019)	CB-SEM	140	36	> 0,7	CFA

Fonte: Elaborado pelos autores.

Nota: SEM: Modelo de Equações Estruturais; PLS-SEM: Modelo de Equações Estruturais por Mínimos Quadrados Parciais; CB-SEM: Modelo de Equações Estruturais baseado em Covariância; EFA: Análise Fatorial Exploratória; CFA: Análise Fatorial Confirmatória.

Com exceção de Cabada et al. (2018), os artigos utilizaram modelagens de equações estruturais em suas pesquisas. A escolha deste método indica que os estudos tinham um caráter mais exploratório (MARÔCO, 2014), além de que este método busca mensurar a relação entre dimensões de um modelo estrutural previamente elaborado.

Apesar de ressaltada como uma das limitações, um ponto negativo, na maioria dos estudos, foi a utilização de uma amostra relativamente pequena. Contudo, os autores afirmam que a quantidade de participantes era suficiente.

Os cinco artigos que aplicaram a modelagem de equações estruturais acertam ao destacar a realização de uma análise fatorial (exploratória ou confirmatória), visto que esta etapa busca gerar uma validade de conteúdo à escala desenvolvida. A análise fatorial auxilia na avaliação da performance individual dos itens, para que apenas os apropriados permaneçam e constituam a escala (DEVELLIS, 2012). Além disso, foi percebido que todos os autores buscaram ressaltar a presença de confiabilidade de consistência interna, por meio do cálculo do Alfa de Cronbach ou do índice de Confiabilidade Composta. De acordo com DeVellis (2012), estes fatores indicam a homogeneidade dos itens dentro das dimensões e são essenciais para o destaque de uma escala coerente.

Apesar da carência no realce de alguns pontos importantes para o desenvolvimento de escalas, os seis estudos extraídos do levantamento bibliográfico sistemático apresentaram passos essenciais que evidenciam validade e confiança em escalas. De acordo com análise de diferentes AVAs, os autores buscaram elaborar escalas coerentes com a fundamentação teórica apresentada, bem como firmadas em significância estatística.

É natural que a elaboração de uma escala, composta por diversos itens, siga algumas etapas. Primeiro, deve-se buscar clareza na definição do que se quer medir; em seguida há a necessidade de se criar um conjunto de itens, junto a escolha de um formato adequado de medição; após isso, busca-se uma revisão por outros especialistas, uma possível inclusão de itens de validação e a realização de pré-teste; seguidos de uma avaliação da performance individual dos itens; e, por fim, deve-se otimizar a escala de modo que ela seja de fato confiável e válida. A confiabilidade mostra até que ponto uma escala produz resultados consistentes, se as medidas são tomadas repetidamente; já a validade de uma escala diz respeito à sua capacidade de medir aquilo que ela pretende (DEVELLIS, 2012).

Conclusões

A proposta central deste estudo foi analisar escalas que avaliam Ambientes Virtuais de Aprendizado (AVAs) fomentados pela inteligência artificial (IA), focando nos elementos de motivação dos estudantes e na análise das escalas encontradas. Como resultado da busca sistemática de literatura, foram apresentados seis artigos. Apesar da evidente carência de pesquisas na área, os artigos encontrados foram capazes de elucidar a relevância da IA como um complemento às tecnologias de aprendizado, além de destacar os precedentes da adoção de AVAs e os autores de referência no assunto. Diversos fatores ligados a motivação dos estudantes on-line emergiram: experiência anterior, competência em tecnologia, autoeficácia, facilidade de uso percebida, utilidade percebida, dentre outros, os quais evidenciam a complexidade em torno da aprendizagem em ambientes virtuais.

Em relação à IA, cinco artigos – Cabada et al. (2018), Li e Yu (2020), Panigrahi et al. (2020), Salam e Farooq (2020) e Yuce et al. (2019) – trouxeram soluções em que a IA aparece como ferramenta para promover a interação com os estudantes. A falta de interações sociais e o baixo envolvimento vem sendo apontado como uma das causas para a baixa motivação em ambientes virtuais (GUO et al., 2016). Neste sentido, a IA tem se mostrado uma ferramenta indispensável, estimulando a construção colaborativa de conhecimento e funcionando como tutor e sistema inteligentes (ARGUEDAS et al., 2018; YUCE et al., 2019). Portanto, o fato destes autores trazerem a IA como uma ferramenta colaborativa e de interação vem ao encontro das evidências já exploradas na literatura. Em outra linha, está a publicação de Maldonado et al. (2009), cujo estudo investiga a motivação em um portal decorrente de evoluções tecnológicas e que visa a modernização da educação. Neste caso, relaciona-se com a IA por ser uma inovação fomentada por ela e que visa também a sua disseminação.

Quando se analisa os ambientes virtuais de aprendizado em si, estudos anteriores já apontavam que fatores como a qualidade do sistema de informação tem um efeito positivo na percepção dos estudantes, motivando-os a utilizar esta tecnologia para o aprendizado (YUCE et al., 2019). Neste sentido, o estudo de escalas que analisem AVAs é de suma importância para a avaliação da performance deste método de ensino. Nos seis artigos analisados nesta revisão, pôde-se verificar a existência de uma relação positiva entre a percepção do usuário referente aos AVAs e a adoção destas tecnologias específicas.

Em relação às escalas desenvolvidas nos seis artigos analisados, evidenciou-se a necessidade de maior rigor no que diz respeito às etapas iniciais de elaboração. DeVellis (2012) destaca oito etapas consideradas essenciais para a criação de uma escala confiável e válida. Contudo, nenhum dos seis artigos apresentou todas estas etapas em suas respectivas pesquisas. Apesar disso, foi possível apontá-las separadamente, de forma que pudessem ser mais bem compreendidas. Toda escala deve ser precisa e aplicável, e é apenas por meio da avaliação da confiabilidade e validade que os pesquisadores podem afirmar que suas conclusões são pertinentes. Sendo assim, é importante ressaltar que a preocupação em executar os passos iniciais de desenvolvimento de um instrumento de medida é essencial para gerar uma escala precisa e coerente.

No contexto teórico, este artigo contribui ao destacar etapas cruciais para o desenvolvimento de escalas que analisam AVAs e a motivação de seus estudantes. Destaca-se a contribuição gerencial ao identificar elementos referentes ao perfil perceptivo dos estudantes de AVAs, o que tem se mostrado crucial para gerenciamento de estratégias de aplicação destas plataformas. E na conjuntura acadêmica, contribui-se para investigação de um tema pouco explorado, mas recorrente nos tempos atuais de pandemia. Como pesquisa futura, indica-se a exploração de escalas ligadas a outras influentes áreas da IA, como machine learning, learning analytics, sistemas de tutoria inteligentes (intelligent tutoring systems), redes neurais artificiais (artificial neural network) e sistemas inteligentes do tipo smart, entre outros.

Referências

ARGUEDAS, M.; XHAFA, F.; CASILLAS, L.; DARADOUMIS, T.; PEÑA, A.; CABALLÉ, S. A model for providing emotion awareness and feedback using fuzzy logic in online learning. Soft Computing, v. 22, p. 963–977, 2018.

CABADA, R.Z.; ESTRADA, M.L.B.; HERNÁNDEZ, F.G.; BUSTILLOS, R.O.; REYES-GARCÍA, C.A. An affective and Web 3.0-based learning environment for a programming language. Telematics and Informatics, v. 35, p. 611–628, 2018.

CHENG, Y.-M. Extending the expectation-confirmation model with quality and flow to explore nurses’ continued blended e-learning intention. Information, Technology & People, v. 27, p. 230–258, 2014.

CHEUNG, S.K.S.; KWOK, L.F.; PHUSAVAT, K.; YANG, H.H. Shaping the future learning environments with smart elements: challenges and opportunities. International Journal of Educational Technolology in Higher Education, v. 18, p. 1–9, 2021.

CHIU, C.M.; CHIU, C.S.; CHANG, H.C. Examining the integrated influence of fairness and quality on learners’ satisfaction and Web-based learning continuance intention. Information Systems Journal, v. 17, p. 271–287, 2007.

DAVIS, F. D. Perceived Usefulness, Perceived Ease of Use, and User Acceptance of Information Technology. MIS Quarterly, v. 13, p. 319–340, 1989.

DELONE, W.H.; MCLEAN, E.R. Information Systems Success: The Quest for the Dependent Variable. Information Systems Research, v. 3, p. 60–95, 1992.

DELONE, W.H.; MCLEAN, E.R. The DeLone and McLean model of information systems success: A ten-year update. Journal of Management Information System, v. 19, p. 9–30, 2003.

DEVELLIS, R. F. Scale development: theory and application. 3^rd ed. Beverly Hills, CA: Sage Publications, 2012.

GUO, Z.; XIAO, L.; VAN TOORN, C.; LAI, Y., SEO, C. Promoting online learners’ continuance intention: An integrated flow framework. Information & Management, v. 53, p. 279–295, 2016.

HALE, T.; ANGRIST, N.; CAMERON-BLAKE, E.; HALLAS, L.; KIRA, B.; MAJUMDAR, S.; PETHERICK, A.; PHILLIPS, T.; TATLOW, H.; WEBSTER, S. Variation in government responses to COVID-19. BSG Blavatnik School Working Paper. University of Oxford Version 8.0, 2020.

HEW, K.F.; JIA, C.; GONDA, D.E.; BAI, S. Transitioning to the “new normal” of learning in unpredictable times: pedagogical practices and learning performance in fully online flipped classrooms. International Journal of Educational Technology in Higher Education, v. 17, 2020.

JALAL, A.; MAHMOOD, M. Students’ behavior mining in e-learning environment using cognitive processes with information technologies. Education and Information Technology, v.24, p. 2797–2821, 2019.

JUSOH, S.; ALMAJALI, S.; ABUALBASAL, A. A study of user experience for e-learning using interactive online technologies. Journal of Theoretical and Applied Information Technology, v. 97, p. 4036–4047, 2019.

LI, H.; YU, J. Learners’ continuance participation intention of collaborative group project in virtual learning environment: an extended TAM perspective. Journal of Data, Information and Management, v. 2, p. 39–53, 2020.

MALDONADO, U.P.T.; KHAN, G.F.; MOON, J.; RHO, J. J. E-learning motivation, students’ acceptance/use of educational portal in developing countries: A case study of Peru. In: ICCIT 2009 - 4th INTERNATIONAL CONFERENCE ON COMPUTER SCIENCES AND CONVERGENCE INFORMATION TECHNOLOGY, Seoul, Korea (South), 2009. Anais... Seoul: 2009, p. 1431-1441.

MARÔCO, J. Análise de equações estruturais: Fundamentos te ricos, software & aplicações. 2 ed. Portugal: Report Number Lda, 2014.

MOHRER, et al. Principais itens para relatar Revisões sistemáticas e Meta-análises: A recomendação PRISMA. Epidemiol. Serv. Saúde. Brasília, V.24, n. 2, abr-jun. 2015.

MOISIL, I. I. A model of the student behaviour in a virtual educational environment. International Journal of Computer, Communications and Control, v. 3, p. 108–115, 2008.

MONDIGO, L.; LAO, D.M. E-learning for introductory Computer Science concept on recursion applying two types of feedback methods in the learning assessment. Asian Associate Open University Journal, v. 12, p. 218–229, 2017.

PANIGRAHI, R.; SRIVASTAVA, P.R.; PANIGRAHI, P.K. Effectiveness of e-learning: the mediating role of student engagement on perceived learning effectiveness. Information, Technology & People, v. 34, n. 7, p. 1840-1862, 2020.

RAJESH, R.; REENA, M. A review on worksystem interactions in a technology enabled classroom. International Journal of Technology Enhanced Learning, v. 7, p. 99–115, 2015.

ROBLEK, V.; MESKO, M.; DIMOVSKI, V.; PETERLIN, J. Smart technologies as social innovation and complex social issues of the Z generation. Kybernetes, v. 48, p. 91–107, 2019.

SALAM, M.; FAROOQ, M.S. Does sociability quality of web-based collaborative learning information system influence students’ satisfaction and system usage? International Journal of Educational Technololy in Higher Education, n. 17, 2020.

SNYDER, H. Literature review as a research methodology: An overview and guidelines. Journal of Business Research, v. 104, p. 333–339, 2019.

TOTKOV, G. Virtual learning environments: towards new generation. In: 4th International Conference On Computer Systems And Technologies: E-Learning - COMPSYSTECH, 2003. Anais... New York: Association for Computing Machinery, 2003, p. 8–16.

UNESCO. COVID-19 educational disruption and response. 2021. Disponível em: https://en.unesco.org/themes/education-emergencies/coronavirus-school-closures. Acesso em: 14 abr. 2021.

VENKATESH, V.; MORRIS, M.G.; DAVIS, G.B.; DAVIS, F.D. User Acceptance of Information Technology: Toward a Unified View. MIS Quarterly, v. 27, p. 425–478, 2003.

VODENKO, K. V; LYAUSHEVA, S.A. Science and education in the form 4.0: public policy and organization based on human and artificial intellectual capital. Journal of Intellectual Capital, v. 21, p. 549–564, 2020.

WELSH, E. T.; WANBEERG, C. R.; BROWN, K. G.; SIMMERING, M. J. E-learning: emerging uses, empirical results and future directions. International Journal of Training and Development, v. 7, n. 4, p. 245-258, 2003.

YUCE, A.; ABUBAKAR, A.M.; ILKAN, M. Intelligent tutoring systems and learning performance: Applying task-technology fit and IS success model. Online Information Review, v. 43, p. 600–616, 2019.