AVALIAÇÃO DE SOFTWARES EDUCACIONAIS COM ÊNFASE EM JOGOS: UM PANORAMA DA LITERATURA
Keywords:
Software educacional, Avaliação, Jogo educacional, Revisão da literatura.Abstract
Softwares educacionais estão sendo utilizados em diferentes níveis de ensino com o objetivo de auxiliar professores e estudantes no processo de ensino e aprendizagem. Assim, escolher um software educacional para levar para a sala de aula não é uma tarefa fácil, devido a diversidade de sistemas existentes e a insuficiência de evidências científicas sobre seus benefícios. Desse modo, é importante avaliá-los para obter evidências sobre sua qualidade. No entanto, algumas abordagens genéricas para a sua avaliação não consideram aspectos específicos de determinados tipos de softwares como jogos, aplicativos de celular etc. Assim, há a necessidade de utilizar abordagens desenvolvidas com o objetivo de avaliar os critérios, aspectos e especificidades de cada tipo de sistema. Nesse contexto, o objetivo deste artigo é apresentar um panorama sobre a literatura de avaliação de softwares educacionais, com ênfase em jogos, por meio de um mapeamento sistemático da literatura. Os resultados indicam que existem poucas abordagens que fornecem um suporte sistemático para avaliações de jogos. A maioria delas são frameworks e não métodos abrangentes, indicando uma falta de apoio em como conduzir as avaliações. Uma abordagem de avaliação se destaca dentre as encontradas, por ter sido desenvolvida e avaliada de forma sistemática, adotando um rigor científico nas avaliações de jogos e apresentando evidências de sua validade e confiabilidade.
Downloads
References
ABDELLATIF, Abdelbaset J.; MCCOLLUM, Barry; MCMULLAN, Paul. Serious Games: Quality Characteristics Evaluation Framework and Case Study. IEEE Integrated STEM Education Conference (ISEC), Princeton, p. 112-119, 2018.
ACM; IEEE-CS. Computer Science Curricula 2013: Curriculum Guidelines for Undergraduate Degree Programs in Computer Science. 2013. Disponível em: https://www.acm.org/binaries/content/assets/education/cs2013_web_final.pdf. Acesso em: 10 mar. 2015.
ACUÑA, Silvia T.; FERRÉ, Xavier. Software Process Modelling. ISAS-SCI, Orlando, p. 1-6, 2001.
AK, Oguz. A Game Scale to Evaluate Educational Computer Games. Procedia - Social and Behavioral Sciences, v. 46, p.2 477-2481, 2012.
ARDITO, Carmelo et al. An approach to usability evaluation of e-learning applications. Universal Access in the Information Society, v. 4, n. 3, p. 270–283, 2006.
BASILI, Victor R.; CALDIEIRA, Gianluigi; ROMBACH, Dieter H. Goal Question Metric Paradigm. Encyclopedia of Software Engineering, v. 1, p. 528–532, 1994.
BRITO, Cristina L.; ALMEIDA, Iolanda A.C.; CAVALCANTI, Lialda B. O que se avalia e o que é preciso avaliar em um Software Educativo? Anais do Workshop de Informática na Escola, Porto Alegre, v. 1, n. 1, p. 334-344, 2003.
CALDERÓN Alejandro; RUIZ Mercedes. A Systematic Literature Review on Serious Games Evaluation: an Application to Software Project Management. Computers & Education, v. 87, p. 396-422, 2015.
CARVALHO, Carlos V. Is game-based learning suitable for engineering education? Proceedings of the 2012 IEEE Global Engineering Education Conference (EDUCON), Marrakech, p. 1-8, 2012.
CHEW, Boon-Seng. An efficient framework for game-based learning activity. 2017 IEEE 6th International Conference on Teaching, Assessment, and Learning for Engineering (TALE), Hong Kong, p. 147-150, 2017.
CONNOLLY, Thomas M.; STANSFIELD, Mark H.; HAINEY, Thomas. Development a General Framework for Evaluating Games-based learning. Proceedings of the 2nd European conference on games-based learning. Universitat Oberta de Catalunya Barcelona, p. 105-114, 2008.
CONNOLLY, Thomas M.; STANSFIELD, Mark. H.; HAINEY, Thomas. Towards the development of a games-based learning evaluation framework. Games-based learning advancements for multi-sensory human computer interfaces: Techniques and effective practices,Hershey, p. 251-273, 2009.
COOMANS, Stéphanie; LACERDA, Gilberto S. Petese, a Pedagogical Ergonomic Tool for Educational Software Evaluation. Procedia Manufacturing, v. 3, p. 5881-5888, 2015.
DEVELLIS, Robert F. Scale development: theory and applications. 4ª ed. Los Angeles: SAGE, 2016.
FLEURY, Afonso; SAKUDA, Luiz O.; CORDEIRO; José H. D. O. 1º Censo da Indústria Brasileira de Jogos Digitais. São Paulo: GEDIGames, NPGT, Escola Politécnica, 2014. Disponível em: http://www.bndes.gov.br/SiteBNDES/bndes/bndes_pt/Galerias/Arquivos/conhecimento/seminario/seminario_mapeamento_industria_games042014_RelApoioCensoIndustriaBrasileiradeJogos.pdf. Acesso em: 21 jan. 2020.
FRANCH, Xavier; CARVALLO, Juan P. Using quality models in software package selection. IEEE Software, v. 20, n. 1, p. 34-41, 2003.
FREITAS, Sara; OLIVER, Martin. How can exploratory learning with games and simulations within the curriculum be most effectively evaluated? Computers & Education, v. 46, n. 3, p. 249-264, 2006.
FU, Fong-Ling; SU, Rong-Chang; YU, Sheng-Chin. EGameFlow: A scale to measure learners' enjoyment of e-learning games. Computers & Education, v. 52, n. 1, p. 101-112, 2009.
GARCIA-MUNDO, Lilia; GENERO, Marcela; PIATTINI, Mario.Towards a Construction and Validation of a Serious Game Product Quality Model. 7ª International Conference on Games and Virtual Worlds for Serious Applications (VS-Games), Skovde, p. 1-8, 2015.
HADDAWAY, Neal R. et al. The role of Google Scholar in evidence reviews and its applicability to grey literature searching. PloS one, v. 10, n. 9, p. e0138237, 2015.
HAINEY, Thomas; CONNOLLY, Thomas M.; BOYLE, Liz A. A Refined Evaluation Framework for Games-based Learning. Proceedings of the 4ª European conference on games based learning, Copenhagen, p 1-11, 2010.
INTERNATIONAL STANDARD ORGANIZATION (ISO). ISO/IEC 25010: Systems and software engineering – Systems and software Quality Requirements and Evaluation (SQuaRE) – System and software quality models, Tech. Rep., 2011.
KIMBERLIN, Carole L.; WINTERSTEIN, Almut G. Validity and reliability of measurement instruments used in research. American Journal of Health-System Pharmacy, v. 65, n. 23, p. 2276-84, 2008.
KITCHENHAM, Barbara; PFLEEGER, Shari L.; FENTON, Norman. Towards a Framework for Software Measurement Validation. IEEE Transactions on Software Engineering, v. 21, n. 12, p. 929-944, 1995.
LIMA, Jefferson F. et al. Quali-EDU: Um processo de avaliação da qualidade de software educacional. Simpósio Brasileiro de Informática na Educação, v. 26, n.1, p. 229-238, 2015.
LYRAS, Dimitrios P. et al. Educational Software Evaluation: A Study from an Educational Data Mining Perspective. The International Journal of Multimedia & Its Applications, v. 6, n.3, p. 1-20, 2014.
MAYER, Igor et al. A Brief Methodology for Researching and Evaluating Serious Games and Game-Based Learning. Psychology, Pedagogy, and Assessment in Serious Games, p.357-393, 2013.
MAYER, Igor et al. The research and evaluation of serious games: Toward a comprehensive methodology, British Journal of Educational Technology, v. 45, n. 3, p. 502-527, 2014.
MAYER, Igor. Towards a Comprehensive Methodology for the Research and Evaluation of Serious Games, Procedia Computer Science, v. 15, p. 233-247, 2012.
NESBIT, John C.; BELFER, Karen; LEACOCK, Tracey. Learning object review instrument (LORI). E-learning research and assessment network, 2003.
PASQUALI, Luiz; PRIMI, Primi. Fundamentos da Teoria da Resposta ao Item –TRI. Avaliação Psicológica: Interamerican Journal of Psychological Assessment, v. 2, n. 2, p. 99-110, 2003.
PEREIRA, Wendell S. et al. Avaliação de Software Educativo: Análise de Abordagens para Definição de Diretrizes. Nuevas Ideas en Informática Educativa. Santiago do Chile, p. 557-562, 2016.
PETERSEN, Kai; VAKKALANKA, Sairam; KUZNIARZ, Ludwik. Guidelines for conducting systematic mapping studies in software engineering: an update. Information Software Technology. V. 64, p. 1–18, 2015.
PETRI, Giani, WANGENHEIM, Christiane G. V. A Method for the Evaluation of the Quality of Games for Computing Education. Anais dos Workshops do Congresso Brasileiro de Informática na Educação, v. 8, n. 1, p. 951, 2019.
PETRI, Giani; WANGENHEIM, Christiane G. V. How to evaluate educational games: a systematic literature review. Journal of Universal Computers Science, v. 22, n. 7, p. 992-1021, 2016.
PETRI, Giani; WANGENHEIM, Christiane G. V.; BORGATTO, Adriano F. MEEGA+, Systematic Model to Evaluate Educational Games. Encyclopedia of Computer Graphics and Games, v. 3, p. 1-7, 2018.
SAVI, Rafael; WANGENHEIM, Christiane G. V.; BORGATTO, Adriano F. A Model for the Evaluation of Educational Games for Teaching Software Engineering. 25º Brazilian Symposium on Software Engineering, p. 194–203, 2011.
WOHLIN, Claes et al. Experimentation in Software Engineering. Hidelberg: Springer, 2012.
Published
How to Cite
Issue
Section
License
Autores que publicam nesta revista concordam com os seguintes termos:
- Autores mantém os direitos autorais e concedem à revista o direito de primeira publicação, com o trabalho simultaneamente licenciado sob a Licença Creative Commons Attribution que permite o compartilhamento do trabalho com reconhecimento da autoria e publicação inicial nesta revista.
- Autores têm autorização para assumir contratos adicionais separadamente, para distribuição não-exclusiva da versão do trabalho publicada nesta revista (ex.: publicar em repositório institucional ou como capítulo de livro), com reconhecimento de autoria e publicação inicial nesta revista.
- Autores têm permissão e são estimulados a publicar e distribuir seu trabalho online (ex.: em repositórios institucionais ou na sua página pessoal) a qualquer ponto antes ou durante o processo editorial, já que isso pode gerar alterações produtivas, bem como aumentar o impacto e a citação do trabalho publicado, com reconhecimento de autoria e publicação inicial nesta revista.
