THE USE OF EXPLAINABLE ARTIFICIAL INTELLIGENCE AS A TOOL TO UNDERSTAND AUTOMATED DECISIONS

A POSSIBLE WAY TO INCREASE THE LEGITIMITY AND RELIABILITY OF ALGORITHMIC MODELS?

Authors

DOI:

https://doi.org/10.5902/1981369469329

Keywords:

deep learning, Artificial Intelligence, explainable artificial intelligence, machine learning

Abstract

Considering that the lack of transparency in artificial intelligence (AI) models represents a risk for its application in sensitive areas, this work aims to investigate explainable artificial intelligence (XAI), which is dedicated to providing satisfactory explanations about algorithmic model decisions. From a review of current literature on the subject, an inductive analysis is undertaken. It is concluded that XAI must be a constitutive element of the transparency of AI systems, since it acts as an important counterweight to opacity, transforming algorithmic “black boxes” into “glass boxes”. In this sense, the creation of more transparent and interpretable systems should be considered and encouraged in the formulation of public policies, in order to increase the legitimacy of decisions produced by intelligent systems.

Downloads

Download data is not yet available.

Author Biographies

Dierle José Coelho Nunes, Universidade Federal de Minas Gerais

Doutor em direito processual (PUC/MG - Università degli Studi di Roma “La Sapienza”). Mestre em direito processual (PUC/MG). Professor permanente do PPGD da PUC/MG e colaborador do PPGD da UFMG. Professor adjunto na PUC/MG e na UFMG. Secretário Adjunto do Instituto Brasileiro de Direito Processual. Membro fundador do ABDPC. Membro da International Association of Procedural Law, Instituto Iberoamericano de Derecho Procesal, Instituto Panamericano de Derecho Procesal. Diretor executivo do Instituto de Direito Processual–IDPro. Membro da Comissão de Juristas que assessorou no Novo Código de Processo Civil na Câmara dos Deputados. Diretor do Instituto de Direito e Inteligência Artificial (IDEIA). Advogado sócio de CRON Advocacia. 

Otávio Morato de Andrade, Universidade Federal de Minas Gerais

Doutorando em Direito na UFMG. Mestre em Direito pela UFMG. Pós-graduado em Direito Civil pela PUC/MG. Bacharel em Direito pela UFMG. Bacharel em Ciências Contábeis pela PUC/MG e Bacharel em Administração pela PUC/MG. Advogado inscrito na OAB/MG. Autor do livro 'Governamentalidade algorítmica: democracia em risco?', além de diversos artigos nas áreas de Direito Civil, bioética, tecnologia, inovação, inteligência artificial e economia comportamental. Membro da Comissão de Inteligência Artificial da OAB/MG, sob presidência do Dr. Dierle Nunes. Membro do grupo de estudos SIGA/UFMG, sob coordenação do Prof. Dr. Marco Antônio de Sousa Alves. Ministrou oficinas e palestras no campo do Direito Civil. É editor-chefe da Revista do CAAP, no âmbito da Faculdade de Direito da UFMG. 

References

AIKINS, Janice. Prototypes and production rules: a knowledge representation for computer consultations. 1980. 112 f. Tese (Doutorado em Ciência da Computação) – Departament of Computer Science, Stanford University, California. 1980. Disponível em: https://apps.dtic.mil/sti/pdfs/ADA091177.pdf. Acesso em: 17 jun. 2023.

ALVES, Marco Antônio Sousa. Cidade inteligente e governamentalidade algorítmica: liberdade e controle na era da informação. Philósophos, Goiânia, v. 23, n. 2, 2019. Disponível em: https://revistas.ufg.br/philosophos/article/view/52730. Acesso em: 17 jun. 2023.

ALVES, Marco Antônio Sousa; ANDRADE, Otávio Morato. Da “caixa-preta” à “caixa de vidro”: o uso da Explainable Artificial Intelligence (XAI) para reduzir a opacidade e enfrentar o enviesamento em modelos algorítmicos. Revista de Direito Público, Brasília, v. 18, n. 100, 2022. Disponível em: https://www.portaldeperiodicos.idp.edu.br/direitopublico/article/view/5973. Acesso em: 17 jul. 2023.

ANDRADE, Otávio Morato de. Governamentalidade algorítmica: democracia em risco? 1. ed. São Paulo: Dialética, 2022.

ARENS, Bob. Cognitive computing: under the hood. Thomson Reuters, [s.l.], Jan. 2017.

ARRIETA, Alejandro et al. Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI. Information Fusion, [s.l.], v. 58, 2019. Disponível em: https://arxiv.org/abs/1910.10045. Acesso em: 17 jun. 2023.

BARZILAY, Regina et al. A new approach to expert system explanations. Associoation for Computational Linguistics, Canadá, v. natual language generation, 1998. Disponível em: https://aclanthology.org/W98-1409/. Acesso em: 18 jun. 2023.

BRASIL. Projeto de Lei n. 21 de 2020. Estabelece pincípios, direitos e deveres para o uso de inteligência artificial no Brasil, e dá proviências. Brasília: Câmara dos Deputados, [2020]. Disponível em: https://www.camara.leg.br/propostas-legislativas/2236340. Acesso em: 18 jun. 2023.

BURRELL, Jenna. How the machine ‘thinks’: Understanding opacity in machine learning algorithms. Big Data & Society, [s.l.], jan.–jun., 2016.

CONSELHO NACIONAL DE JUSTIÇA (CNJ). Resolução n. 332, de 21 de agosto de 2020. Dispõe sobre a ética, a transparência e a governança na produção e no uso de Inteligência Artificial no Poder Judiciário e dá outras providências. Brasília: Conselho Nacional de Justiça, [2020]. Disponível em: https://atos.cnj.jus.br/atos/detalhar/3429. Acesso em: 18 jun. 2023.

ESTEVA, Andre et al. Dermatologist-level classification of skin cancer with deep neural networks. Nature, [s.l.], n. 542, p. 115–118, 2017. Disponível em: https://pubmed.ncbi.nlm.nih.gov/28117445/. Acesso em: 18 jun. 2023.

EXPLAINING decisions made with AI. ICO - INFORMATION COMMISSIONER’S OFFICE. Londres, 2020. Disponível em: https://ico.org.uk/for-organisations/uk-gdpr-guidance-and-resources/artificial-intelligence/explaining-decisions-made-with-artificial-intelligence/. Acesso em: 18 jun. 2023.

GUNNING, David. Explainable Artificial Intelligence (XAI) DARPA/I2O. DARPA - Defense Advanced Research Projects Agency, [s.l.], 2016. Disponível em: https://www.cc.gatech.edu/~alanwags/DLAI2016/(Gunning)%20IJCAI-16%20DLAI%20WS.pdf. Acesso em: 18 jun. 2023.

HIDDEN LAYER. DeepAI, [s.l.]. Disponível em: https://deepai.org/machine-learning-glossary-and-terms/hidden-layer-machine-learning. Acesso em: 18 jun. 2023.

KERNS, Michael; ROTH, Aaron. The etichal algorithm: the science of socially aware algorithm design. Oxford University Press, 2020.

MARCUS, Gary; DAVIS, Ernest. How to build artificial intelligence we can trust. The New York Times, [s.l.], 6 de setembro de 2019. Disponível em: https://www.nytimes.com/2019/09/06/opinion/ai-explainability.html. Acesso em: 18 jun. 2023.

MOLNAR, Christoph. Interpretable machine learning: a guide for making black box models explainable. [S.l.], 2023. Disponível em: https://christophm.github.io/interpretable-ml-book/index.html. Acesso em: 18 jun. 2023.

MORAIS, Fausto Santo de. O uso da inteligência artificial na repercussão geral: desafios teóricos e éticos. Revista de Direito Público, Brasília, v. 18, n. 100, p. 306-326, 2021. Disponível em: https://www.portaldeperiodicos.idp.edu.br/direitopublico/article/view/6001/pdf. Acesso em: 18 jun. 2023.

MOROZOV, Evgeny. Big tech: a ascensão dos dados e a morte da política. São Paulo: Ubu, 2018.

NUNES, Dierle José Coelho; ANDRADE, Otávio. A explicabilidade da inteligência artificial e o devido processo tecnológico. Revista Conjur, São Paulo, 7 de julho de 2021. Disponível em: https://www.conjur.com.br/2021-jul-07/opiniao-explicabilidade-ia-devido-processo-tecnologico. Acesso em: 18 jun. 2023.

NUNES, Dierle José Coelho; MARQUES, Ana Luiza. Inteligência artificial e direito processual: vieses algorítmicos e os riscos de atribuição de função decisória às máquinas. Revista de Processo, São Paulo, v. 43, p. 421–447, nov. 2018. Disponível em: https://bd.tjdft.jus.br/jspui/handle/tjdft/43025. Acesso em: 18 jun. 2023.

OSÓRIO, Fernando. Redes Neurais - Aprendizado Artificial. Forum de I.A. [S.l.]. Disponível em: http://osorio.wait4.org/oldsite/IForumIA/fia99.pdf. Acesso em: 18 jun. 2023.

PAPANTONIS, Ioannis; BELLE, Vaishak. Principles and practice of explainable machine learning. ArXiv, [s.l.], v. 1, set. 2020. Disponível em: https://arxiv.org/pdf/2009.11698.pdf. Acesso em: 18 jun. 2023.

PREECE, Alun. Asking ‘Why’ in ai: explainability of intelligent systems – perspectives and challenges. Intelligent Systems, [s.l.], 2018. Disponível em: https://onlinelibrary.wiley.com/doi/abs/10.1002/isaf.1422. Acesso em: 18 jun. 2023.

RIBEIRO, Marco Túlio; SINGH Sameer; GUESTRIN, Carlos. “Why should i trust you?” explaining the predictions of any classifier. arXiv, [s.l.], v. 1, fev. 2016. Disponível em: https://cardiacmr.hms.harvard.edu/files/cardiacmr/files/ribeiro_et_al._arxiv_2016.pdf. Acesso em: 18 jun. 2023.

ROUVROY, Antoinette; BERNS, Thomas. Governamentalidade algorítmica e perspectivas de emancipação: o díspar como condição de individuação pela relação? Revista Eco Pós, v. 18, n. 2, p. 35-56, 2015. Disponível em: https://revistaecopos.eco.ufrj.br/eco_pos/article/view/2662. Acesso em: 18 jun. 2023.

RUSSEL, Stuart; NORVIG, Peter. Artificial intelligence: a modern approach. New Jersey: Prentice-Hall, 1995.

SILVER, David et al. Mastering the game of go without human knowledge. Nature, [s.l.], out. 2017. Disponível em: https://www.nature.com/articles/nature24270. Acesso em: 18 jun. 2023.

SURDEN, Harry. Machine learning and law. Washington Law Review, [s.l.], v. 89, N. 1, mar. 2014. Disponível em: https://digitalcommons.law.uw.edu/wlr/vol89/iss1/5/. Acesso em: 18 jun. 2023.

SUSSKIND, Richard. The end of lawyers: rethinking the nature of legal services. [S.l.]: Oxford Uniersity Press, 2010.

UNIÃO EUROPEIA. Regulamento (UE) 2016/679 do Parlamento Europeu e do Conselho de 27 de abril de 2016. Disponível em: https://eur-lex.europa.eu/legal-content/PT/TXT/?uri=uriserv%3AOJ.L_.2016.119.01.0001.01.POR&toc=OJ%3AL%3A2016%3A119%3AFULL. Acesso em: 18 jun. 2023.

VILLANI, Cédric. Donner uns sens à li’intelligence artificielle: pour une stratégie nationale et européenne. Paris, 2018. Disponível em: https://medias.vie-publique.fr/data_storage_s3/rapport/pdf/184000159.pdf. Acesso em: 18 jun. 2023.

Downloads

Published

2023-06-20

How to Cite

José Coelho Nunes, D. ., & Morato de Andrade, O. . (2023). THE USE OF EXPLAINABLE ARTIFICIAL INTELLIGENCE AS A TOOL TO UNDERSTAND AUTOMATED DECISIONS: A POSSIBLE WAY TO INCREASE THE LEGITIMITY AND RELIABILITY OF ALGORITHMIC MODELS?. Revista Eletrônica Do Curso De Direito Da UFSM, 18(1), e69329. https://doi.org/10.5902/1981369469329

Issue

Vol. 18 No. 1 (2023): EDIÇÃO ABERTA - publicação contínua

Section

Artigos científicos

License

Creative Commons License

This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

Licença Creative Commons
Este obra está licenciado com uma Licença Creative Commons Atribuição-NãoComercial-SemDerivações 4.0 Internacional.