Algorithmic identity: images of blackness and racist bias
DOI:
https://doi.org/10.5902/2357797589479Keywords:
Algorithmic identity, Algorithmic racism, Digital literacy, Social and digital inclusion, Black identityAbstract
Generative AI and its algorithms are responsible for more and more decisions in our society. However, despite being considered impartial tools, the data from algorithms with racial bias that harm black people in various areas of life continues to grow. We have given this phenomenon the name Algorithmic Identity. Based on this, and with the understanding that the opposition between real and fictional does not hold up and must be replaced by the triad real-fictional-imaginary, in this study we demonstrate the problems related to the cognitive biases that guide the construction of identities that leave the offline world and enter the online world, mainly due to the subordination of images of black people. In addition, we indicate how stereotypical algorithmic identities pose a barrier to effective social and digital inclusion. As a possible way to address this, we propose the creation of teaching material focused on literacy about argumentation, implicit elements and algorithmic biases, focusing on the final years of high school and the initial years of university courses.
Downloads
References
AHMED, S., NUTT, C.T., ENEANYA, N.D. et al. Examining the Potential Impact of Race Multiplier Utilization in Estimated Glomerular Filtration Rate Calculation on African-American Care Outcomes. Journal of General Internal Medicine. v. 36, pp. 464-471 (2021). https://doi.org/10.1007/s11606-020-06280-5 DOI: https://doi.org/10.1007/s11606-020-06280-5
ALTHUSSER, L. Filosofia e Filosofia Espontânea dos Cientistas. Lisboa: Editorial Presença, 1976.
BBC. Como o Facebook mudou a internet, o comércio e até a política. Reportagem de 11 julho 2021. https://www.bbc.com/portuguese/internacional-55966587
BENTO, C. O pacto da branquitude. São Paulo: Companhia das Letras, 2022.
BRASIL. Resolução nº 02/CNODS, de 20 de dezembro de 2023. Institui a Câmara Temática para o Décimo Oitavo Objetivo de Desenvolvimento Sustentável sobre Igualdade Étnico-Racial na Agenda 2030. Disponível em: https://www.gov.br/secretariageral/pt-br/cnods/resolucoes/Resolucao2ODS18IgualdadeEtnicoRacial.pdf
BOLZAN, L. M.; LÖBLER, M. L. Socialização e afetividade no processo de inclusão digital: um estudo etnográfico. Organizações & Sociedade. 2016, v. 23, n. 76, pp. 130-149. Disponível em: https://doi.org/10.1590/1984-9230767. Acessado 3 Outubro 2024 DOI: https://doi.org/10.1590/1984-9230767
DANIELS, J. The algorithmic rise of the “alt-right”. Contexts, Vol. 17, Issue 1, pp. 60-65. American Sociological Association. https://doi.org/10.1177/153650421876654 DOI: https://doi.org/10.1177/1536504218766547
DAGRON, T. Pensée et cliniques de l’identité. Paris: Vrin, 2019.
DW. O partido que faz alemães temerem a volta do nazismo. Reportagem de 9 de fevereiro de 2024. https://www.dw.com/pt-br/o-partido-que-faz-alem%C3%A3es-temerem-a-volta-do-nazismo/video-68219970
EVERETT, A. The Revolution Will Be Digitized: Afrocentricity and the Digital Public Sphere. In: Social Text. v. 20, n. 2, pp. 125-146, 2002. DOI: https://doi.org/10.1215/01642472-20-2_71-125
FAIRCLOUGH, N. Discurso e mudança social. Brasília: Editora Universidade de Brasília, 2001.
FIORIN, J. L. As astúcias da enunciação: as categorias de pessoa, espaço e tempo. 3. ed. São Paulo: Editora Contexto, 2016.
FIRTH, J. R. The technique of semantics. Transactions of the philological society, v. 34, n. 1, p. 36–73, 1957. DOI: https://doi.org/10.1111/j.1467-968X.1935.tb01254.x
FOLHA DE S. PAULO. Alunos negros têm menos acesso a recursos tecnológicos nas escolas. 18 junho 2024. https://www1.folha.uol.com.br/educacao/2024/06/alunos-negros-tem-menos-acesso-a-recursos-tecnologicos-nas-escolas.shtml
FONTANA, E. Introdução aos algoritmos de aprendizagem supervisionada. Curitiba: Universidade Federal do Paraná (UFPR), 2020. Disponível em: https://fontana.paginas.ufsc.br/files/2018/03/apostila_ML_pt2.pdf.
GOIS, A. Idosos negros acessam 14% menos a internet quando comparados a mulheres e homens brancos. O GLOBO. 23 maio 2023. https://oglobo.globo.com/blogs/ancelmo-gois/post/2023/05/idosos-negros-acessam-14percent-menos-a-internet-quando-comparados-a-mulheres-e-homens-brancos.ghtml
GONZALES, L.; ARAUJO, M. Efeitos da exclusão digital no acesso ao auxílio emergencial. In: Centro de Estudos de Microfinanças e Inclusão Financeira da FGV, 27 maio, 2021. Disponível em: https://www.impacto.blog.br/site/wp-content/uploads/2021/05/Auxilio_InclusaoDigital_VersaoFinal_2505.pdf
GREGOLIN, M. R. V. Identidade: objeto ainda não identificado? In: Estudos da Língua(gem): imagens de discurso. Vitória da Conquista, UESB, v.6, n.1, p.81-97, 2008. DOI: https://doi.org/10.22481/el.v6i1.1058 DOI: https://doi.org/10.22481/el.v6i1.1058
HALL, S. Cultura e representação. Rio de Janeiro: Ed. PUC Rio, Apicuri, 2016.
HARRIS, Z. S. Distributional Structure. Word, v. 10, n. 2-3, p. 146-162, 1954. DOI: https://doi.org/10.1080/00437956.1954.11659520
ISER, W. O fictício e o imaginário: perspectivas de uma antropologia literária. 2. ed. Rio de Janeiro: EdUERJ, 2013.
ISER, W. How to do theory. Malden, MA: Blackwell, 2006.
JORNAL NACIONAL. Menos de um terço da população brasileira tem acesso pleno à internet, mostra pesquisa. 18 março 2022. https://g1.globo.com/jornal-nacional/noticia/2022/03/18/menos-de-um-terco-da-populacao-brasileira-tem-acesso-pleno-a-internet-mostra-pesquisa.ghtml
KAHNEMAN, D.; MILLER, D. T. Norm theory: Comparing reality to its alternatives. In: Psychological Review, n. 93, p. 136-153, 1986. DOI: https://doi.org/10.1037//0033-295X.93.2.136
KAHNEMAN, D.; TVERSKY, A. (Org.) Choices, values and frame. New York: Cambridge University Press, 2000. DOI: https://doi.org/10.1017/CBO9780511803475
LEAVITT, D. O homem que sabia demais: Alan Turing e a invenção do computador. Ribeirão Preto, SP: Novo Conceito, 2011.
LEVY, O.; GOLDBERG, Y., DAGAN, I. Improving Distributional Similarity with Lessons Learned from Word Embeddings. Transactions of the Association for Computational Linguistics, vol. 3, pp. 211–225, 2015. https://aclanthology.org/Q15-1016.pdf DOI: https://doi.org/10.1162/tacl_a_00134
LÉVY, P. Préface. In: VIAL, S. L’Être et l’Écran. Paris: PUF, 2013. DOI: https://doi.org/10.1051/978-2-84254-233-7.c001
LUGER, G. F. Inteligência artificial. 6. ed. São Paulo: Pearson Education do Brasil, 2013.
MARI, A. Negros e pobres sofrem com exclusão digital durante a pandemia. Forbes, 27 maio 2020. https://forbes.com.br/forbes-tech/2020/05/negros-e-pobres-sofrem-com-exclusao-digital-durante-a-pandemia/
MBEMBE, A. Brutalismo. 2. ed. São Paulo: n-1 edições, 2022.
MARINHO, A.; CARDOSO, S. S.; ALMEIDA, V. V. Desigualdade de transplantes de órgãos no Brasil: análise do perfil dos receptores por sexo e raça ou cor. Brasília: IPEA, 2011. https://repositorio.ipea.gov.br/bitstream/11058/1491/1/td_1629.pdf
MELO, P. V.; TERSO, T. Dificuldades no acesso à internet: expressões do racismo estrutural. Le Monde Diplomatique, 24 março 2021. https://diplomatique.org.br/dificuldades-no-acesso-a-internet-expressoes-do-racismo-estrutural/
MORENO MARIMÓN, M.; SASTRE, G. Como construímos universos: amor, cooperação e conflito. São Paulo: Ed. Unesp, 2014.
NASCIMENTO, Gabriel. Entre o lócus de enunciação e o lugar de fala: marcar o não-marcado e trazer o corpo de volta na linguagem. Trabalhos em Linguística Aplicada. v. 60, n. 1, pp. 58-68, 2021. https://doi.org/10.1590/010318139578611520210313. DOI: https://doi.org/10.1590/010318139578611520210313
NOBLE, S. U. Algoritmos da opressão: como o Google fomenta e lucra com o racismo. Santo André, SP: Rua do Sabão, 2021.
OBERMEYER, Z.; NISSAN, R.; STERN, M.; EANEFF, S.; BEMBENECK, E. J.; MULLAINATHAN, S. Algorithmic Bias Playbook. Chicago: Center for Applied AI at Chicago Booth, 2021. Disponível em: https://www.chicagobooth.edu/-/media/project/chicago-booth/centers/caai/docs/algorithmic-bias-playbook-june-2021.pdf
O’NEIL, C. Algoritmos de destruição em massa: como o big data aumenta a desigualdade e ameaça a democracia. Santo André, SP: Rua do Sabão, 2020.
PÊCHEUX, M. Semântica e discurso: uma crítica à afirmação do óbvio. Campinas, SP: Editora da Unicamp, 1988.
PENG, R. B.; LEE, H.; KE, Z. T.; SAUNDERS, M. R. Racial disparities in kidney transplant waitlist appearance in Chicago: Is it race or place? In: Clinical transplantation, v. 32, n. 5, 2018. Disponível em: https://doi.org/10.1111/ctr.13195 DOI: https://doi.org/10.1111/ctr.13195
PENNINGTON, J.; SOCHER, R.; MANNING, C. GloVe: Global Vectors for Word Representation. In: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1532–1543, Doha, Qatar, 2014. Association for Computational Linguistics. https://nlp.stanford.edu/pubs/glove.pdf DOI: https://doi.org/10.3115/v1/D14-1162
ROJO, R. Letramentos múltiplos, escola e inclusão social. São Paulo: Parábola Editorial, 2009.
SANTOS, C. C. A emergência do ativismo digital antirracista no Brasil. Dissonância: Revista de Teoria Crítica, v. 6, Campinas, 2022, p. 453-500.
SANTOS, L. G. M.; COSTA, A. B.; DAVID, J. S.; PEDRO, R. M. L. Reconhecimento facial: tecnologia, racismo e construção de mundos possíveis. Psicologia & Sociedade. 2023, v. 35 Disponível em: https://doi.org/10.1590/1807-0310/2023v35e277141. Acessado 13 Outubro 2024 DOI: https://doi.org/10.1590/1807-0310/2023v35e277141
SAID, E. Orientalismo: O Oriente como invenção do Ocidente. São Paulo: Companhia de Bolso, 2013
SENO, E. R. M; CLARO, D.; MOTA, L.; RODRIGUES, J. 10 Semântica Distribucional. Publicado em: 26 set. 2023. https://brasileiraspln.com/livro-pln/1a-edicao/parte5/cap10/cap10.html
SILVA, D. F. O fenômeno dos refugiados no mundo e o atual cenário complexo das migrações forçadas. In: Revista Brasileira de Estudos de População, Belo Horizonte, v.34, n.1, p.163-170, jan./abr. 2017. DOI http://dx.doi.org/10.20947/S0102-3098a0001 DOI: https://doi.org/10.20947/S0102-3098a0001
SILVA, T. Comunidades, algoritmos e ativismos digitais: olhares afrodiaspóricos. São Paulo: LiteraRua, 2021.
SILVA, T. Racismo algoritmo: inteligência artificial e discriminação nas redes sociais. São Paulo: Edições SESC, 2022. DOI: https://doi.org/10.29327/269579.6.3-14
SILVA, T. Linha do tempo do racismo algorítmico. In.: Desvelar. Justiça racial, IA e tecnologias digitais. 2024. Disponível em: https://desvelar.org/casos-de-discriminacao-algoritmica/
SU, C.; ZHOU, H.; GONG, L.; TENG, B.; GENG, F.; HU, Y. Viewing personalized video clips recommended by TikTok activates default mode network and ventral tegmental area. In: Neuroimage. V. 237, 15, August 2021. https://doi.org/10.1016/j.neuroimage.2021.118136 DOI: https://doi.org/10.1016/j.neuroimage.2021.118136
TRINDADE, L. V. P. It is not that funny: critical analysis of racial ideologies embedded in racialized humour discourses on social media in Brazil. 2018. PhD Thesis (Sociology) - University of Southampton, Southampton, 2018.
TRINDADE, L. V. P. Discurso de ódio nas redes sociais. São Paulo: Jandaíra, 2022.
TURING, A. M. On computable numbers with an application to the Entscheidungsproblem. In: Proceedings of the London Mathematical Society, v. 2-42, Issue 1, 1937, pp. 230-265. https://doi.org/10.1112/plms/s2-42.1.230 DOI: https://doi.org/10.1112/plms/s2-42.1.230
VASWANI, A.; SHAZEER, N.; PARMAR, N.; USZKOREIT, J.; JONES, L.; GOMEZ, A. N.; KAISER, L.; POLOSUKHIN, I. Attention is all you need. In: NeurIPS, 2017. Disponível em: https://doi.org/10.48550/arXiv.1706.03762
VYAS, D, A.; EISENSTEIN, L. G.; JONES, D. S. Hidden in Plain Sight – Reconsidering the Use of Race Correction in Clinical Algorithms. The New England Journal of Medicine. v. 383, n. 9. 2020, pp. 874-882. https://www.nejm.org/doi/pdf/10.1056/NEJMms2004740 DOI: https://doi.org/10.1056/NEJMms2004740
WITTGENSTEIN, L. Philosophical investigations. 3. ed. Oxford: Blackwell Publishing, 2002.
Downloads
Published
How to Cite
Issue
Section
License
This work is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
