Você já ouviu falar em racismo algorítmico? Ele ocorre quando softwares discriminam pessoas negras (ou pessoas não-brancas), seguindo padrões enviesados
Ana Marques | 20 de Novembro de 2020 às 10:00
Você já ouviu falar em racismo algorítmico? Ele ocorre quando softwares discriminam pessoas negras (ou pessoas não-brancas), seguindo padrões enviesados por seus programadores/criadores/usuários.
Leia também: Entenda o que é racismo estrutural
O conceito está intimamente ligado à evolução da Inteligência Artificial (IA) e do aprendizado de máquina, já que acontece quando um programa, ao simular a inteligência humana, é capaz de tomar decisões de forma autônoma – nesses casos, especificamente, optando por atitudes preconceituosas.
Diversos casos já foram reportados por aí. Os mais recentes envolvem grandes nomes da tecnologia, como o Google e o Twitter.
Em 2016, a gigante da buscas se envolveu em uma polêmica quando um usuário exibiu os resultados de pesquisa por “três jovens negros” e “três jovens brancos” – no primeiro, as imagens retornadas envolviam situações associadas a crimes e apreensão; no segundo, elas mostravam fotos de jovens brancos felizes e bem vestidos.
Em 2019, um estudo publicado na revista Science revelou que milhões de negros foram afetados por racismo em algoritmos de saúde nos Estados Unidos. O sistema excluía pacientes negros ao priorizar pessoas que estariam precisando de atendimento com maior urgência.
Recentemente, em 2020, o algoritmo do Twitter foi acusado de priorizar fotos de pessoas brancas ao escolher uma imagem para apresentar no feed. A empresa afirmou que iria investigar o caso e que, apesar de ter testado vieses raciais e de gênero durante a construção do algoritmo, tem “mais análises a fazer”.
Para entender como isso é possível e por que casos assim acontecem, vale ressaltar o que é um algoritmo.
Por definição do dicionário Michaelis, algoritmo é um conjunto de regras e operações e procedimentos, definidos e ordenados usados na solução de um problema, ou de classe de problemas, em um número finito de etapas.
Em termos gerais, trata-se de um grupo de raciocínios possíveis gerados após uma consulta em um banco de dados. Assim como nós, que recebemos um estímulo e, de acordo com as reações que ocorrem em nosso cérebro, produzimos uma ação em resposta a ele, os softwares recebem uma informação, cruzam com outras provenientes de um enorme banco de dados (seu “cérebro”), e geram uma resposta à ação inicial.
Baseado na explicação anterior, você, caro leitor, pode imaginar o que acontece na prática: para que um algoritmo produza uma resposta, ele consulta uma base de dados. Mas para que isso pudesse acontecer, um humano precisou construir essa base em algum momento. E é aí que mora o perigo.
Ao “treinar” softwares para executarem determinadas ações em resposta ao reconhecimento de humanos (especialmente quando falamos em reconhecimento facial), é importante que o treinamento considere a diversidade – de raça, de gênero, de orientação sexual – que compõe a nossa sociedade. Caso contrário, o algoritmo tende a reproduzir padrões discriminatórios como os relatados anteriormente.
Mas o problema vai bem além do desenvolvimento de um software – ele pode acabar sendo perpetuado por muitos anos, caso não haja fiscalização. Isso porque, por mais que aconteça um treinamento adequado durante o desenvolvimento de um algoritmo, muitos deles estão sempre se adaptando ao usuário final, ao comportamento diário de uma pessoa – de várias pessoas, muitas delas racistas.
Essa foi, inclusive, a defesa do Google em 2016, no caso dos “três jovens negros”. A empresa afirmou que o algoritmo mostrava tais imagens porque eram esses resultados os mais acessados quando havia uma busca pela frase-chave em questão. A sociedade teria “ensinado” aos algoritmos a serem racistas.
De fato, é possível. No entanto, isso apenas nos leva a um outro patamar de preocupação. Como evitar e reverter esse processo? Quais devem ser as responsabilidades de grandes empresas tecnológicas nesse cenário?
Em primeiro lugar, entre os diversos motivos para que um algoritmo seja racista, está a falta de pessoas não-brancas, especialmente de pessoas negras, em posições de liderança em grandes empresas do setor tecnológico.
Leia também: Como ser antirracista?
Se uma empresa é majoritariamente branca e guiada por um viés de comportamento que remete ao privilégio de pessoas brancas, é realmente mais fácil que situações racistas se perpetuem, passando despercebidas entre os tomadores de decisão.
Nesse caso, o primeiro grande passo deve ser o de inclusão e incentivo à diversidade dentro das empresas, sejam elas grandes ou pequenas – questão intimamente ligada ao incentivo para que jovens negros tenham acesso à formação em áreas correlatas.
Para contextualizar: um levantamento de 2016 do Ministério do Trabalho e Emprego (MTE) revelou que, na área de engenharia de equipamento em computação brasileira, 92% dos trabalhadores eram brancos.
A segunda tarefa é de responsabilização. Facebook, Google, Twitter e tantas outras empresas de tecnologia estão presentes no nosso dia a dia com seus aplicativos e serviços que coletam nossos dados, que aprendem com o nosso comportamento.
Nesse contexto, é imprescindível que essas empresas assumam, de alguma forma, a responsabilidade sobre que é exibido – e de que forma isso acontece – em suas plataformas. Para isso, curadoria de conteúdo é de extrema importância, bem como os comitês de ética e a revisão constante de algoritmos.
Certamente há uma longa caminhada social e tecnológica pela frente, e é dever de todos a cobrança para que essas questões sejam tratadas com máxima importância.