É preciso responsabilizar as empresas pelas decisões tomadas pelos algoritmos e as consequências sociais de sua utilização. Criar processos de supervisão no funcionamento destes sistemas para que não se transformem no algoritmo do preconceito!

No final do mês de julho, as quatro maiores empresas de tecnologia dos Estados Unidos – Apple, Amazon, Facebook e Google – conhecidas como Big Techs, divulgaram seus balanços e mostraram um desempenho extraordinário no 2º trimestre. Uma performance jamais imaginada pelos analistas financeiros de Wall Street nestes tempos de Covid-19.

A Apple teve elevação de 11% em sua receita, o equivalente a cerca de US$ 6 bilhões. A Amazon reportou lucro, depois dos impostos, de US$ 5,2 bilhões.

Se levarmos em conta a retração de mais de 20% no mercado de publicidade em países desenvolvidos, Facebook e Google se saíram melhor que as mais otimistas previsões. A receita do Facebook subiu 11%, para US$ 18,7 bilhões. A Alphabet, controladora do Google, divulgou sua primeira queda de vendas na história com diminuição de apenas 2%.

Impulsionado pelo anúncio dos excelentes resultados, o valor de mercado das 4 companhias somado aumentou em torno de US$ 230 bilhões, atingindo mais de US$ 5 trilhões pela primeira vez. Valor maior que toda a economia alemã.

Em 30/7, os executivos-chefes das quatro gigantes – Tim Cook, da Apple, Jeff Bezos, da Amazon, Mark Zuckerberg, do Facebook e Sundar Pichai, do Alphabet (Google) se defenderam numa comissão da Câmara dos Deputados, em Washington, de acusações de sufocamento de competidores impedindo a livre concorrência.

Durante seus depoimentos, os CEO tentaram mostrar como seus mercados são competitivos e como o valor de suas inovações e serviços foram essenciais aos consumidores.

Tiveram, no entanto, dificuldades para responder sobre suas práticas negociais além de outras questões sobre parcialidades políticas.

Os dados comprovam: o poder econômico-financeiro e político destas empresas tornou-se assustador e perigoso.

O poder tecnológico, entretanto, é outra forma de dominação bem menos evidente e capaz de provocar males tão grandes quanto o do monopólio comercial – pelo menos na opinião deste articulista.

É o poder de construir e aplicar algoritmos nas mais diversas funções: na busca de uma receita gastronômica, no reconhecimento facial, na indicação de filmes e séries, na prevenção de fraudes, na recomendação de tratamentos médicos, na escolha do melhor trajeto, na seleção de candidatas ou candidatos para um posto de trabalho ou na concessão de crédito.

E, pela forma como é construída a tecnologia, reconhecimento facial, prevenção de fraudes bancárias e seleção de candidatos ou candidatas podem reforçar o racismo, a misoginia e a homofobia através da discriminação de grupos sub-representados (pessoas 50+, mulheres, negras e negros, pessoas com deficiência, LGBTQI+) e privilegiar grupos hegemônicos (jovens, homens, brancos, heterossexuais) promovendo a intolerância das mais variadas formas. Aí nos deparamos com uma espécie de algoritmo do preconceito.

Mas o que é mesmo um algoritmo?

É uma série de instruções simples para a solução de um problema. É um passo a passo, uma sequência de códigos expressa numa linguagem matemática e desenvolvida para determinar o que um computador deve fazer.

Todo algoritmo tem uma entrada e uma saída. O computador é alimentado por dados na entrada; as instruções contidas no algoritmo processam estes dados e daí surgem os resultados que são as informações de saída.

O assunto não é novo e vem sendo debatido publica e amplamente, pelo menos, desde 2009 quando um software da HP não conseguia identificar rostos negros.

Um dos casos de maior repercussão aconteceu em 2015. Um usuário do Google Photos percebeu que o programa etiquetava seus amigos negros como gorilas.

O algoritmo da inteligência artificial (IA) não era capaz de distinguir a pele de um ser humano da dos macacos, gorilas e chimpanzés.

Essa atitude racista da máquina fez com que a Alphabet pedisse desculpas. Os vários movimentos antirracistas espalhados pelo mundo se mobilizaram em críticas fazendo com que o algoritmo fosse reescrito mitigando a denominação racista.

Os exemplos são vários. Tarcízio Silva professor, pesquisador e especialista em monitoramento de mídias sociais e métodos de pesquisa digitais mantém a Linha do Tempo do Racismo Algorítmico/Tecnológico: casos, dados e reações onde se lê que “A timeline é um […] projeto (que) estuda as cadeias produtivas da plataformização digital (mídias sociais, aplicativos, inteligência artificial) e seus vieses e impactos raciais”. A visita à página é altamente recomendada.

Algoritmo do preconceito

É relevante termos a clareza que algoritmos são programados por humanos e utilizam base de dados selecionada por humanos. Portanto, estão sujeitos às influências destes indivíduos. 

Sabemos que pessoas deixam-se transparecer em suas escolhas ou na solução de problemas, e que, mesmo inconscientemente, conduzem seus vieses para o trabalho como é o caso da escrita de algoritmos.

A escolha de modelos matemáticos e de bases de dados deve ser cuidadosamente feita para minimizarmos a possibilidade destes preconceitos inconscientes.

Pense num algoritmo hipotético utilizado por uma empresa de recrutamento e seleção (R&S). Hoje, comemora-se a escolha de novos funcionários e funcionárias – dentre os vários candidatos e candidatas – feita por plataformas, baseadas em IA, onde não se considera gênero, raça ou cor, idade, orientação sexual ou condição física e sensorial.

Dito de outra forma, novas funcionárias e funcionários seriam escolhidos, exclusivamente, pelas suas competências e não mais pela aparência – gênero, raça ou cor – ou características como idade e orientação sexual ou, ainda, pela condição física e sensorial.

As pessoas 50+, que se considerassem aptas para o cargo, poderiam se tranquilizar, pois, a idade avançada – indesejável por algumas organizações – não seria levada em conta na decisão da contratação, já que este dado não estaria disponível para avaliação.

O algoritmo da IA, entretanto, poderia conter uma sutileza. Imagine que haveria um campo no formulário, a ser preenchido pelo candidato ou candidata, que solicitasse, inocentemente, o ano de formatura no curso universitário.

Desta forma, mesmo sem ter a data de nascimento – não pedida explicitamente -, seria possível aproximar a idade utilizando a data de formatura.

De tal modo que candidatas e candidatos que ultrapassassem a idade limite pretendida pela empresa seriam descartados. Até que se constatasse a falhas ou o viés, o estrago já teria sido feito e o processo divulgado como isento e inovador, seria, na verdade, preconceituoso e discriminatório.

É neste imenso poder tecnológico que devemos estar atentos e nos mostrar contra o algoritmo do preconceito.

Hoje, os algoritmos são escritos sem quaisquer protocolos que garantam respeito aos grupos sub-representados.

É preciso responsabilizar as empresas pelas decisões tomadas pelos algoritmos e as consequências sociais de sua utilização. Como, também, criar processos de supervisão no funcionamento destes sistemas.

Equipes multidisciplinares, certamente, contribuiriam para maior facilidade na detecção e solução de erros. Não basta especialistas em educação, saúde, finanças, serviços públicos ou recrutamento; profissionais que entendem de direito, deficiência, envelhecimento, sociologia ou ética também deveriam estar presentes nas equipes de programação.

A diversidade de olhares e pontos de vista nunca foi tão importante como agora e nestes casos. Isto, somente, ocorrerá se movimentos contra o preconceito etário, antirracistas, feministas, em defesa das pessoas com deficiência e anti-transfóbicos se mobilizarem e exigirem participação na programação e supervisão dos algoritmos. Sem isso, as consequências serão imprevisíveis e inimagináveis.

Se gostou do conteúdo, deixe seu comentário. Gostaria muito de ouvir a sua opinião sobre algoritmo do preconceito!

Assista abaixo a Live MatureiTalks que fiz junto junto com o Morris Litvak dia 03/09 no Instagram da Maturi sobre o assunto deste artigo: