Design de experiência contra o racismo algorítmico

Estamos no ano histórico que promoveu globalmente a revisão de valores, a quem se permitiu aprender sobre ciências humanas e a relação com a tecnologia. Tive a oportunidade de ser impactada por uma ferramenta que provocou a princípio estranhamento, posteriormente a compreensão de que a inteligência artificial pode reproduzir o racismo através dos algoritmos ou instruções para aprendizado de máquina de forma enviesada.

‍“O racismo algorítmico ocorre quando algoritmos discriminam imagens ou qualquer conteúdo digital de pessoas negras ou não-brancas. Longe de serem isolados um do outro, o racismo cada vez mais explícito em tecnologias online é reflexo do racismo estrutural enraizado na sociedade. Como o racismo algoritmo se vale da ausência de negros na tecnologia.” Vieira, Kaue.

‍O app PortraitAI propõe transformar pessoas em pintura do século XVIII por meio da inteligência artificial, transformando pessoas negras em brancas. Em nota o aplicativo lamentou ter testado o produto apenas com padrões majoritariamente europeus. Recursos limitados e excludentes como aconteceu no FaceApp, que filtrava e embranquecia as pessoas com a intenção de torná-las mais “atraentes”. O teste abaixo foi feito com a jornalista Maju Coutinho, que assim como eu e outras pessoas negras, o app apresenta versões unicamente brancas.

O projeto Gender Shades aponta que os principais sistemas comerciais de IA das empresas de tecnologia significativamente desconsidera indivíduos de pele mais escura. A pesquisadora Joy Buolamwini iniciou uma investigação sistemática depois de testar sua foto na análise facial e percebeu no experimento que algumas empresas não detectaram seu rosto ou rotularam seu rosto como homem. Os autores de Gender Shades descobriram viés severo de gênero e tipo pele na classificação.

A qualidade do algoritmo de Inteligência Artificial depende dos dados em que ele é treinado, com uma escala considerável de percepções, um dos maiores desafios ao criar uma IA com resultados que possuam qualidade. É necessário critério e curadoria com questões múltiplas para o treinamento, considerando a diversidade humana.

A pergunta latente do momento: Quais tipos e métodos de visualização de dados serão mais eficazes para atingir o equilíbrio e a inclusão? Pesquisadores e designers podem desenhar melhores estratégias com foco na experiência do usuário das plataformas em questão. As redes neurais (RNA) são modelos computacionais inspirados pelo sistema nervoso central que são capazes de realizar o aprendizado de máquina, amplamente usados para reconhecimento de padrões, "neurônios interconectados, que podem computar valores de entradas", simulando o comportamento de redes neurais biológicas. Esses recursos contemporâneos se tornaram eficazes em gerar os resultados, mas esse tipo de tecnologia se torna difícil de explicar no modo em que os dados de entrada podem afetar o algoritmo. Jamais o ganho de performance justificará um processo enviesado, as pessoas reproduzem o racismo nas tecnologias porque o racismo é um dos pilares da nossa sociedade. Existem oportunidades infinitas para que vieses, preconceitos e desvios sejam criados na forma da coleta de dados, afinal criar as intenções e valores são processos desenvolvidos por gestores, desenvolvedores e designers.

Para que esse recurso tão importante para nosso tempo seja bem usado, precisamos considerar que diversidade nos dados é essencial, cuidar das características do aprendizado de máquina, elaborar a abordagem para o modelo se auto explicar assim como se essa ideia se comporta bem, testando-a em diversos cenários.

‍“Racismo algorítmico tende a promover decisões racistas no modo pelo qual a disposição de tecnologias e imaginários sociotécnicos em um mundo moldado pela supremacia branca, fortalece a ordenação racializada de epistemes, recursos, espaço e violência em detrimento de grupos racializados pela branquitude detentora das epistemologias e capitais hegemônicos que moldam o horizonte de ações da inteligência artificial em sistemas algorítmicos.” (Silva, 2020)

‍As medidas de sucesso existentes na IA não refletem a maioria global, os conjuntos de dados de referência representam, em sua maioria, padrões e biotipo de gênero e pele que costumam estar entre a faixa privilegiada onde é criada. Há necessidade de testes inclusivos de IA e relatórios de precisão demográficos ou de aparência. A avaliação deve ser interseccional com variação dos fenótipos quando for apropriado ao produto.

‍“Uma internet plural e diversa em tecnologias, sites e ambientes remedia os potenciais nocivos dessa concentração atual.” Silva, Tarcísio.

‍Temos nas mãos o que pode vir a ser uma construção de soluções ou a perpetuação dessa realidade injusta que já podemos sentir em várias áreas de interesse público: Danos relacionados a oportunidade de acesso a habitação, riscos criminais, recursos de saúde e violência de estado. Bem como reconhecimento facial para fins policiais. Determinados grupos são afastados para locais precarizados na sociedade através de sistemas excludentes. 

‍“Estados devem garantir transparência e prestação de contas sobre o uso de tecnologias digitais emergentes pelo setor publico e permitir análise e supervisão independente, inclusive através apenas do uso de sistemas que sejam auditáveis.” E. Tendayi Achiume

‍Na fotografia, as máquinas podem priorizar as imagens das pessoas brancas como aconteceu com influenciadores do Instagram e do Twitter, que levantaram essa pauta recentemente. Algoritmos podem ser condicionados por valores multidimensionais, o modelo das decisões é incorporado aos códigos. Quem possui olhar mais crítico sobre as redes sociais, já percebe alguns dos impactos desses sistemas, algumas redes sociais que usamos escolhem, a partir destes mecanismos, quais conteúdos irão ter mais visibilidade ou não, moldando o tipo de informação que cada um de nós poderá ter acesso no dia a dia. É importante relembrar que o problema não está apenas nos algoritmos, mas fundamentalmente na sociedade racista que constrói tecnologias discriminatórias. O caminho para mudar este cenário precisa acima de tudo que a tecnologia seja pensada e analisada a partir de um olhar para a experiência mais diversa e plural.

Todos deveríamos ter acesso e consciência sobre o fato de que o racismo no Brasil é endêmico, a estigmatização social recortados por raça e classe promove uma série de desigualdades sociais, consequências violentas e históricas em toda a sociedade. Pensar o todo com alteridade e equilíbrio é fundamental para realizar outro contexto, porque temos muito trabalho pela frente, tem que ser ação conjunta e gradual. Novas pautas tecnológicas são elaboradas a cada dia, como o viés de dissonância cognitiva que tentamos evitar. O conceito de dissonância cognitiva remete à necessidade, do indivíduo, de procurar coerência entre suas cognições (conhecimento, opiniões ou crenças). A dissonância ocorre se existe uma incoerência entre as atitudes e comportamentos considerados certos e o que realmente é colocado em prática.

Os processos de tomada de decisão estão em nosso cotidiano, precisam ser analisadas com recorte de gênero e raça, para que possamos mitigar erros que partem do fator humano. As pessoas reproduzem o racismo na tecnologia porque este é um dos pilares da sociedade, precisamos urgentemente transformar essa realidade em reparação histórica com estratégias coletivas de ações afirmativas, como incluir verdadeiramente mais negros nas equipes de tecnologia e design centrados nos usuários de todas as cores.

‍Referências:

‍SILVA, Tarcízio. Linha do Tempo do Racismo Algorítmico. Blog do Tarcízio Silva, 2020. Disponível em: <http://https://tarciziosilva.com.br/blog/posts/racismo-algoritmico-linha-do-tempo>. Acesso em: Novembro de 2020.

SILVA, Tarcízio. Racismo Algorítmico em Plataformas Digitais: microagressões e discriminação em código. In: SILVA, Tarcízio (org).. Comunidades, Algoritmos e Ativismo Digitais: olhares afrodiaspóricos. São Paulo: LiteraRUA, 2020. [leia]

SILVA, Tarcízio. Visão Computacional e Racismo Algorítmico: branquitude e opacidade no aprendizado de máquina. Revista da ABPN, v.12. n.31, 2020. [leia]

SILVA, Tarcízio. Teoria Racial Crítica e Comunicação Digital: conexões contra a dupla opacidade. In: POLIVANOV, B.; ARAÚJO, W.; OLIVEIRA, C. G.; SILVA, T. Fluxos em redes sociotécnicas: das micronarrativas ao big data. São Paulo: Intercom, 2019. [leia]

Leon Festinger, Henry W. Riecken, & Stanley Schachter, When Prophecy Fails: A Social and Psychological Study of a Modern Group that Predicted the End of the World (University of Minnesota Press; 1956).

Jon R. Stone (ed.). Expecting Armageddon: Essential Readings in Failed Prophecy (Routledge; 2000). 

Leon Festinger, A Theory of Cognitive Dissonance (Stanford University Press; 1957).

Schwarcz, Lilia Moritz “Nem Preto, Nem Branco. Muito pelo contrário.” (Editora C.Enigma)

SANTOS, Neuza. Tornar-se negro ou as vicissitudes da identidade do negro brasileiro em ascensão social. Rio de Janeiro: Edições GRAAL. 1983. 

‍https://www.geledes.org.br/tag/frantz-fanon/