Arquivo 2020

Design de experiência contra o racismo algorítmico

Polli Lopes
UX Designer & Researcher IBMix
antifascista, antirracista e feminista

Sou Designer e pesquisadora UX na IBMix há dois anos, com 21 anos de carreira, desde sempre repleta de coragem e sede por aprendizados e compartilhamento. Pesquisadora no MediaLab BR UFG e Faespe. Hoje me dedico a pesquisar remotamente as melhores práticas em experiência do usuário para mídias digitais em Brasília-DF. lattes.cnpq.br/7618767578183284

Polli Lopes
Escute este artigo

Estamos no ano histórico que promoveu globalmente a revisão de valores, a quem se permitiu aprender sobre ciências humanas e a relação com a tecnologia. Tive a oportunidade de ser impactada por uma ferramenta que provocou a princípio estranhamento, posteriormente a compreensão de que a inteligência artificial pode reproduzir o racismo através dos algoritmos ou instruções para aprendizado de máquina de forma enviesada.

“O racismo algorítmico ocorre quando algoritmos discriminam imagens ou qualquer conteúdo digital de pessoas negras ou não-brancas. Longe de serem isolados um do outro, o racismo cada vez mais explícito em tecnologias online é reflexo do racismo estrutural enraizado na sociedade. Como o racismo algoritmo se vale da ausência de negros na tecnologia.” Vieira, Kaue.

O app PortraitAI propõe transformar pessoas em pintura do século XVIII por meio da inteligência artificial, transformando pessoas negras em brancas. Em nota o aplicativo lamentou ter testado o produto apenas com padrões majoritariamente europeus. Recursos limitados e excludentes como aconteceu no FaceApp, que filtrava e embranquecia as pessoas com a intenção de torná-las mais “atraentes”. O teste abaixo foi feito com a jornalista Maju Coutinho, que assim como eu e outras pessoas negras, o app apresenta versões unicamente brancas.

Grupo de pessoas posando para fotoDescrição gerada automaticamente
Foto editada de grupo de pessoas posando para fotoDescrição gerada automaticamente
"A tecnologia não é neutra, legitima o poder. Dados são uma redução da complexidade da vida" Mostafa, Joana

O projeto Gender Shades aponta que os principais sistemas comerciais de IA das empresas de tecnologia significativamente desconsidera indivíduos de pele mais escura. A pesquisadora Joy Buolamwini iniciou uma investigação sistemática depois de testar sua foto na análise facial e percebeu no experimento que algumas empresas não detectaram seu rosto ou rotularam seu rosto como homem. Os autores de Gender Shades descobriram viés severo de gênero e tipo pele na classificação.

A qualidade do algoritmo de Inteligência Artificial depende dos dados em que ele é treinado, com uma escala considerável de percepções, um dos maiores desafios ao criar uma IA com resultados que possuam qualidade. É necessário critério e curadoria com questões múltiplas para o treinamento, considerando a diversidade humana.

A pergunta latente do momento: Quais tipos e métodos de visualização de dados serão mais eficazes para atingir o equilíbrio e a inclusão? Pesquisadores e designers podem desenhar melhores estratégias com foco na experiência do usuário das plataformas em questão. As redes neurais (RNA) são modelos computacionais inspirados pelo sistema nervoso central que são capazes de realizar o aprendizado de máquina, amplamente usados para reconhecimento de padrões, "neurônios interconectados, que podem computar valores de entradas", simulando o comportamento de redes neurais biológicas. Esses recursos contemporâneos se tornaram eficazes em gerar os resultados, mas esse tipo de tecnologia se torna difícil de explicar no modo em que os dados de entrada podem afetar o algoritmo. Jamais o ganho de performance justificará um processo enviesado, as pessoas reproduzem o racismo nas tecnologias porque o racismo é um dos pilares da nossa sociedade. Existem oportunidades infinitas para que vieses, preconceitos e desvios sejam criados na forma da coleta de dados, afinal criar as intenções e valores são processos desenvolvidos por gestores, desenvolvedores e designers.

Para que esse recurso tão importante para nosso tempo seja bem usado, precisamos considerar que diversidade nos dados é essencial, cuidar das características do aprendizado de máquina, elaborar a abordagem para o modelo se auto explicar assim como se essa ideia se comporta bem, testando-a em diversos cenários.

“Racismo algorítmico tende a promover decisões racistas no modo pelo qual a disposição de tecnologias e imaginários sociotécnicos em um mundo moldado pela supremacia branca, fortalece a ordenação racializada de epistemes, recursos, espaço e violência em detrimento de grupos racializados pela branquitude detentora das epistemologias e capitais hegemônicos que moldam o horizonte de ações da inteligência artificial em sistemas algorítmicos.” (Silva, 2020)

As medidas de sucesso existentes na IA não refletem a maioria global, os conjuntos de dados de referência representam, em sua maioria, padrões e biotipo de gênero e pele que costumam estar entre a faixa privilegiada onde é criada. Há necessidade de testes inclusivos de IA e relatórios de precisão demográficos ou de aparência. A avaliação deve ser interseccional com variação dos fenótipos quando for apropriado ao produto.

“Uma internet plural e diversa em tecnologias, sites e ambientes remedia os potenciais nocivos dessa concentração atual.” Silva, Tarcísio.

Temos nas mãos o que pode vir a ser uma construção de soluções ou a perpetuação dessa realidade injusta que já podemos sentir em várias áreas de interesse público: Danos relacionados a oportunidade de acesso a habitação, riscos criminais, recursos de saúde e violência de estado. Bem como reconhecimento facial para fins policiais. Determinados grupos são afastados para locais precarizados na sociedade através de sistemas excludentes. 

“Estados devem garantir transparência e prestação de contas sobre o uso de tecnologias digitais emergentes pelo setor publico e permitir análise e supervisão independente, inclusive através apenas do uso de sistemas que sejam auditáveis.” E. Tendayi Achiume

Na fotografia, as máquinas podem priorizar as imagens das pessoas brancas como aconteceu com influenciadores do Instagram e do Twitter, que levantaram essa pauta recentemente. Algoritmos podem ser condicionados por valores multidimensionais, o modelo das decisões é incorporado aos códigos. Quem possui olhar mais crítico sobre as redes sociais, já percebe alguns dos impactos desses sistemas, algumas redes sociais que usamos escolhem, a partir destes mecanismos, quais conteúdos irão ter mais visibilidade ou não, moldando o tipo de informação que cada um de nós poderá ter acesso no dia a dia. É importante relembrar que o problema não está apenas nos algoritmos, mas fundamentalmente na sociedade racista que constrói tecnologias discriminatórias. O caminho para mudar este cenário precisa acima de tudo que a tecnologia seja pensada e analisada a partir de um olhar para a experiência mais diversa e plural.

Todos deveríamos ter acesso e consciência sobre o fato de que o racismo no Brasil é endêmico, a estigmatização social recortados por raça e classe promove uma série de desigualdades sociais, consequências violentas e históricas em toda a sociedade. Pensar o todo com alteridade e equilíbrio é fundamental para realizar outro contexto, porque temos muito trabalho pela frente, tem que ser ação conjunta e gradual. Novas pautas tecnológicas são elaboradas a cada dia, como o viés de dissonância cognitiva que tentamos evitar. O conceito de dissonância cognitiva remete à necessidade, do indivíduo, de procurar coerência entre suas cognições (conhecimento, opiniões ou crenças). A dissonância ocorre se existe uma incoerência entre as atitudes e comportamentos considerados certos e o que realmente é colocado em prática.

Os processos de tomada de decisão estão em nosso cotidiano, precisam ser analisadas com recorte de gênero e raça, para que possamos mitigar erros que partem do fator humano. As pessoas reproduzem o racismo na tecnologia porque este é um dos pilares da sociedade, precisamos urgentemente transformar essa realidade em reparação histórica com estratégias coletivas de ações afirmativas, como incluir verdadeiramente mais negros nas equipes de tecnologia e design centrados nos usuários de todas as cores.

Referências:

SILVA, Tarcízio. Linha do Tempo do Racismo Algorítmico. Blog do Tarcízio Silva, 2020. Disponível em: <http://https://tarciziosilva.com.br/blog/posts/racismo-algoritmico-linha-do-tempo>. Acesso em: Novembro de 2020.

SILVA, Tarcízio. Racismo Algorítmico em Plataformas Digitais: microagressões e discriminação em código. In: SILVA, Tarcízio (org).. Comunidades, Algoritmos e Ativismo Digitais: olhares afrodiaspóricos. São Paulo: LiteraRUA, 2020. [leia]

SILVA, Tarcízio. Visão Computacional e Racismo Algorítmico: branquitude e opacidade no aprendizado de máquina. Revista da ABPN, v.12. n.31, 2020. [leia]

SILVA, Tarcízio. Teoria Racial Crítica e Comunicação Digital: conexões contra a dupla opacidade. In: POLIVANOV, B.; ARAÚJO, W.; OLIVEIRA, C. G.; SILVA, T. Fluxos em redes sociotécnicas: das micronarrativas ao big data. São Paulo: Intercom, 2019. [leia]

Leon Festinger, Henry W. Riecken, & Stanley Schachter, When Prophecy Fails: A Social and Psychological Study of a Modern Group that Predicted the End of the World (University of Minnesota Press; 1956).

Jon R. Stone (ed.). Expecting Armageddon: Essential Readings in Failed Prophecy (Routledge; 2000). 

Leon Festinger, A Theory of Cognitive Dissonance (Stanford University Press; 1957).

Schwarcz, Lilia Moritz “Nem Preto, Nem Branco. Muito pelo contrário.” (Editora C.Enigma)

SANTOS, Neuza. Tornar-se negro ou as vicissitudes da identidade do negro brasileiro em ascensão social. Rio de Janeiro: Edições GRAAL. 1983. 

https://www.geledes.org.br/tag/frantz-fanon/

Deploy.me
Desenvolva sua carreira em UX Design, Produto e Dados com bootcamps imersivos, práticos e de curta duração com facilitadores das principais startups do Brasil e do mundo. How. Skills, not degrees.
15%OFF código:
DESIGN2021

Explore outros temas

A antiga, porém nova verdade sobre DesignOps

Guilherme Gonzalez
Guilherme Gonzalez

O Designer é a Interface - Desafios do design e experiência do usuário em tempos de isolamento social

Ubiratan Silva
Ubiratan Silva

2021: um ano para recomeçar (?)

Koji Pereira
Koji Pereira

Empreender e pivotar na profissão designer

Marcelo Leal Felix
Marcelo Leal Felix

Como Designers estamos preparados para um mundo que precisa de regeneração?

Barbara Villar
Barbara Villar

Liderança inclusiva, design e autoconhecimento

Thaly Sanches
Thaly Sanches

O Design e os trem por trás das coisa: Soft Skills, Multipotenciais e Polímatas

Brunão
Brunão

3 passos para mudança do mindset do time comercial

Rafael Xavier
Rafael Xavier

Liderança em Design: 5 dicas para quem quer virar Líder de Design

Victor Zanini
Victor Zanini

O que 2021 promete, além da vacina? Design Ops e Acessibilidade!

Paulo Aguilera Filho
Paulo Aguilera Filho

O designer nômade

Leo Ehrlich
Leo Ehrlich

As pegadinhas do nosso cérebro

Renata Carriel
Renata Carriel

Que em 2021 tenhamos tempo, dinheiro e saúde para fazer a diferença

Thiago Hassu
Thiago Hassu

Não coma o marshmallow

Camila Borja
Camila Borja

O design não vai salvar o mundo! Ou vai?

Bruna Castro
Bruna Castro

Vulnerabilidade e o primeiro passo contra a impostora

Tamy Lemos
Tamy Lemos

Você já foi um designer iniciante, Design no interior e Michael Scott

Felipe Marinelli
Felipe Marinelli

Uma carta para a Crítica

Vitor Amorim
Vitor Amorim

Desobediências conceituais no Design

Andrei Gurgel
Andrei Gurgel

Vamos parar de falar em Produto e vamos falar em Design de Serviço?

Erico Fileno
Erico Fileno

Voltando às raízes para um design acessível

Maju Santos
Maju Santos

Design como ferramenta para um mundo melhor

Camila Moletta
Camila Moletta

POs e PMs e suas relações com acessibilidade

Livia Gabos
Livia Gabos

UX + LGPD. A privacidade do usuário na era dos dados

Hideki Katsumoto
Hideki Katsumoto

Designer é solucionador de problemas ou colonizador?

Fernando França
Fernando França

Experiência do Usuário Surdo

Beatriz Lonskis
Beatriz Lonskis

E se a inovação pudesse ser guiada por processos de design mais colaborativos?

Larisa Paes de Lima
Larisa Paes de Lima

Design ético em pauta

Lucas Cruz
Lucas Cruz

A inevitável mudança do Design no "pós-pandemia"

Thoz
Thoz

Design é uma conversa cultural

Julia Nascimento
Julia Nascimento

É responsabilidade de quem?

Vinícius Gomes
Vinícius Gomes

Como vamos projetar serviços e produtos digitais na era da economia de vigilância?

Janayna Velozo
Janayna Velozo

A Jornada do Mentor - Como se tornar um herói em UX

Sheylla Lima Souza
Sheylla Lima Souza

Sua experiência com o futuro do trabalho está diretamente relacionada a quanto você se conhece

Kpelo
Kpelo

O Design no ano 21 do século 21: educação e trabalho pela cibercultura

André Grilo
André Grilo

ROI do Design e o Cafezinho

Felipe Melo Guimarães
Felipe Melo Guimarães

Design não é para todos, mas pode ser

Valéria Romano
Valéria Romano

Como construir maturidade de Design em empresas em transformação digital

Bianca Faraj
Bianca Faraj

O conceito equivocado de público-alvo que exclui pessoas

Talita Pagani
Talita Pagani

Uma nova visão holística do design

Bel Araújo
Bel Araújo

Transição de carreira e diversidade

Liliane Oliveira
Liliane Oliveira

O bom design durante os sintomas da pandemia

David Arty
David Arty

A motivação por trás de novos hábitos

Nathalia Cabral
Nathalia Cabral

Como quase ter virado um Product Manager me fez ser um Product Designer melhor

Filipe Bitencourt
Filipe Bitencourt

Design, um esporte coletivo e colaborativo

Beto Lima
Beto Lima

Menos sobre nomenclaturas e mais foco no que precisa ser feito

Renan Manço
Renan Manço

O papel do designer na desconstrução do ciclo da invisibilidade

Joyce Rocha
Joyce Rocha

UX Design não é modinha, é negócio

Luan Mateus
Luan Mateus

Designer Sobrevivente

Humberto Matos Valério da Silva
Humberto Matos Valério da Silva

"Fosse ou não à escola, eu estudava."

Ariana Dias Neves
Ariana Dias Neves

Visualizando os dados da comunidade de UX no Brasil

Carolina Leslie
Carolina Leslie

Métricas de UX: O que são, onde vivem e do que se alimentam?

Rafa Brandão
Rafa Brandão

Por uma comunidade de design mais aberta e colaborativa

Karina Tronkos
Karina Tronkos

O design pode mudar o mundo

Renato Paixão
Renato Paixão

A síndrome de impostor no design, o “outro” inatingível e ambientes tóxicos

Thomas Castro
Thomas Castro

UX Research na Era Inteligente

Gabriel Bastos
Gabriel Bastos

Pare de seguir os velhos padrões visuais

Raniel Oliveira
Raniel Oliveira

Design como fator de mudança para processos, cultura e maturidade nas empresas

Bruce Namatame
Bruce Namatame

O futuro é plural

Paola Sales
Paola Sales

Reflexões sobre a Escuta no Design de Experiências

Denise Rocha
Denise Rocha

Co-design: Não é só sobre Design

Wander Vieira
Wander Vieira

A crescente importância de tudo o que não sabemos

Bruno Canato
Bruno Canato

Você aprende aquilo com que se importa

Denise Pilar
Denise Pilar

Multiculturalismo remoto

Tai Civita
Tai Civita

Design realmente centrado no humano

Nina Telles
Nina Telles

Um convite para a auto-descoberta

Karen Tie
Karen Tie

Subiu, e agora? Como medir o sucesso e a performance do Design

Fernanda Magalhães
Fernanda Magalhães

Como a escuta no Design vem se tornando uma aliada em uma sociedade mais inclusiva

Valéria Reis
Valéria Reis

Cultura de UX sob aspecto da linguagem

Melina Alves
Melina Alves

Design para um time

Thais Yabuuti
Thais Yabuuti

UX e o Amanhã da Profissão

Amyris Fernandez
Amyris Fernandez

Receita de UX Designer

Leandro Rezende
Leandro Rezende

Design do Amanhã

Natalí Garcia
Natalí Garcia

A Maturidade do Designer UX

Ioná Dourado
Ioná Dourado

A visão de um designer que acredita na política do seu dia-a-dia aplicada a sociedade brasileira

Henrique Peixe
Henrique Peixe

Designer Produteiro

Robson Ramos
Robson Ramos

Design, liderança e ambientes seguros: reflexões e sugestões

Vinícius Vieira
Vinícius Vieira

Pensando design além da interface

Juliana Akemi Segawa Cangussu
Juliana Akemi Segawa Cangussu

UI Designer? Deus me livre, mas quem me dera!

Adelmo Neto
Adelmo Neto

Finalmente uma descentralização geográfica do design brasileiro?

Larissa Trindade
Larissa Trindade

Sou Designer, onde vou usar a fórmula de bháskara?

Rafael Miashiro
Rafael Miashiro

Design Ético: como nós, pessoas que consomem e desenvolvem, podemos atuar

Bianca Brancaleone
Bianca Brancaleone

Inovação em design organizacional: como ser prático na prática? 🚀

Eduardo Maia
Eduardo Maia

Preparando um time para o sucesso

David Pacheco
David Pacheco

Confissões de um designer apaixonado

Jane Vita
Jane Vita

21 coisas que tem que acabar em UX design para 2021

Rafaela de Souza da Silva
Rafaela de Souza da Silva

Aprendizados para 2021 sobre a acessibilidade digital em 2020

Liliane Claudia
Liliane Claudia

Design e cultura de experimentação

Leandro Lima
Leandro Lima

Precisamos falar sobre saúde mental em design

Marianna Piacesi
Marianna Piacesi

Fale com o seu ambiente e as novas experiências conversacionais

Caio Calado
Caio Calado

Designers will design

Juliana Morozowski
Juliana Morozowski

UX Writing: o desafio constante de aprender a se comunicar

Camila Gaidarji
Camila Gaidarji
não clique