Em janeiro de 2020, um americano chamado Robert Julian-Borchak Williams recebeu uma ligação enquanto estava trabalhando, pedindo que se dirigisse ao Departamento de Polícia de Detroit para ser preso. Inicialmente, Williams achou que se tratasse de uma brincadeira. Contudo, ao retornar para casa, percebeu que o telefonema havia sido verdadeiro: o homem foi abordado por uma viatura de polícia antes mesmo de sair de seu carro. Os policiais o algemaram em frente à sua casa, perante os rostos chocados de sua esposa e filhas, sem conceder-lhes nenhuma explicação sobre o motivo da detenção.

Williams foi detido, interrogado e teve seu DNA coletado. "É você?", perguntou um dos policiais, entregando-lhe uma imagem vinda de uma câmera de segurança que mostrava um homem negro em frente à vitrine de uma joalheria em Detroit. "Este não sou eu", Williams respondeu, segurando a foto ao lado de seu rosto. "Você acha que todos os homens negros são parecidos?", indagou. Os detetives se entreolharam e um deles, parecendo decepcionado, reconheceu o equívoco: "Acho que o computador errou" (1).

Williams foi tomado como suspeito pela autoria de um crime que, de fato, não cometeu. Imagens advindas do circuito de câmeras de segurança da joalheria em que ocorreu o delito foram comparadas e processadas em uma base de dados de mais de 49 milhões de fotografias, e Williams terminou por ser identificado ― erroneamente ― pelo algoritmo de reconhecimento facial usado pela polícia de Detroit. O caso é emblemático por se tratar do primeiro registro de um americano preso ao ser identificado de modo equivocado por um sistema de algoritmo de reconhecimento facial usado por forças policiais ― ainda que possivelmente não tenha sido o primeiro a ocorrer.

Assim, as metrópoles contemporâneas passam a incorporar em seu cotidiano tecnologias que há pouco eram exclusivamente empregadas em zonas de conflito bélico. Este é também o caso dos drones, veículos aéreos não-tripulados concebidos originalmente para serem utilizados em missões militares, hoje progressivamente utilizados dentro de espaços urbanos, tanto por civis quanto por militares.

Para caracterizar este processo de militarização das cidades, o arquiteto e pesquisador Stephen Graham cunha o termo "o novo urbanismo militarizado" (the new military urbanism). Segundo o autor, a produção urbana tem passado por um processo de militarização radical, embasado pela narrativa de um permanente estado de guerra ― seja ela contra o terrorismo, contra as drogas, o crime, a pobreza ou a qualquer elemento de alteridade entendido como perigoso. Essa alegação da necessidade de se proteger constantemente de um “outro” hostil configura um eterno estado de emergência, no qual o monitoramento civil é entendido como estratégia fundamental de prevenção às ameaças. Deste modo, aparatos digitais de “controle, vigilância, comunicação, simulação e segmentação” (2) militares são transpostos para a vida civil cotidiana, materializando-se em espaços urbanos cada vez mais fortificados, isolados e controlados.

Evidentemente, as práticas de monitoramento espacial urbano não são exclusivas da contemporaneidade. A lista da parafernalha de vigilância é extensa, e vem desde a histórica estrutura panóptica proposta por Jeremy Bentham no século 18, até elementos mais recentes, como os circuitos fechados de câmeras, as guaritas, as cercas elétricas e os scanners corporais. Todavia, atualmente a integração entre o espaço físico e o meio digital fornece possibilidades de controle das cidades em escalas até então desconhecidas. A vigilância deixa de ser um elemento concreto e pontual nas cidades, e passa a se tornar pulverizada de modo imaterial para a palma das mãos ― pensemos na coleta de dados que ocorre a todo tempo a partir dos nossos telefones celulares, por exemplo.

A onipresença da vigilância é o grande revés das cidades que adotam estratégias das chamadas smart cities. À primeira vista, a constante coleta de macrodados urbanos parece legítima se pensarmos apenas na finalidade de garantir espaços urbanos mais seguros, otimizados e sustentáveis. Contudo, há um preço alto a se pagar pela intersecção do estado perpétuo de vigilância digital com o território das cidades, sobretudo quando o monitoramento recai sobre indivíduos que historicamente vivenciam camadas de opressão e discriminação.

Um estudo concluído em 2019 pelo National Institute of Standards and Technology (3) revelou que os sistemas de reconhecimento facial têm entre dez a cem vezes mais chances de indicar falsos positivos em se tratando de pessoas negras, asiáticas ou indígenas, em comparação a pessoas brancas. Enquanto a tecnologia funciona de modo preciso ao se comparar pessoas de pele branca, a exatidão dos resultados é significativamente menor em outros perfis raciais, parcialmente em razão da falta de diversidade nas imagens usadas para desenvolver os bancos de dados. Outro estudo desenvolvido no Massachusetts Institute of Technology em 2018 (4) revela que mulheres negras são o perfil com maior taxa de erros em sistemas de reconhecimento facial, com estatísticas de falha de até 34.7% (em comparação a até 0.7% do mesmo erro em homens brancos, por exemplo).

The Aspire Mirror, obra de Joy Buolamwini
Imagem divulgação [website Aspire Mirror]

A artista americana Joy Buolamwini constatou essa discrepância na prática enquanto desenvolvia sua obra Aspire Mirror, em 2016. O projeto consiste em um dispositivo espelhado que usa tecnologias de reconhecimento facial para captar reflexos de rostos humanos e substituí-los por outras imagens. Ao testar o funcionamento efetivo da máquina, Buolamwini se deu conta de que o software não era capaz de capturar o seu próprio rosto. A situação se invertia, contudo, quando ela utilizava uma máscara branca.

A partir de então, a artista iniciou um trabalho de investigação sobre a existência de discriminação racial e de gênero ― especialmente quando combinadas ― dentro das tecnologias de inteligência artificial. Buolamwini constatou que muitas mulheres negras não são sequer identificadas como mulheres pelos softwares de reconhecimento facial ― e isto se aplica até mesmo para celebridades, como Oprah Winfrey, Michelle Obama e Serena Williams.

Ocorre que as tecnologias de inteligência artificial são treinadas observando os padrões de grandes bancos de dados, herdando também os referenciais discriminatórios ― conscientes ou não ― dos seres humanos que os desenvolvem. "Racismo algorítmico" é a expressão que descreve o potencial discriminatório contido em tecnologias como esta de reconhecimento facial, uma vez que a base de dados matemáticos que forma seus algoritmos reproduz a presença do racismo estrutural de nossa sociedade. Deste modo, apesar de se acreditar, enquanto senso comum, que os sistemas de automação digital são neutros e produzem apenas análises imparciais fundadas em dados objetivos, é essencial entender que seus resultados refletem os valores, a visão subjetiva e os preconceitos de quem os programou, perpetuando “narrativas particulares que refletem distribuições de poder na sociedade” (5).

A comprovação de que a tecnologia de reconhecimento facial possui um viés racial é alarmante, pois não só nos recorda da imprudência em confiar questões complexas ao julgamento exclusivo de máquinas, como também suscita graves ameaças aos direitos civis. Conveniente dizer que não se trata apenas de aprimorar a tecnologia em si para que as falhas técnicas no processo de identificação sejam resolvidas, mas sim de podermos decidir se efetivamente queremos adotar algoritmos de reconhecimento facial no cotidiano de nossas cidades ― e sob quais condições. A possibilidade de que a vigilância bioalgorítimica se universalize numa escala sem precedentes a partir desta tecnologia é alarmante, à medida em que abre espaço para que direitos básicos se dissolvam diariamente ― pensemos em episódios de invasão de privacidade, de pré-criminalização de grupos sociais já marginalizados e de repressão a protestos políticos pacíficos pela polícia militar.

Ainda não é sabido se a polícia estadounidense utilizou tecnologias de reconhecimento facial para identificar manifestantes durante os protestos ocorridos em 2020 em resposta ao assassinato brutal de George Floyd ― o próprio órgão declara que a transparência quanto ao uso desses instrumentos seria prejudicial à sua atuação. Contudo, em outras partes do mundo a tecnologia já é empregada em protestos políticos há algum tempo. Hong Kong, em 2019, foi palco de uma série de manifestações em que o uso assumido de reconhecimento facial por parte da polícia motivou manifestantes a usarem máscaras e apontarem lasers para confundir os sistemas de reconhecimento facial usado pelas autoridades locais. Em Santiago do Chile, no mesmo ano, os lasers também foram usados para derrubar drones que monitoravam os vultosos protestos contra o governo.

Mas o que acontece quando o instrumento que a polícia utiliza para identificar pessoas em meio a multidões urbanas passa a ser empregado contra ela? Essa é a investigação proposta pelo artista italiano Paolo Cirio na série de fotos chamada Capture. Em 2020, Cirio coletou na internet mil fotografias de protestos recentes ocorridos na França e processou-as em um software de reconhecimento facial. Criou, então, uma plataforma online que compilava os rostos de quatro mil policiais que resultaram desse processo, objetivando descobrir seus nomes via crowdsourcing. Por fim, espalhou-as como cartazes do tipo lambe-lambe nos espaços públicos de Paris.

Capture, série de fotos de Paolo Cirio
Imagem divulgação [website do artista Paolo Cirio]

Por meio desse trabalho, Cirio descortina a problemática que há em torno dos potenciais abusos do reconhecimento facial, marcando a assimetria de poder quando a tecnologia é utilizada por forças policiais para vigiar a população civil, majoritariamente. O artista, reconhecido por seu trabalho ativista, lançou junto com a série de fotos uma campanha a favor de banir o uso do reconhecimento facial na União Europeia, somando-se a um crescente movimento contra essa tecnologia ao redor do mundo.

Relevante também dizer que ainda que o desenvolvimento e aplicação desta tecnologia tenham se dado em países da América do Norte, da Europa e da Ásia, sua aplicação não se restringe a estes locais. De modo incipiente, países da América Latina, em especial o Brasil, já passam pelo mesmo processo. Em janeiro de 2020, a prefeitura de São Paulo oficializou que a Polícia Civil passaria a utilizar um laboratório de reconhecimento facial e identificação biométrica em suas investigações (6). No ano anterior, o Metrô da cidade já havia anunciado a implementação de um sistema de monitoramento por reconhecimento facial em alguma de suas linhas (7), no mesmo dia em que um sistema semelhante adotado no Rio de Janeiro, então em fase de testes, falhou e identificou erroneamente uma mulher como suspeita (8).

notas

NA ― Ensaio adaptado a partir de MORAES, Maria Carolina Farah Nassif de. Cidade na era do capitalismo de vigilância. In Tecnoutopias Urbanas. Trabalho final de graduação. São Paulo, FAU USP, 2020.

1
A cobertura completa do caso foi feita pelo jornal The New York Times. HILL, Kashmir. Wrongfully acused by an algorithm. The New York Times, Nova York, 24 jun. 2020 <https://nyti.ms/3qJb9pZ>.

2
GRAHAM, Stephen. Cities under siege: the new military urbanism. Londres, Verso, 2011, p. 62. Tradução da autora.

3
GROTHER, Patrick; NGAN, Mei; HANAOKA, Kayee. Face Recognition Vendor Test (FRVT). Part 3: Demographic Effects. National Institute of Standards and Technology, Gaithersburg, dez. 2019 <https://bit.ly/3kbD53E>.

4
BUOLAMWINI, Joy; GEBRU, Timnit. Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. Proceedings of Machine Learning Research. Conference on Fairness, Accountability, and Transparency, 2018 <https://bit.ly/3scirD9>.

5
NOBLE, Safiya Umoja. Algorithms of Oppression: How Search Engines Reinforce Racism. Nova York, NYU Press, 2018, p. 87. Tradução da autora.

6
Governo inaugura laboratório de reconhecimento facial e digital da Polícia Civil. Governo do Estado de São Paulo, 28 jan. 2020 <https://bit.ly/3aEdxZP>.

7
LOBEL, Fabrício. Metrô de SP terá vigilância com reconhecimento facial. Folha de S.Paulo, São Paulo, 17 jul. 2019 <https://bit.ly/3qEQQtR>.

8
ALBUQUERQUE, Ana Luiza. Em fase de testes, reconhecimento facial no Rio falha no 2º dia. Folha de S.Paulo, São Paulo, 17 jul. 2019 <https://bit.ly/2M8qUrH>.

sobre a autora

preâmbulo

O presente artigo faz parte de Preâmbulo, chamada aberta proposta pelo IABsp e portal Vitruvius como ação para alavancar a discussão em torno da 13ª edição da Bienal Internacional de Arquitetura de São Paulo, prevista para 2022. As colaborações para as revistas Arquitextos, Entrevista, Minha Cidade, Arquiteturismo, Resenhas Online e para a seção Rabiscos devem abordar o tema geral da bienal – a “Reconstrução” – e seus cinco eixos temáticos: democracia, corpos, memória, informação e ecologia. O conjunto de colaborações formará a Biblioteca Preâmbulo, a ser disponibilizada no portal Vitruvius. A equipe responsável pelo Preâmbulo é formada por Sabrina Fontenelle, Mariana Wilderom, Danilo Hideki e Karina Silva (IABsp); Abilio Guerra, Jennifer Cabral e Rafael Migliatti (portal Vitruvius).