Produto
Amazon Rekognition (para a polícia)
Novembro 2016 a Junho 2020 (moratória)
“Errou mais com quem não podia errar. Parou por pressão.”
Produto, de Novembro 2016 a Junho 2020 (moratória)
Amazon Rekognition (para a polícia)
Reconhecimento facial vendido para polícias
Causa da morte
Erro desigual entre grupos e pressão pública
Padrão de morte
Risco, regulação e confiança (padrão de mercado)
Dano real, viés, privacidade ou segurança. Regulador, tribunal ou opinião pública fecharam a porta.
- Dinheiro envolvido
- Parte da AWS
- Alcance
- Agências policiais nos EUA (número não divulgado)
O que aconteceu
A AWS vendia o Rekognition, serviço de reconhecimento facial, também para polícias nos EUA. Em 2018 a ACLU fez um teste em que o sistema associou 28 membros do Congresso americano a fotos de fichas criminais, com proporção maior de pessoas negras entre os erros. Em 2019 um estudo do MIT apontou mais erros com mulheres de pele escura. A Amazon contestou os dois, dizendo que os testes usaram limite de confiança abaixo do recomendado. Em junho de 2020, em meio aos protestos pela morte de George Floyd, a empresa suspendeu por um ano a venda para polícias. Em maio de 2021 estendeu a suspensão sem prazo.
O que prometia ser
Reconhecimento facial na nuvem para identificar suspeitos e apoiar investigação policial.
O que deu errado
Testes independentes mostraram taxa de erro diferente por cor de pele e gênero. A discussão saiu do laboratório e foi parar no Congresso, entre funcionários e acionistas. Em uso policial, falso positivo vira abordagem, e 'depende do limite de confiança' não convence ninguém.
O que dá pra aprender
- Teste viés antes de vender, não depois do estudo alheio
- O contexto de uso define o tamanho do dano
- Configuração recomendada que ninguém segue não protege
- Pressão pública também é requisito de produto
- Nem toda aplicação de IA deve existir