Amazon Hiring AI

O que aconteceu

A Amazon montou um sistema pra dar nota de uma a cinco estrelas a currículos. Treinado com dez anos de currículos recebidos, em sua maioria de homens, o modelo aprendeu a penalizar a palavra 'women's' e diplomas de duas faculdades só para mulheres. Segundo a Reuters, a equipe corrigiu esses termos, mas não conseguiu garantir que o viés não voltaria por outro caminho, e o projeto foi desfeito no início de 2017. A história veio a público em 2018. A Amazon disse que a ferramenta nunca foi usada por recrutadores pra avaliar candidatos.

O que prometia ser

Um sistema de machine learning para automatizar a triagem de currículos e achar os melhores candidatos mais rápido.

O que deu errado

Dado histórico carrega a decisão histórica. O modelo aprendeu quem a empresa contratava, não quem era bom. E remover o termo óbvio não remove o padrão: ele reaparece em sinais indiretos.

O que dá pra aprender

• Dado histórico carrega viés histórico
• Tirar a palavra não tira o padrão
• Automação de RH exige auditoria de viés contínua
• Saber matar o projeto antes da produção também é resultado
• Algumas decisões precisam de humano no comando

Fontes

• Reuters (2018): Amazon abandona ferramenta secreta de recrutamento com viés contra mulheres