Microsoft Tay

Chatbot que aprendeu com a internet. Literalmente.

Causa da morte

Aprendeu com trolls e passou a repetir racismo em menos de um dia

Padrão de morte

Lançado sem guardrail (padrão de mercado)
Foi pro público sem teste adversarial nem limite claro. O público testou por conta própria.

Dinheiro envolvido: Não divulgado
Alcance: Mais de 96 mil tweets publicados antes de sair do ar

O que aconteceu

Em 23 de março de 2016 a Microsoft colocou no Twitter a Tay, um chatbot com jeito de adolescente americana, feito pra aprender conversando. Em menos de 16 horas, um grupo de usuários ensinou o bot a repetir conteúdo racista e ofensivo. A Microsoft tirou do ar e pediu desculpas. Uma semana depois o bot voltou por engano durante um teste e deu vexame de novo.

O que prometia ser

Um experimento de IA conversacional que aprenderia com interações públicas no Twitter, mirando o público de 18 a 24 anos.

O que deu errado

O bot aprendia com quem falava com ele, e quem mais falou foi quem queria quebrar. Faltou filtro, faltou teste adversarial antes de soltar, e o recurso de repetir frases virou alto-falante pra qualquer um.

O que dá pra aprender

IA pública precisa de guardrail antes do primeiro usuário
Nunca subestime a criatividade de troll
Aprender com o público sem filtro é terceirizar o treinamento pra quem quer te derrubar
Teste em ambiente controlado antes de abrir
Tenha botão de desligar pronto, e saiba quem aperta

Fontes

Não quero meu projeto aqui Ver todo o cemitério