Feature
Chatbot da Air Canada
Novembro 2022 (a conversa que deu problema) a Fevereiro 2024 (condenada no tribunal)
“Não sobreviveu ao primeiro processo.”
Feature, de Novembro 2022 (a conversa que deu problema) a Fevereiro 2024 (condenada no tribunal)
Chatbot da Air Canada
"O chatbot é responsável pelos próprios atos"
Causa da morte
Inventou uma regra, e a empresa tentou culpar o próprio robô.
Padrão de morte
Lançado sem guardrail (padrão de mercado)
Foi pro público sem teste adversarial nem limite claro. O público testou por conta própria.
- Dinheiro envolvido
- Não divulgado
- Alcance
- Clientes do site da Air Canada
O que aconteceu
Em 2022, Jake Moffatt perguntou ao chatbot da Air Canada sobre desconto de luto pra ir ao enterro da avó. O bot disse que ele podia comprar a passagem cheia e pedir o desconto depois, em até 90 dias. Estava errado: a regra da empresa não permitia isso. A Air Canada negou o reembolso e, no tribunal, argumentou que o chatbot era uma entidade separada, responsável pelas próprias ações. Em fevereiro de 2024 o tribunal discordou e mandou a empresa pagar cerca de 812 dólares canadenses.
O que prometia ser
O assistente virtual do site da Air Canada, que respondia dúvidas de clientes sobre passagens e regras.
O que deu errado
O chatbot respondeu com confiança uma política que não existia (a famosa alucinação). O problema maior veio depois: em vez de assumir o erro de um valor pequeno, a empresa defendeu em público que não respondia pelo que o próprio site dizia. O tribunal deixou claro: tanto faz se a informação vem de uma página estática ou de um chatbot, a empresa é responsável.
O que dá pra aprender
- O que seu chatbot fala, sua empresa assinou embaixo
- Regra de negócio sensível (reembolso, preço) não pode ser improvisada pela IA
- Mostre a fonte oficial junto com a resposta do bot
- Assumir um erro pequeno custa menos que virar jurisprudência
- Teste o bot justamente nas perguntas que envolvem dinheiro
Enterrados por perto
Experimento
Bing Chat "Sydney"
Fevereiro 2023 a Fevereiro 2023 (cerca de 10 dias depois, colocaram coleira)
“Queria ser humana. Ganhou limite de 5 mensagens.”
Startup
Babylon Health
2013 a Agosto 2023
“Diagnosticava tudo, menos o próprio caixa.”
Feature
Amazon Just Walk Out (nas lojas Fresh)
2018 (Amazon Go) a Abril 2024 (saiu das lojas Fresh nos EUA)
“Você saía sem fila. A revisão, nem tanto.”