Experimento
Meta Galactica
Novembro 2022 a Novembro 2022 (3 dias depois)
“Citou papers que não existiam. Durou três dias.”
Experimento, de Novembro 2022 a Novembro 2022 (3 dias depois)
Meta Galactica
LLM científico que inventava referência
Causa da morte
Escrevia ciência convincente e errada
Padrão de morte
Lançado sem guardrail (padrão de mercado)
Foi pro público sem teste adversarial nem limite claro. O público testou por conta própria.
- Dinheiro envolvido
- Não divulgado
- Alcance
- Demo pública, tirada do ar em 3 dias
O que aconteceu
Em 15 de novembro de 2022 a Meta abriu a demo do Galactica, um modelo treinado em artigos científicos, livros e bases de referência pra ajudar pesquisador a resumir, citar e escrever. Em poucas horas apareceram textos com cara de artigo e conteúdo inventado, e o filtro de assunto se mostrou inconsistente. Em 17 de novembro a demo foi pausada.
O que prometia ser
Um assistente de pesquisa que resumiria literatura acadêmica, geraria citações e escreveria textos técnicos.
O que deu errado
Gerava texto científico com tom de autoridade e erro de fato no meio. O filtro de conteúdo bloqueava coisa inofensiva e deixava passar coisa perigosa. E a apresentação vendia ferramenta de trabalho, não experimento.
O que dá pra aprender
- Alucinação em contexto científico não é detalhe
- Chame especialista do domínio pra quebrar antes de lançar
- Tom confiante piora o erro
- Deixe claro o que é experimento
- Comunidade técnica testa sua demo em horas