Post-mortem: o painel que mediu errado o próprio valor
A plataforma de conteúdo com IA mostrava 12h50 de tempo economizado. O certo era cerca de 394 horas no período.
Contexto
A plataforma de conteúdo com IA tinha um painel de uso com o tempo economizado. Tudo parecia no lugar, inclusive o número que deveria provar valor. Só que o número estava errado.
Bastidores
O painel mostrava 12 horas e 50 minutos. O cálculo correto, ponderado por tipo de peça, dava cerca de 394 horas no período de abril a agosto de 2026.
Duas causas, e as duas ensinam:
O cálculo ignorava completamente as 1.455 gerações de texto, que são o coração do produto. Somava só agendamentos e imagens.
E contava errado as imagens: 148 onde o real eram 167.
O erro só apareceu quando fui montar o painel consolidado do laboratório e os números não bateram. O erro jogava contra: o produto valia cerca de 30 vezes mais do que a tela mostrava.
Status: bug registrado como dívida do produto. O painel do laboratório usa o cálculo auditado, não o da tela.
Fonte: livro O Laboratório que Sobrevive, caps. 10 e 13.
Aprendizados
- →
Número que aparece na tela tem uma autoridade que ele não necessariamente mereceu.
- →
É tentador desconfiar do número de outra área e confiar no que o próprio laboratório colocou na tela. A pergunta que faltou: quem conferiu?
- →
Medição embutida no produto também precisa de auditoria.
Como Replicar
1Recalcule por fora
2Confira se o principal está na conta
3Compare na consolidação
Gostou deste experimento?
Os próximos chegam primeiro no Doug Drops. E o painel mostra todos os casos do laboratório lado a lado.