A base que faz todo o resto parar de parecer magia

Entenda LLMs. Depois construa sistemas que sobrevivem à realidade.

Uma trilha completa em português sobre funcionamento, uso, RAG, APIs, avaliação, fine-tuning, modelos locais, segurança e ROI.

Atualizado em 14/07/20260 de 75 lições escritasTrilha completa: 75 etapas · 55h45min

Seu progresso …

Só lição escrita conta. As que estão tracejadas no mapa ainda são só o roteiro.

Transparência: o mapa está inteiro, o texto não. Lição com borda cheia está pronta pra ler. Tracejada com Em breve ainda é só o roteiro.

1O modelo mentalcorreto2Por baixo do capô3Como o modelo viraassistente4Usar bem semprocurar feitiço5Contextengineering, busca…6Construindo pelaAPI7Avaliação econfiabilidade8Adaptando modelos9Modelos abertos,locais e serving10Segurança,governança e valorBoss final: Build,evaluate, attack,…

Toque num território pra ir até ele. Os apagados ainda não têm lição escrita. Card só sai quando o território inteiro estiver escrito e concluído.

Rota

Filtros

Terminou a trilha?

Recebe as próximas no Doug Drops, ou me chama pra aplicar isso no seu contexto.

Doug DropsCrie seu LAB

Eu posto o que testo por aqui:

Ver conteúdo completo da trilha (modo leitura)

LLMs

Uma trilha completa em português sobre funcionamento, uso, RAG, APIs, avaliação, fine-tuning, modelos locais, segurança e ROI.

A base que faz todo o resto parar de parecer magia

0 de 75 lições escritas até agora. As outras aparecem com o roteiro do que vão cobrir.

Verificado em: 14/07/2026

Rotas de aprendizagem

  • Foco Leader: Seleção para decisão, risco, custo, governança e adoção. · 52h estimadas · 70 etapas
  • Foco Builder: Seleção para construir produtos e workflows com LLMs. · 49h estimadas · 66 etapas
  • Trilha completa: Todo o mapa, incluindo arquitetura, adaptação, serving e governança. · 56h estimadas · 75 etapas
  • Foco Developer: Seleção para API, RAG, avaliação, fine-tuning e serving. · 56h estimadas · 75 etapas
  • Rota essencial: O caminho principal para entender LLMs e construir um sistema confiável. · 29h estimadas · 37 etapas
  • Modelos locais e abertos: Licenças, hardware, quantização, serving e arquitetura híbrida. · 6h estimadas · 8 etapas
  • Produção: RAG, APIs, evals, segurança e operação. · 13h estimadas · 17 etapas
  • Por baixo do capô: Arquitetura, treino, pós-treino e raciocínio. · 8h estimadas · 12 etapas

Antes de chamar autocomplete estatístico de consciência.

Território 1: O modelo mental correto

Entenda o que um LLM faz, o que ele não faz e por que fluência não é prova de verdade.

7 etapas · 4h 00min

O que é um LLM de verdade

Essencial25 minEm breve (ainda não escrita; abaixo, o roteiro)

Um LLM é um modelo neural treinado em grandes volumes de dados para prever e gerar sequências.

Sem esse fundamento, comportamento emergente vira misticismo e erro plausível vira opinião.

  • Distinguir modelo, produto, chatbot e sistema
  • Entender treino e inferência
  • Separar fluência de conhecimento
  • Reconhecer capacidades e limites

Resultado: Definição operacional de LLM

Prática

Explique o que é um LLM sem usar consciência, pensamento ou banco de dados.

Entregável: Definição operacional de LLM

✓ Prove que concluiu: Definição operacional de LLM

  • O entregável “Definição operacional de LLM” existe e pode ser revisado por outra pessoa.

É previsão de próximo token, não busca por resposta pronta

Essencial35 minEm breve (ainda não escrita; abaixo, o roteiro)

O modelo produz uma distribuição de probabilidades e escolhe um token por vez.

A natureza autoregressiva explica variação, erro acumulado e respostas convincentes sem fonte.

  • Entender previsão token a token
  • Ler probabilidades como continuações
  • Reconhecer dependência do histórico
  • Entender propagação de erro

Resultado: Mapa de continuações

Prática

Compare as continuações de uma frase ambígua.

Entregável: Mapa de continuações

✓ Prove que concluiu: Mapa de continuações

  • O entregável “Mapa de continuações” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Next Token Playground(em breve)

Tokens, tokenização e o preço escondido das palavras

Essencial35 minEm breve (ainda não escrita; abaixo, o roteiro)

Texto é convertido em unidades numéricas cujo tamanho varia por idioma, código e tokenizer.

Usuário vê caracteres. O modelo e a fatura veem tokens.

  • Entender subwords e tokens especiais
  • Comparar idiomas e código
  • Relacionar tokens a custo
  • Reconhecer diferenças entre tokenizers

Resultado: Relatório de tokenização

Prática

Compare três versões do mesmo pedido em português e inglês.

Entregável: Relatório de tokenização

✓ Prove que concluiu: Relatório de tokenização

  • O entregável “Relatório de tokenização” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Tokenizer Comparator(em breve)

Probabilidade, temperatura e variação

35 minEm breve (ainda não escrita; abaixo, o roteiro)

Parâmetros de geração alteram como o sistema escolhe entre continuações possíveis.

A mesma entrada pode gerar saídas diferentes, mas nem todo provedor expõe os mesmos controles.

  • Entender temperatura, top-p e top-k
  • Separar criatividade de aleatoriedade
  • Escolher consistência pela tarefa
  • Reconhecer limites de reprodutibilidade

Resultado: Experimento de variação

Prática

Rode a mesma tarefa várias vezes com duas configurações.

Entregável: Experimento de variação

✓ Prove que concluiu: Experimento de variação

  • O entregável “Experimento de variação” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Next Token Playground(em breve)

Janela de contexto: o que cabe na mesa agora

Essencial35 minEm breve (ainda não escrita; abaixo, o roteiro)

A janela contém instruções, conversa, documentos, ferramentas e saída em disputa pelo mesmo espaço.

Contexto grande não significa atenção perfeita, memória permanente ou uso gratuito.

  • Distinguir contexto e conhecimento treinado
  • Entender entrada e saída na mesma janela
  • Reconhecer degradação em contexto longo
  • Planejar o que entra

Resultado: Orçamento de contexto

Prática

Identifique o que remover, resumir ou recuperar sob demanda em uma sessão longa.

Entregável: Orçamento de contexto

✓ Prove que concluiu: Orçamento de contexto

  • O entregável “Orçamento de contexto” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Context Window Simulator(em breve)

Conhecimento, cutoff, memória e dados recentes

35 minEm breve (ainda não escrita; abaixo, o roteiro)

O modelo traz padrões do treino, recebe contexto e pode usar memória ou busca adicionadas pelo produto.

Misturar essas fontes faz o usuário acreditar que o modelo sabe algo que acabou de receber.

  • Separar treino e contexto
  • Entender cutoff como limite aproximado
  • Distinguir memória e pesos
  • Saber quando buscar dados atuais

Resultado: Mapa de fontes de conhecimento

Prática

Classifique respostas por provável origem: treino, contexto, memória, busca ou ferramenta.

Entregável: Mapa de fontes de conhecimento

✓ Prove que concluiu: Mapa de fontes de conhecimento

  • O entregável “Mapa de fontes de conhecimento” existe e pode ser revisado por outra pessoa.

Alucinação, incerteza e calibração

Essencial40 minEm breve (ainda não escrita; abaixo, o roteiro)

O modelo completa padrões plausíveis mesmo quando a resposta correta não está disponível.

Pedir confiança em porcentagem não transforma plausibilidade em probabilidade calibrada.

  • Reconhecer tipos de alucinação
  • Identificar tarefas de maior risco
  • Pedir evidência verificável
  • Projetar fallback e abstenção

Resultado: Placar de alucinação

Prática

Audite referências, números e nomes produzidos para um tema de nicho.

Entregável: Placar de alucinação

✓ Prove que concluiu: Placar de alucinação

  • O entregável “Placar de alucinação” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Hallucination Detective(em breve)

Sem doutorado, mas também sem desenho de robô com lâmpada.

Território 2: Por baixo do capô

Entenda embeddings, atenção, transformers, parâmetros e escala em profundidade suficiente para decidir.

7 etapas · 4h 55min

Redes neurais, pesos e parâmetros

40 minEm breve (ainda não escrita; abaixo, o roteiro)

Parâmetros são valores aprendidos que transformam representações ao longo de camadas.

Contar parâmetros sem entender ativação, dados e arquitetura gera decisão ruim.

  • Entender entrada, camada e saída
  • Distinguir parâmetro de contexto
  • Relacionar tamanho a custo
  • Reconhecer que tamanho não é qualidade universal

Resultado: Mapa de parâmetros

Prática

Desenhe uma rede simplificada e explique onde o aprendizado fica.

Entregável: Mapa de parâmetros

✓ Prove que concluiu: Mapa de parâmetros

  • O entregável “Mapa de parâmetros” existe e pode ser revisado por outra pessoa.

Embeddings: significado como posição

Essencial35 minEm breve (ainda não escrita; abaixo, o roteiro)

Embeddings representam itens em vetores onde proximidade captura relações aprendidas.

Eles sustentam busca semântica, clustering, recomendação e partes do próprio modelo.

  • Distinguir token embedding e embedding de texto
  • Entender similaridade
  • Reconhecer limitações de domínio
  • Aplicar em busca

Resultado: Mapa semântico

Prática

Compare frases próximas, ambíguas e fora do domínio.

Entregável: Mapa semântico

✓ Prove que concluiu: Mapa semântico

  • O entregável “Mapa semântico” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Embedding Explorer(em breve)

Atenção: quais partes influenciam quais partes

45 minEm breve (ainda não escrita; abaixo, o roteiro)

Atenção cria relações ponderadas entre tokens para construir representações dependentes do contexto.

Não é explicação perfeita do raciocínio, mas é peça central do Transformer.

  • Entender query, key e value conceitualmente
  • Visualizar relações
  • Distinguir atenção e explicabilidade
  • Relacionar atenção a custo

Resultado: Mapa de atenção conceitual

Prática

Anote quais palavras precisam se relacionar para resolver uma frase ambígua.

Entregável: Mapa de atenção conceitual

✓ Prove que concluiu: Mapa de atenção conceitual

  • O entregável “Mapa de atenção conceitual” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Transformer Visualizer(em breve)

Transformer: blocos que aprendem relações em paralelo

Essencial50 minEm breve (ainda não escrita; abaixo, o roteiro)

Transformers combinam embeddings, atenção, camadas feed-forward, normalização e conexões residuais.

A arquitetura explica treinamento paralelo, geração sequencial e custo de inferência.

  • Percorrer o caminho do token
  • Entender camadas e residuals
  • Distinguir encoder e decoder
  • Relacionar arquitetura a famílias

Resultado: Mapa do Transformer

Prática

Monte o caminho de uma frase desde tokenização até logits.

Entregável: Mapa do Transformer

✓ Prove que concluiu: Mapa do Transformer

  • O entregável “Mapa do Transformer” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Transformer Visualizer(em breve)

Pré-treino: aprender padrões em escala

40 minEm breve (ainda não escrita; abaixo, o roteiro)

O modelo ajusta parâmetros para prever tokens em corpora enormes.

Dado, deduplicação, mistura de fontes e qualidade afetam capacidade, viés e memorização.

  • Entender objetivo de pré-treino
  • Separar batch e passo
  • Reconhecer curadoria e contaminação
  • Relacionar dados a comportamento

Resultado: Mapa de dados de treino

Prática

Crie uma ficha de riscos para um corpus hipotético.

Entregável: Mapa de dados de treino

✓ Prove que concluiu: Mapa de dados de treino

  • O entregável “Mapa de dados de treino” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Training Pipeline Map(em breve)

Scaling laws, compute e eficiência de treino

45 minEm breve (ainda não escrita; abaixo, o roteiro)

Desempenho depende da relação entre parâmetros, dados e computação.

Modelo subtreinado pode ser enorme e ineficiente.

  • Entender curvas de escala
  • Relacionar dados e parâmetros
  • Conhecer compute-optimal
  • Separar treino e inferência

Resultado: Análise de escala

Prática

Compare dois cenários de orçamento de treino e identifique o gargalo.

Entregável: Análise de escala

✓ Prove que concluiu: Análise de escala

  • O entregável “Análise de escala” existe e pode ser revisado por outra pessoa.

Modelos densos, Mixture of Experts e parâmetros ativos

40 minEm breve (ainda não escrita; abaixo, o roteiro)

MoE roteia tokens para subconjuntos de especialistas.

Parâmetros totais escondem quantos parâmetros realmente são ativados.

  • Distinguir denso e esparso
  • Entender roteamento
  • Relacionar parâmetros ativos a compute
  • Reconhecer desafios de serving

Resultado: Ficha de arquitetura

Prática

Compare uma arquitetura densa e uma MoE.

Entregável: Ficha de arquitetura

✓ Prove que concluiu: Ficha de arquitetura

  • O entregável “Ficha de arquitetura” existe e pode ser revisado por outra pessoa.

Pré-treino ensina linguagem. Pós-treino ensina comportamento.

Território 3: Como o modelo vira assistente

Entenda instruções, preferências, raciocínio, ferramentas e efeitos colaterais do alinhamento.

7 etapas · 4h 40min

Base model, instruct model e produto final

Essencial35 minEm breve (ainda não escrita; abaixo, o roteiro)

O base model continua texto. O instruct model foi ajustado para responder a comandos.

Comparar comportamento sem saber o estágio mistura capacidade com interface e alinhamento.

  • Distinguir base e instruct
  • Entender chat templates
  • Separar modelo e produto
  • Reconhecer filtros e ferramentas

Resultado: Comparação base versus instruct

Prática

Compare continuação de texto e resposta instrucional.

Entregável: Comparação base versus instruct

✓ Prove que concluiu: Comparação base versus instruct

  • O entregável “Comparação base versus instruct” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Training Pipeline Map(em breve)

SFT: aprender com exemplos de boa resposta

40 minEm breve (ainda não escrita; abaixo, o roteiro)

SFT treina o modelo em pares de entrada e saída desejada.

A consistência dos exemplos vira comportamento repetido em escala.

  • Entender dataset de instrução
  • Distinguir SFT de pré-treino
  • Reconhecer imitação e cobertura
  • Relacionar exemplo ruim a comportamento

Resultado: Mini dataset de SFT

Prática

Crie cinco exemplos de treino e audite inconsistências.

Entregável: Mini dataset de SFT

✓ Prove que concluiu: Mini dataset de SFT

  • O entregável “Mini dataset de SFT” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Alignment Lab(em breve)

RLHF, RLAIF e modelos de preferência

45 minEm breve (ainda não escrita; abaixo, o roteiro)

Preferências humanas ou sintéticas ajudam o modelo a escolher respostas mais úteis ou seguras.

O que recebe recompensa tende a aparecer, inclusive bajulação e excesso de cautela.

  • Entender comparação de respostas
  • Conhecer reward model
  • Distinguir feedback humano e de IA
  • Reconhecer efeitos colaterais

Resultado: Dataset de preferências

Prática

Crie pares de respostas e explique qual comportamento seria reforçado.

Entregável: Dataset de preferências

✓ Prove que concluiu: Dataset de preferências

  • O entregável “Dataset de preferências” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Alignment Lab(em breve)

DPO e otimização direta de preferências

35 minEm breve (ainda não escrita; abaixo, o roteiro)

DPO aprende diretamente com pares preferidos e rejeitados.

Simplificar o pipeline não elimina a necessidade de bons dados e avaliação.

  • Entender chosen e rejected
  • Comparar DPO e RLHF
  • Reconhecer preferência enviesada
  • Relacionar objetivo a comportamento

Resultado: Amostra de dataset DPO

Prática

Transforme feedback em pares compatíveis com DPO.

Entregável: Amostra de dataset DPO

✓ Prove que concluiu: Amostra de dataset DPO

  • O entregável “Amostra de dataset DPO” existe e pode ser revisado por outra pessoa.

System, developer, user e conteúdo não confiável

Essencial40 minEm breve (ainda não escrita; abaixo, o roteiro)

Produtos organizam instruções em níveis de autoridade e tratam documentos como dados.

Sem hierarquia, texto recuperado pode disputar com regras do sistema.

  • Distinguir papéis
  • Separar instrução e dado
  • Entender conflitos
  • Projetar instruções resistentes

Resultado: Mapa de instruções

Prática

Classifique um prompt complexo por origem, autoridade e confiança.

Entregável: Mapa de instruções

✓ Prove que concluiu: Mapa de instruções

  • O entregável “Mapa de instruções” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Prompt Injection Dojo(em breve)

Raciocínio, decomposição e test-time compute

45 minEm breve (ainda não escrita; abaixo, o roteiro)

Modelos podem gastar mais computação na inferência ou explorar múltiplos caminhos.

Texto de raciocínio visível não é garantia de processo fiel.

  • Entender decomposição
  • Conhecer self-consistency
  • Separar resposta e processo interno
  • Escolher profundidade pelo risco

Resultado: Experimento de raciocínio

Prática

Compare resposta direta, decomposição e múltiplas amostras.

Entregável: Experimento de raciocínio

✓ Prove que concluiu: Experimento de raciocínio

  • O entregável “Experimento de raciocínio” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Alignment Lab(em breve)

Tool use: quando o modelo deixa de apenas escrever

Essencial40 minEm breve (ainda não escrita; abaixo, o roteiro)

O modelo escolhe ferramentas e argumentos, enquanto a aplicação executa.

Ferramenta exata resolve cálculo e busca; permissão excessiva transforma erro textual em efeito real.

  • Entender function calling
  • Separar decisão e execução
  • Definir schema
  • Limitar ferramentas e efeitos

Resultado: Contrato de ferramenta

Prática

Desenhe uma ferramenta com entrada, saída, validação e permissão.

Entregável: Contrato de ferramenta

✓ Prove que concluiu: Contrato de ferramenta

  • O entregável “Contrato de ferramenta” existe e pode ser revisado por outra pessoa.

Recursos

Material exclusivo

  • LLM System Design Canvas(em breve)

Prompt bom é design de tarefa, não combinação secreta de palavras.

Território 4: Usar bem sem procurar feitiço

Formule tarefas, dê exemplos, itere, estruture saídas e saiba quando outra ferramenta ganha.

7 etapas · 4h 05min

Enquadre o problema antes do prompt

Essencial30 minEm breve (ainda não escrita; abaixo, o roteiro)

Defina resultado, usuário, restrições, risco e o que será feito com a saída.

Prompt detalhado para problema mal definido automatiza confusão.

  • Definir objetivo observável
  • Explicitar não escopo
  • Identificar custo do erro
  • Escolher unidade de trabalho

Resultado: Brief da tarefa

Prática

Transforme uma solicitação vaga em um brief operacional.

Entregável: Brief da tarefa

✓ Prove que concluiu: Brief da tarefa

  • O entregável “Brief da tarefa” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Prompt Lab(em breve)

Contexto, instrução, formato e critério

Essencial35 minEm breve (ainda não escrita; abaixo, o roteiro)

Um prompt útil combina informação relevante, ação clara, formato e definição de qualidade.

Persona decorativa não compensa ausência de contexto ou critério.

  • Separar contexto e comando
  • Especificar formato
  • Definir critérios de aceite
  • Evitar instruções conflitantes

Resultado: Prompt operacional

Prática

Escreva três versões do mesmo prompt e compare.

Entregável: Prompt operacional

✓ Prove que concluiu: Prompt operacional

  • O entregável “Prompt operacional” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Prompt Lab(em breve)

Few-shot: mostre o padrão que quer receber

35 minEm breve (ainda não escrita; abaixo, o roteiro)

Exemplos demonstram formato, fronteiras e decisões difíceis.

Exemplo enviesado ou pouco diverso ensina o padrão errado.

  • Escolher exemplos representativos
  • Incluir casos de borda
  • Evitar vazamento da resposta
  • Comparar zero-shot e few-shot

Resultado: Conjunto de demonstrações

Prática

Adicione dois exemplos e um contraexemplo a uma tarefa real.

Entregável: Conjunto de demonstrações

✓ Prove que concluiu: Conjunto de demonstrações

  • O entregável “Conjunto de demonstrações” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Prompt Lab(em breve)

Decomponha e encadeie quando uma etapa não dá conta

40 minEm breve (ainda não escrita; abaixo, o roteiro)

Separe extração, decisão, geração e revisão em passos verificáveis.

Prompt gigante mistura falhas e dificulta descobrir onde o sistema errou.

  • Dividir por transformação
  • Definir contrato entre etapas
  • Verificar intermediários
  • Evitar cadeia longa sem necessidade

Resultado: Prompt chain

Prática

Transforme uma tarefa complexa em três etapas.

Entregável: Prompt chain

✓ Prove que concluiu: Prompt chain

  • O entregável “Prompt chain” existe e pode ser revisado por outra pessoa.

Recursos

Material exclusivo

  • Prompt Lab(em breve)
  • Structured Output Validator(em breve)

Itere com feedback específico

Essencial30 minEm breve (ainda não escrita; abaixo, o roteiro)

Trate a primeira resposta como rascunho e corrija direção, conteúdo, tom ou formato.

Repetir a pergunta sem diagnosticar a falha produz a mesma frustração.

  • Classificar o tipo de erro
  • Dar feedback localizado
  • Pedir variações
  • Recomeçar quando o contexto degrada

Resultado: Histórico de iteração

Prática

Melhore uma resposta mediana em até três rodadas.

Entregável: Histórico de iteração

✓ Prove que concluiu: Histórico de iteração

  • O entregável “Histórico de iteração” existe e pode ser revisado por outra pessoa.

Structured outputs e contratos de saída

Essencial45 minEm breve (ainda não escrita; abaixo, o roteiro)

Use schemas para obter dados parseáveis e reduzir ambiguidade de formato.

JSON válido não garante conteúdo verdadeiro, mas JSON inválido nem chega à próxima etapa.

  • Definir JSON Schema
  • Usar enums e campos obrigatórios
  • Tratar recusa e erro
  • Separar validação sintática e semântica

Resultado: Schema validado

Prática

Converta uma extração livre em saída estruturada e teste entradas problemáticas.

Entregável: Schema validado

✓ Prove que concluiu: Schema validado

  • O entregável “Schema validado” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Structured Output Validator(em breve)

Quando não usar LLM

Essencial30 minEm breve (ainda não escrita; abaixo, o roteiro)

Use código, busca, regra ou modelo clássico quando precisão e determinismo forem prioritários.

Maturidade também é remover IA de onde ela só adiciona custo e incerteza.

  • Comparar LLM e regra
  • Escolher ferramenta exata
  • Combinar LLM e código
  • Identificar automação sem geração

Resultado: Matriz de decisão

Prática

Classifique dez tarefas entre LLM, ferramenta, ML, regra ou manual.

Entregável: Matriz de decisão

✓ Prove que concluiu: Matriz de decisão

  • O entregável “Matriz de decisão” existe e pode ser revisado por outra pessoa.

Recursos

Material exclusivo

  • LLM System Design Canvas(em breve)

O modelo não precisa receber tudo. Precisa receber o que muda a resposta.

Território 5: Context engineering, busca e RAG

Projete contexto, memória, embeddings, recuperação, reranking, grounding e citações.

8 etapas · 5h 50min

Context engineering: montar o ambiente da decisão

Essencial40 minEm breve (ainda não escrita; abaixo, o roteiro)

Organize instruções, estado, documentos, ferramentas e exemplos para a tarefa atual.

Prompt é uma parte. O sistema inteiro decide o que o modelo enxerga.

  • Mapear fontes de contexto
  • Definir prioridade e confiança
  • Controlar tamanho e atualização
  • Separar estável e dinâmico

Resultado: Mapa de contexto

Prática

Desenhe o contexto completo de um fluxo antes do prompt.

Entregável: Mapa de contexto

✓ Prove que concluiu: Mapa de contexto

  • O entregável “Mapa de contexto” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • LLM System Design Canvas(em breve)
  • Context Window Simulator(em breve)

Long context e o problema do meio esquecido

40 minEm breve (ainda não escrita; abaixo, o roteiro)

Modelos podem aceitar documentos enormes sem usar cada parte com a mesma confiabilidade.

Caber na janela não significa ser encontrado, compreendido ou citado.

  • Entender posição e atenção
  • Testar agulha no palheiro
  • Organizar informação importante
  • Escolher long context ou retrieval

Resultado: Teste de recuperação posicional

Prática

Esconda informações equivalentes no início, meio e fim.

Entregável: Teste de recuperação posicional

✓ Prove que concluiu: Teste de recuperação posicional

  • O entregável “Teste de recuperação posicional” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Context Window Simulator(em breve)

Memória, resumo e estado da conversa

35 minEm breve (ainda não escrita; abaixo, o roteiro)

Memória seleciona fatos persistentes, resumo comprime conversa e estado registra variáveis.

Salvar tudo cria um arquivo de fofoca caro e contraditório.

  • Separar memória e histórico
  • Definir o que persistir
  • Resumir com perda controlada
  • Permitir correção e exclusão

Resultado: Política de memória

Prática

Crie uma política de memória para um assistente recorrente.

Entregável: Política de memória

✓ Prove que concluiu: Política de memória

  • O entregável “Política de memória” existe e pode ser revisado por outra pessoa.

Prompt caching: pagar menos pelo contexto repetido

35 minEm breve (ainda não escrita; abaixo, o roteiro)

Caching reaproveita prefixos estáveis para reduzir custo e latência.

Cache funciona quando a estrutura é estável.

  • Identificar prefixos cacheáveis
  • Ordenar conteúdo estável e dinâmico
  • Entender invalidação
  • Medir hit rate

Resultado: Estratégia de cache

Prática

Reorganize um prompt longo para maximizar reaproveitamento.

Entregável: Estratégia de cache

✓ Prove que concluiu: Estratégia de cache

  • O entregável “Estratégia de cache” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Model Cost Calculator(em breve)

Embeddings e busca semântica aplicada

45 minEm breve (ainda não escrita; abaixo, o roteiro)

Transforme consultas e documentos em vetores para recuperar significado além de palavras exatas.

Busca semântica pode aproximar textos errados pelo motivo errado.

  • Escolher modelo de embedding
  • Comparar vetores
  • Usar metadados e filtros
  • Avaliar recall

Resultado: Benchmark de busca

Prática

Compare keyword, semantic e hybrid search numa coleção pequena.

Entregável: Benchmark de busca

✓ Prove que concluiu: Benchmark de busca

  • O entregável “Benchmark de busca” existe e pode ser revisado por outra pessoa.

Recursos

Material exclusivo

  • Embedding Explorer(em breve)

RAG de ponta a ponta

Essencial55 minEm breve (ainda não escrita; abaixo, o roteiro)

RAG ingere, segmenta, indexa, recupera e fornece evidência antes da geração.

O modelo só usa bem o trecho que o pipeline encontrou e apresentou.

  • Mapear ingestão e indexação
  • Transformar consulta
  • Recuperar contexto
  • Gerar resposta grounded

Resultado: Pipeline RAG

Prática

Desenhe e prototipe um RAG pequeno.

Entregável: Pipeline RAG

✓ Prove que concluiu: Pipeline RAG

  • O entregável “Pipeline RAG” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • RAG Playground(em breve)

Chunking, overlap, estrutura e metadata

45 minEm breve (ainda não escrita; abaixo, o roteiro)

A unidade de recuperação deve preservar significado sem carregar ruído.

Chunk fixo é decisão arquitetural disfarçada de padrão.

  • Comparar chunk fixo e estrutural
  • Usar overlap com intenção
  • Preservar títulos
  • Aplicar filtros de metadata

Resultado: Experimento de chunking

Prática

Indexe o mesmo documento com três estratégias.

Entregável: Experimento de chunking

✓ Prove que concluiu: Experimento de chunking

  • O entregável “Experimento de chunking” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Chunking Lab(em breve)

Retrieval, reranking, grounding e citações

Essencial55 minEm breve (ainda não escrita; abaixo, o roteiro)

Combine recuperação ampla, reranking preciso e saída ligada a evidências.

Citação sem vínculo técnico com a fonte é decoração acadêmica.

  • Separar recall e precision
  • Usar reranker
  • Gerar a partir de evidência
  • Validar suporte de afirmações

Resultado: RAG grounded

Prática

Adicione reranking e citação a um RAG.

Entregável: RAG grounded

✓ Prove que concluiu: RAG grounded

  • O entregável “RAG grounded” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • RAG Playground(em breve)
  • LLM Eval Kit(em breve)

Quando o prompt precisa conviver com timeout, retry e usuário de verdade.

Território 6: Construindo pela API

Projete chamadas, streaming, contratos, fallback, custo e observabilidade.

7 etapas · 5h 15min

Anatomia de uma chamada de API

Essencial40 minEm breve (ainda não escrita; abaixo, o roteiro)

Uma chamada combina autenticação, modelo, mensagens, ferramentas, limites e tratamento.

Playground esconde detalhes que aparecem quando o fluxo vira produto.

  • Configurar autenticação
  • Montar request e response
  • Tratar stop reason
  • Registrar request ID sem vazar dados

Resultado: Cliente mínimo de LLM

Prática

Implemente uma chamada mínima com timeout e erro.

Entregável: Cliente mínimo de LLM

✓ Prove que concluiu: Cliente mínimo de LLM

  • O entregável “Cliente mínimo de LLM” existe e pode ser revisado por outra pessoa.

Escolher modelo, modalidade e capacidade

45 minEm breve (ainda não escrita; abaixo, o roteiro)

Compare qualidade, contexto, ferramentas, visão, custo, latência e disponibilidade.

Modelo maior não vence automaticamente na sua tarefa.

  • Definir requisitos
  • Testar na mesma amostra
  • Separar benchmark e caso real
  • Planejar migração

Resultado: Model selection report

Prática

Compare dois modelos em dez casos do seu domínio.

Entregável: Model selection report

✓ Prove que concluiu: Model selection report

  • O entregável “Model selection report” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Model Router Benchmark(em breve)

Streaming, latência e percepção de velocidade

40 minEm breve (ainda não escrita; abaixo, o roteiro)

Tempo até primeiro token, velocidade de geração e tempo total afetam experiências diferentes.

Responder rápido com resposta errada continua sendo experiência ruim.

  • Medir TTFT e total
  • Usar streaming
  • Reduzir contexto e saída
  • Escolher feedback progressivo

Resultado: Perfil de latência

Prática

Implemente streaming e meça três componentes de latência.

Entregável: Perfil de latência

✓ Prove que concluiu: Perfil de latência

  • O entregável “Perfil de latência” existe e pode ser revisado por outra pessoa.

Retries, rate limits, idempotência e fallback

45 minEm breve (ainda não escrita; abaixo, o roteiro)

Sistemas precisam distinguir erro temporário, limite, recusa e falha permanente.

Retry cego duplica ação, piora congestionamento e multiplica custo.

  • Usar backoff e jitter
  • Definir idempotência
  • Tratar timeout
  • Criar fallback por risco

Resultado: Política de resiliência

Prática

Simule três falhas sem duplicar efeitos.

Entregável: Política de resiliência

✓ Prove que concluiu: Política de resiliência

  • O entregável “Política de resiliência” existe e pode ser revisado por outra pessoa.

Tools e structured outputs em produção

Essencial50 minEm breve (ainda não escrita; abaixo, o roteiro)

Valide nomes, argumentos, schemas, permissões e resultados antes de avançar.

Schema estrito reduz formato inválido, não decisão errada.

  • Definir tools pequenas
  • Validar argumentos
  • Tratar tool errors
  • Controlar tool choice

Resultado: Tool contract em produção

Prática

Construa uma ferramenta com schema estrito e erro recuperável.

Entregável: Tool contract em produção

✓ Prove que concluiu: Tool contract em produção

  • O entregável “Tool contract em produção” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Structured Output Validator(em breve)
  • LLM System Design Canvas(em breve)

Batch, cache e alto volume

40 minEm breve (ainda não escrita; abaixo, o roteiro)

Tarefas assíncronas podem trocar latência por custo menor e throughput maior.

Mandar tudo em tempo real é caro quando ninguém espera na tela.

  • Separar online e offline
  • Usar batch
  • Combinar cache e batch
  • Controlar filas

Resultado: Plano de processamento em lote

Prática

Reprograme um fluxo não urgente para batch.

Entregável: Plano de processamento em lote

✓ Prove que concluiu: Plano de processamento em lote

  • O entregável “Plano de processamento em lote” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Model Cost Calculator(em breve)

Routing, custo e observabilidade

Essencial55 minEm breve (ainda não escrita; abaixo, o roteiro)

Roteie tarefas por dificuldade e acompanhe qualidade, tokens, cache, latência e versão.

Modelo barato parece economia até o retrabalho aparecer em outro dashboard.

  • Criar política de routing
  • Medir consumo e latência
  • Versionar prompt e modelo
  • Relacionar custo a resultado

Resultado: Dashboard de operação

Prática

Implemente um router simples e compare custo por caso aprovado.

Entregável: Dashboard de operação

✓ Prove que concluiu: Dashboard de operação

  • O entregável “Dashboard de operação” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Model Cost Calculator(em breve)
  • Model Router Benchmark(em breve)

Testei cinco vezes e parece bom não é estratégia de qualidade.

Território 7: Avaliação e confiabilidade

Defina o que é bom, construa datasets, graders, regressões e testes online.

7 etapas · 4h 55min

Defina qualidade antes de otimizar

Essencial35 minEm breve (ainda não escrita; abaixo, o roteiro)

Qualidade pode envolver exatidão, completude, formato, segurança, tom, custo e latência.

Sem critério, revisão vira preferência pessoal com roupa de métrica.

  • Definir dimensões
  • Priorizar pelo risco
  • Criar rubrica
  • Estabelecer threshold

Resultado: Rubrica de qualidade

Prática

Crie uma rubrica com exemplos de aprovado e reprovado.

Entregável: Rubrica de qualidade

✓ Prove que concluiu: Rubrica de qualidade

  • O entregável “Rubrica de qualidade” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • LLM Eval Kit(em breve)

Golden dataset com casos reais e difíceis

Essencial45 minEm breve (ainda não escrita; abaixo, o roteiro)

Um conjunto representativo reúne casos comuns, bordas, falhas históricas e ataques.

Dataset fácil mede sua habilidade de escolher perguntas que o sistema já acerta.

  • Amostrar produção
  • Incluir bordas
  • Controlar dados sensíveis
  • Versionar respostas e critérios

Resultado: Golden dataset v1

Prática

Monte um conjunto inicial com vinte casos reais.

Entregável: Golden dataset v1

✓ Prove que concluiu: Golden dataset v1

  • O entregável “Golden dataset v1” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • LLM Eval Kit(em breve)

Métricas determinísticas e validações programáticas

Essencial40 minEm breve (ainda não escrita; abaixo, o roteiro)

Use código para schema, campos, citações, números, regras e propriedades verificáveis.

Não use outro LLM para avaliar o que um if confere melhor.

  • Criar assertions
  • Validar schema
  • Usar exact match ou F1 quando adequado
  • Separar erro de conteúdo e formato

Resultado: Suite determinística

Prática

Adicione cinco validações programáticas ao dataset.

Entregável: Suite determinística

✓ Prove que concluiu: Suite determinística

  • O entregável “Suite determinística” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • LLM Eval Kit(em breve)
  • Structured Output Validator(em breve)

Avaliação humana e concordância

40 minEm breve (ainda não escrita; abaixo, o roteiro)

Pessoas avaliam dimensões subjetivas, mas precisam de rubrica e desempate.

Três especialistas sem critério produzem três verdades e uma reunião.

  • Criar instrução
  • Calibrar avaliadores
  • Medir concordância
  • Resolver divergência

Resultado: Relatório de concordância

Prática

Peça duas avaliações independentes e analise divergências.

Entregável: Relatório de concordância

✓ Prove que concluiu: Relatório de concordância

  • O entregável “Relatório de concordância” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • LLM Eval Kit(em breve)

LLM-as-judge sem terceirizar a verdade

45 minEm breve (ainda não escrita; abaixo, o roteiro)

Um modelo pode aplicar rubricas em escala se for calibrado e auditado.

Judge também tem viés e preferência por estilo ou resposta longa.

  • Escolher pairwise ou pointwise
  • Esconder ordem e identidade
  • Calibrar com humanos
  • Monitorar drift

Resultado: Calibração do judge

Prática

Compare um grader LLM com avaliações humanas em vinte casos.

Entregável: Calibração do judge

✓ Prove que concluiu: Calibração do judge

  • O entregável “Calibração do judge” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • LLM Eval Kit(em breve)

Regressão de prompt, modelo e dados

Essencial45 minEm breve (ainda não escrita; abaixo, o roteiro)

Toda mudança deve passar pela mesma suite versionada.

Melhorar média pode destruir um segmento crítico.

  • Versionar componentes
  • Comparar baseline e candidato
  • Analisar slices
  • Definir gate de release

Resultado: Relatório de regressão

Prática

Compare duas versões e bloqueie a pior num slice crítico.

Entregável: Relatório de regressão

✓ Prove que concluiu: Relatório de regressão

  • O entregável “Relatório de regressão” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • LLM Eval Kit(em breve)
  • Model Router Benchmark(em breve)

Online evals, A/B e leitura crítica de benchmarks

45 minEm breve (ainda não escrita; abaixo, o roteiro)

Produção revela abandono, correção humana, latência e casos não capturados.

Benchmark público escolhe campeão geral, não vencedor do seu problema.

  • Definir métricas online
  • Executar shadow e A/B
  • Evitar contaminação
  • Ler benchmark com escopo

Resultado: Plano de avaliação online

Prática

Desenhe um experimento online seguro.

Entregável: Plano de avaliação online

✓ Prove que concluiu: Plano de avaliação online

  • O entregável “Plano de avaliação online” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • LLM Eval Kit(em breve)

Fine-tuning não é o botão profissional que aparece depois do prompt.

Território 8: Adaptando modelos

Escolha entre prompt, RAG, SFT, PEFT, preferência, distillation e dados sintéticos.

7 etapas · 5h 45min

Prompt, RAG, ferramenta ou fine-tuning

Essencial45 minEm breve (ainda não escrita; abaixo, o roteiro)

Escolha a técnica pelo tipo de lacuna: instrução, conhecimento, ação, formato, custo ou capacidade.

Treinar pesos para atualizar conhecimento costuma ser a forma mais cara de resolver o problema errado.

  • Diagnosticar a lacuna
  • Subir a escada de complexidade
  • Combinar técnicas
  • Definir critério de parada

Resultado: Canvas de decisão

Prática

Classifique dez problemas e escolha a intervenção mais simples.

Entregável: Canvas de decisão

✓ Prove que concluiu: Canvas de decisão

  • O entregável “Canvas de decisão” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Fine-tuning Decision Canvas(em breve)

Dados para SFT: qualidade antes de volume

50 minEm breve (ainda não escrita; abaixo, o roteiro)

Exemplos precisam representar entradas reais, decisões corretas e comportamento consistente.

Fine-tuning reproduz contradição com a mesma eficiência que reproduz padrão bom.

  • Selecionar casos
  • Normalizar estilo e política
  • Separar treino e validação
  • Remover duplicação e vazamento

Resultado: Dataset de SFT auditado

Prática

Crie e revise vinte exemplos para uma tarefa estreita.

Entregável: Dataset de SFT auditado

✓ Prove que concluiu: Dataset de SFT auditado

  • O entregável “Dataset de SFT auditado” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Fine-tuning Decision Canvas(em breve)

LoRA, PEFT e QLoRA

55 minEm breve (ainda não escrita; abaixo, o roteiro)

Adaptação eficiente treina pequenos conjuntos de parâmetros ou adapters.

Menor custo de treino não elimina custo de dados, avaliação, serving e manutenção.

  • Entender adapters e rank
  • Distinguir full fine-tune e PEFT
  • Combinar quantização e treino
  • Planejar merge ou loading

Resultado: Plano de PEFT

Prática

Configure um experimento PEFT ou desenhe o plano.

Entregável: Plano de PEFT

✓ Prove que concluiu: Plano de PEFT

  • O entregável “Plano de PEFT” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Fine-tuning Decision Canvas(em breve)
  • Local LLM Hardware Calculator(em breve)

Preference tuning e reinforcement fine-tuning

50 minEm breve (ainda não escrita; abaixo, o roteiro)

Otimize comportamento usando pares de preferência ou graders de recompensa.

Reward ruim encontra atalhos; o modelo aprende o placar.

  • Escolher sinal de preferência
  • Criar grader robusto
  • Evitar reward hacking
  • Comparar com SFT

Resultado: Especificação de reward

Prática

Desenhe um grader e tente encontrar atalhos.

Entregável: Especificação de reward

✓ Prove que concluiu: Especificação de reward

  • O entregável “Especificação de reward” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Alignment Lab(em breve)
  • LLM Eval Kit(em breve)

Distillation e transferência para modelos menores

45 minEm breve (ainda não escrita; abaixo, o roteiro)

Use um modelo forte para gerar sinais ou exemplos que melhoram um menor.

Aluno pode copiar erros, estilo e viés do professor com desconto por token.

  • Definir teacher e student
  • Gerar dados com controle
  • Filtrar exemplos
  • Comparar economia e perda

Resultado: Plano de distillation

Prática

Projete distillation para uma tarefa repetitiva.

Entregável: Plano de distillation

✓ Prove que concluiu: Plano de distillation

  • O entregável “Plano de distillation” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Model Cost Calculator(em breve)
  • Fine-tuning Decision Canvas(em breve)

Dados sintéticos sem criar fotocópia de erro

45 minEm breve (ainda não escrita; abaixo, o roteiro)

Modelos podem gerar exemplos, variações e ataques, mas precisam de filtros e dados reais.

Volume sintético pode aumentar confiança sem aumentar cobertura.

  • Gerar diversidade controlada
  • Filtrar qualidade e duplicação
  • Preservar dados reais
  • Detectar colapso de distribuição

Resultado: Lote sintético auditado

Prática

Gere vinte exemplos e faça revisão humana.

Entregável: Lote sintético auditado

✓ Prove que concluiu: Lote sintético auditado

  • O entregável “Lote sintético auditado” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Fine-tuning Decision Canvas(em breve)

Ciclo completo de otimização

Essencial55 minEm breve (ainda não escrita; abaixo, o roteiro)

Avalie, diagnostique, altere uma variável, reavalie e só então escale.

Trocar prompt, modelo, retrieval e dados juntos impede descobrir o que funcionou.

  • Estabelecer baseline
  • Classificar erros
  • Escolher intervenção
  • Executar regressão

Resultado: Optimization report

Prática

Execute um ciclo completo num fluxo real.

Entregável: Optimization report

✓ Prove que concluiu: Optimization report

  • O entregável “Optimization report” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • LLM Eval Kit(em breve)
  • Fine-tuning Decision Canvas(em breve)

Baixar os pesos é o começo, não o fim da infraestrutura.

Território 9: Modelos abertos, locais e serving

Entenda licenças, memória, quantização, formatos, serving, SLMs e arquiteturas híbridas.

7 etapas · 5h 00min

Open source, open weights e API fechada

35 minEm breve (ainda não escrita; abaixo, o roteiro)

Acesso a pesos, código, dados e licença são dimensões diferentes de abertura.

Chamar tudo de open source esconde restrições e falta de reprodutibilidade.

  • Distinguir pesos e fonte
  • Ler licença
  • Entender transparência de dados
  • Comparar controle e responsabilidade

Resultado: Matriz de abertura

Prática

Classifique três modelos pela abertura real.

Entregável: Matriz de abertura

✓ Prove que concluiu: Matriz de abertura

  • O entregável “Matriz de abertura” existe e pode ser revisado por outra pessoa.

Model cards, licença e adequação de uso

35 minEm breve (ainda não escrita; abaixo, o roteiro)

Model cards registram arquitetura, dados, limitações, métricas e uso pretendido.

Leaderboard não substitui direito de uso ou adequação ao domínio.

  • Ler model card
  • Identificar licença
  • Avaliar domínio e idioma
  • Registrar risco

Resultado: Model adoption card

Prática

Faça uma ficha de adoção para um modelo aberto.

Entregável: Model adoption card

✓ Prove que concluiu: Model adoption card

  • O entregável “Model adoption card” existe e pode ser revisado por outra pessoa.

Parâmetros, VRAM, KV cache e contexto

Essencial45 minEm breve (ainda não escrita; abaixo, o roteiro)

Memória depende de pesos, precisão, contexto, batch e runtime.

Modelo que cabe parado pode não caber depois que usuários e contexto chegam.

  • Estimar memória de pesos
  • Entender KV cache
  • Relacionar contexto e batch
  • Planejar offload

Resultado: Plano de hardware

Prática

Estime três configurações para uma máquina real.

Entregável: Plano de hardware

✓ Prove que concluiu: Plano de hardware

  • O entregável “Plano de hardware” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Local LLM Hardware Calculator(em breve)

Quantização: trocar precisão por memória e velocidade

45 minEm breve (ainda não escrita; abaixo, o roteiro)

Quantização representa pesos ou ativações em menos bits.

Quatro bits não significam quatro vezes mais rápido nem perda igual em toda tarefa.

  • Comparar 16, 8 e 4 bits
  • Conhecer GPTQ, AWQ e bitsandbytes
  • Medir qualidade
  • Escolher hardware

Resultado: Benchmark de quantização

Prática

Compare qualidade e memória em duas quantizações.

Entregável: Benchmark de quantização

✓ Prove que concluiu: Benchmark de quantização

  • O entregável “Benchmark de quantização” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Local LLM Hardware Calculator(em breve)

GGUF, llama.cpp e Ollama

45 minEm breve (ainda não escrita; abaixo, o roteiro)

Formatos e runtimes locais simplificam distribuição e inferência.

Facilidade de download não elimina licença, teste e proteção de dados.

  • Entender GGUF
  • Escolher quantização
  • Rodar localmente
  • Configurar contexto e template

Resultado: Experimento local

Prática

Execute um modelo pequeno localmente e compare com API.

Entregável: Experimento local

✓ Prove que concluiu: Experimento local

  • O entregável “Experimento local” existe e pode ser revisado por outra pessoa.

Recursos

Material exclusivo

  • Local LLM Hardware Calculator(em breve)

Serving, throughput, batching e concorrência

50 minEm breve (ainda não escrita; abaixo, o roteiro)

Serving otimiza GPU, fila, batch contínuo, streaming e paralelismo.

Latência de demo com um usuário não prevê throughput.

  • Separar latency e throughput
  • Usar continuous batching
  • Planejar parallelism
  • Monitorar fila e memória

Resultado: Capacity plan

Prática

Desenhe capacidade para volume e SLA definidos.

Entregável: Capacity plan

✓ Prove que concluiu: Capacity plan

  • O entregável “Capacity plan” existe e pode ser revisado por outra pessoa.

Recursos

Material exclusivo

  • Local LLM Hardware Calculator(em breve)
  • Model Cost Calculator(em breve)

SLMs, on-device e arquitetura híbrida

45 minEm breve (ainda não escrita; abaixo, o roteiro)

Modelos menores podem vencer em custo, privacidade, latência e tarefas estreitas.

Frontier model para classificação simples é fretar avião para buscar pão.

  • Escolher tarefa estreita
  • Comparar local e cloud
  • Planejar fallback
  • Medir qualidade por segmento

Resultado: Arquitetura híbrida

Prática

Projete rota local-cloud para duas classes de tarefa.

Entregável: Arquitetura híbrida

✓ Prove que concluiu: Arquitetura híbrida

  • O entregável “Arquitetura híbrida” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Model Router Benchmark(em breve)
  • Local LLM Hardware Calculator(em breve)

Um modelo útil sem controle ainda é um incidente esperando agenda.

Território 10: Segurança, governança e valor

Proteja dados, trate conteúdo não confiável, limite agência, governe risco e prove retorno.

7 etapas · 5h 35min

Privacidade, retenção e residência de dados

Essencial45 minEm breve (ainda não escrita; abaixo, o roteiro)

Mapeie o que é enviado, armazenado, usado para treino, registrado e acessível por terceiros.

Anonimizar depois do envio é uma estratégia bastante otimista.

  • Classificar dados
  • Ler política e contrato
  • Minimizar entrada
  • Definir retenção e exclusão

Resultado: Mapa de dados

Prática

Faça um data flow e marque dados sensíveis.

Entregável: Mapa de dados

✓ Prove que concluiu: Mapa de dados

  • O entregável “Mapa de dados” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • LLM System Design Canvas(em breve)

Prompt injection direta e indireta

Essencial50 minEm breve (ainda não escrita; abaixo, o roteiro)

Entrada maliciosa tenta alterar instruções, extrair dados ou induzir ações.

Não existe prompt mágico que torne conteúdo externo confiável.

  • Distinguir injection e jailbreak
  • Tratar documentos como dados
  • Separar autoridade e conteúdo
  • Criar defesa em camadas

Resultado: Relatório de prompt injection

Prática

Execute cenários inofensivos de injeção.

Entregável: Relatório de prompt injection

✓ Prove que concluiu: Relatório de prompt injection

  • O entregável “Relatório de prompt injection” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Prompt Injection Dojo(em breve)

Improper output handling e excessive agency

Essencial50 minEm breve (ainda não escrita; abaixo, o roteiro)

Saída deve ser validada antes de virar comando, SQL, HTML, mensagem ou ação externa.

Texto não confiável ganha impacto quando executado com permissões demais.

  • Validar e sanitizar saída
  • Aplicar least privilege
  • Exigir confirmação humana
  • Separar leitura e escrita

Resultado: Gate de ação

Prática

Modele uma ação externa com validação e aprovação.

Entregável: Gate de ação

✓ Prove que concluiu: Gate de ação

  • O entregável “Gate de ação” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Prompt Injection Dojo(em breve)
  • LLM System Design Canvas(em breve)

Supply chain, poisoning e artefatos de modelo

45 minEm breve (ainda não escrita; abaixo, o roteiro)

Modelos, datasets, adapters, embeddings e dependências podem ser comprometidos.

Peso baixado de fonte aleatória também é software de terceiros, só que maior.

  • Verificar origem e hash
  • Revisar código customizado
  • Controlar dataset e adapter
  • Monitorar atualização

Resultado: Ficha de supply chain

Prática

Faça uma threat review de um modelo ou adapter.

Entregável: Ficha de supply chain

✓ Prove que concluiu: Ficha de supply chain

  • O entregável “Ficha de supply chain” existe e pode ser revisado por outra pessoa.

Bias, fairness e desempenho desigual

45 minEm breve (ainda não escrita; abaixo, o roteiro)

Modelos podem ter desempenho diferente por idioma, grupo, domínio e forma de expressão.

Média boa pode esconder erro concentrado em quem tem menos espaço para reclamar.

  • Definir slices relevantes
  • Testar idioma e variações
  • Evitar inferência sensível
  • Documentar limite e mitigação

Resultado: Relatório de slices

Prática

Crie slices de avaliação e compare desempenho.

Entregável: Relatório de slices

✓ Prove que concluiu: Relatório de slices

  • O entregável “Relatório de slices” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • LLM Eval Kit(em breve)

Governar, mapear, medir e gerenciar risco

Essencial50 minEm breve (ainda não escrita; abaixo, o roteiro)

Use um ciclo para definir dono, contexto, medição, mitigação e resposta.

Política desconectada do produto serve apenas para deixar o PDF corporativo.

  • Mapear caso e stakeholders
  • Definir risco e tolerância
  • Medir controles
  • Gerenciar mudança e incidente

Resultado: Risk profile

Prática

Aplique o AI RMF a um caso de LLM.

Entregável: Risk profile

✓ Prove que concluiu: Risk profile

  • O entregável “Risk profile” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • LLM System Design Canvas(em breve)

Business case, ROI e padrões de fracasso

Essencial50 minEm breve (ainda não escrita; abaixo, o roteiro)

Modele volume, custo, qualidade, adoção, retrabalho e alternativa sem IA.

Projeto de LLM morre por não resolver algo que alguém usa ou paga.

  • Definir baseline
  • Calcular custo total
  • Medir impacto e adoção
  • Executar pré-mortem

Resultado: Canvas de ROI e pré-mortem

Prática

Construa o business case e três formas de fracasso.

Entregável: Canvas de ROI e pré-mortem

✓ Prove que concluiu: Canvas de ROI e pré-mortem

  • O entregável “Canvas de ROI e pré-mortem” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Model Cost Calculator(em breve)
  • LLM System Design Canvas(em breve)

A conclusão é um sistema pequeno com evidências grandes.

Boss final: Build, evaluate, attack, prove

Projete um sistema com LLM, entregue, avalie, ataque e prove custo e resultado.

4 etapas · 5h 45min

Build: desenhe e construa um sistema pequeno

Essencial120 minEm breve (ainda não escrita; abaixo, o roteiro)

Construa um fluxo que combine modelo, contexto, dados, ferramenta ou saída estruturada.

O objetivo não é criar chatbot genérico, é resolver uma transformação clara.

  • Definir problema e usuário
  • Desenhar arquitetura
  • Implementar fluxo mínimo
  • Preparar fallback

Resultado: LLM System v1

Prática

Entregue um sistema, protótipo ou implementação revisável.

Entregável: LLM System v1

✓ Prove que concluiu: LLM System v1

  • O entregável “LLM System v1” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • LLM System Design Canvas(em breve)

Evaluate: execute a suite e documente limites

Essencial75 minEm breve (ainda não escrita; abaixo, o roteiro)

Rode casos reais, bordas e ataques com métricas adequadas.

Uma demo de sucesso não revela a distribuição de falhas.

  • Executar golden dataset
  • Analisar slices
  • Registrar regressões
  • Definir limite de uso

Resultado: Final eval report

Prática

Produza um relatório de avaliação reproduzível.

Entregável: Final eval report

✓ Prove que concluiu: Final eval report

  • O entregável “Final eval report” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • LLM Eval Kit(em breve)

Attack: tente quebrar dados, instruções e ações

Essencial75 minEm breve (ainda não escrita; abaixo, o roteiro)

Teste prompt injection, dados sensíveis, saída insegura, acesso excessivo e consumo sem limite.

Confiabilidade termina onde o sistema nunca foi provocado.

  • Executar threat scenarios
  • Classificar severidade
  • Corrigir risco crítico
  • Aceitar risco explicitamente

Resultado: Red team report

Prática

Execute o Prompt Injection Dojo e uma revisão manual.

Entregável: Red team report

✓ Prove que concluiu: Red team report

  • O entregável “Red team report” existe e pode ser revisado por outra pessoa.

Material exclusivo

  • Prompt Injection Dojo(em breve)

Prove: custo, ROI, arquitetura e post-mortem

Essencial75 minEm breve (ainda não escrita; abaixo, o roteiro)

Organize decisões, prompts, versões, evals, segurança, custo, ROI e aprendizados.

Certificado afirma que você terminou; Evidence Pack permite avaliar.

  • Documentar arquitetura
  • Calcular custo por resultado
  • Comparar baseline
  • Escrever post-mortem

Resultado: LLM Evidence Pack

Prática

Gere um pacote auditável.

Entregável: LLM Evidence Pack

✓ Prove que concluiu: LLM Evidence Pack

  • O entregável “LLM Evidence Pack” existe e pode ser revisado por outra pessoa.

Recursos

Material exclusivo

  • LLM Evidence Pack Generator(em breve)
  • Model Cost Calculator(em breve)

Etapas finais

1 etapas · 0 min

Quer transformar fundamento em sistema no seu time?

A trilha cria repertório. A implantação adapta arquitetura, dados, avaliação, segurança e ROI.

Copiar o mesmo stack para todo problema é repetir erro com mais tecnologia.

Resultado: Próximo passo

Prática

Conheça as formas de trabalhar comigo.

Entregável: Próximo passo

✓ Prove que concluiu: Próximo passo

  • O entregável “Próximo passo” existe e pode ser revisado por outra pessoa.

Recursos

Todos os recursos da trilha