Agentes em produção: segurança, contexto e inferência

SPF, DKIM e DMARC (registros de DNS que verificam quem pode enviar e-mail por um domínio). SPF, DKIM e DMARC são como a portaria de um prédio que confere a lista de entregadores autorizados, verifica se o lacre do pacote está intacto e segue a regra do síndico sobre o que fazer com quem não passa.

1. Qualquer pessoa pode escrever um e-mail e colocar um remetente falso, como quem escreve qualquer endereço no verso de uma carta. Essas três regras ajudam quem recebe a descobrir se a mensagem veio mesmo de quem diz.
2. As três ficam publicadas no DNS (Domain Name System, a lista telefônica da internet), como registros de texto ligados ao domínio, por exemplo empresa.com.
3. O SPF (Sender Policy Framework, política de remetente) lista quais servidores podem enviar e-mail em nome do domínio. O servidor que recebe confere se a mensagem saiu de um servidor da lista.
4. O DKIM (DomainKeys Identified Mail, e-mail identificado por chave) coloca uma assinatura digital em cada mensagem. Quem recebe busca a chave pública no DNS e confirma que o texto não foi alterado no caminho.
5. O DMARC (autenticação, relatório e conformidade de mensagens por domínio) diz o que fazer quando SPF ou DKIM falham: entregar, mandar para spam ou rejeitar. Ele também envia relatórios ao dono do domínio. No talk, isso faz parte da confiança que o e-mail já traz pronta.

Ajuda saber antes: DNS, Domínio, Assinatura digital, Phishing

ID-JAG (credencial assinada que representa a identidade do usuário). O ID-JAG é como uma carta de apresentação assinada pelo seu chefe, que o estagiário entrega na recepção de outra empresa para ser atendido em nome dele.

1. Quando um agente quer usar um serviço novo, o serviço precisa saber em nome de quem ele age. O ID-JAG é o documento que responde essa pergunta.
2. O agente pede ao serviço de identidade do usuário, o lugar onde a pessoa já tem login, um comprovante assinado que diz quem é o usuário.
3. Esse comprovante é uma identity assertion (afirmação de identidade). A assinatura digital permite ao serviço de destino conferir que ninguém falsificou ou alterou o documento.
4. O agente entrega o ID-JAG ao serviço, como a Cloudflare na demo. O serviço confere a assinatura, decide quanto acesso dar e devolve um access token (chave de acesso) para a API.
5. O nome vem de Identity Assertion JWT Authorization Grant, um padrão em construção na família OAuth. Ele cobre só o registro, e depois o agente usa a API e o MCP normalmente.

Ajuda saber antes: OAuth, Access token, Assinatura digital, auth.md

Dreaming (consolidação de memória entre sessões). Dreaming é como o gerente que, no fim da semana, lê as anotações de toda a equipe e reescreve o manual do escritório com o que funcionou.

1. Vários agentes trabalham em tarefas parecidas e cada um anota o que aprendeu em um caderno comum.
2. Com o tempo, esse caderno fica cheio de notas soltas, repetidas ou até contraditórias.
3. Dreaming (sonhar, em tradução livre) é uma etapa que roda depois das sessões e relê as transcrições e as memórias de várias sessões juntas.
4. Ela reescreve o memory store (memória de longo prazo compartilhada) para que os próximos agentes saibam o que buscar e herdem os casos difíceis que outros já resolveram.
5. Hoje o recurso só atualiza memory stores. A Anthropic cita como ideia futura aplicar o mesmo processo a skills, prompts e definições de agente.

Ajuda saber antes: Memory store, Sessão de agente, Subagente

Dreaming (sonhar (revisão de sessões passadas)). Dreaming é como o técnico que assiste às gravações do último mês de jogos e reescreve o caderno de jogadas com os erros que se repetiram.

1. Um agente faz tarefas e guarda anotações para usar na próxima vez. O dreaming ("sonhar") é uma revisão periódica dessas anotações.
2. Você escolhe qual memória revisar, qual modelo vai fazer a revisão e um período, por exemplo os últimos 30 dias de trabalho.
3. O sistema lê o histórico completo de cada sessão (transcript, o registro de tudo que o agente fez) e procura falhas, informações que faltaram e problemas que se repetiram.
4. Para dar conta do volume, ele abre uma sessão própria que dispara vários subagentes (agentes auxiliares), e cada um analisa parte das sessões antigas.
5. No fim, ele propõe uma versão atualizada do memory store (repositório de memória do agente). O recurso ainda é research preview (prévia de pesquisa), então só um eval (avaliação) seu mostra se a nova memória melhorou o resultado.

Ajuda saber antes: Memory store, Sessão de agente, Subagentes, Evals

Agent experiments (testar uma nova versão do agente contra um dataset de falhas). Agent experiments é como um mecânico que, depois de consertar o freio, refaz no pátio as mesmas manobras em que o carro falhou antes de devolver a chave ao dono.

1. Quando alguém conserta um agente, precisa saber se o conserto funciona de verdade antes de colocá-lo no ar para os clientes.
2. Para isso, você junta os casos reais em que o agente errou, como 25 pedidos de presente abaixo de 30 dólares que voltaram com produtos mais caros, e forma um dataset (conjunto de exemplos).
3. A versão corrigida sobe em um ambiente de desenvolvimento, acessível por um endpoint (endereço que recebe pedidos), e recebe cada um desses pedidos como se fosse um usuário.
4. O mesmo juiz usado em produção dá nota às novas respostas. Assim dá para comparar antes e depois em qualidade, latência (tempo de resposta) e custo.
5. Como os experimentos também ficam disponíveis por skills e API, o próprio agente pode rodar esse teste no PR que abriu e só chamar o humano com o resultado em mãos.

Ajuda saber antes: Trace, LLM-as-a-judge, Pull request, Dataset de avaliação

JSONPath (caminho para extrair um campo do trace). JSONPath é como o endereço de uma folha num arquivo de escritório, do tipo armário 3, pasta azul, última folha, que leva você direto ao papel certo sem abrir o resto.

1. Cada execução do agente fica guardada como um registro grande, com a pergunta do usuário, as respostas e as ferramentas usadas.
2. Esse registro vem no formato JSON (um jeito padrão de organizar dados em campos dentro de campos), parecido com pastas dentro de pastas.
3. JSONPath (caminho JSON) é uma linha curta que aponta para um campo específico, como $.messages para a conversa inteira ou o último item dessa lista para a última mensagem.
4. No Langfuse, você escreve esse caminho no avaliador, e o texto encontrado entra no lugar da variável entre chaves no prompt do juiz.
5. Assim o avaliador recebe só a parte certa do trace, por exemplo o histórico completo e a última fala do usuário, e julga se houve discordância.

Ajuda saber antes: JSON, Trace, Evaluator, Variáveis de prompt

Dilema estabilidade-plasticidade (tensão entre repetir bem e se adaptar). O dilema estabilidade-plasticidade é como um cozinheiro que precisa escolher entre seguir a receita à risca, para o prato sair igual todo dia, e improvisar quando falta um ingrediente na despensa.

1. Todo sistema que aprende quer duas coisas ao mesmo tempo. Ele quer repetir sem erro o que já sabe fazer e também quer aprender coisas novas.
2. Estabilidade é a capacidade de repetir a mesma tarefa com o mesmo resultado. Plasticidade é a capacidade de se ajustar quando o ambiente muda.
3. Ang Li estudou isso na DeepMind, na área de continual learning (aprendizado contínuo). A conclusão dele é que nenhum sistema fica ótimo nas duas coisas. Ganhar em uma custa perder um pouco na outra.
4. Nos agentes que usam o computador, o agente de código fica no extremo estável. O script roda igual todo dia, mas quebra se a tela muda. O agente com VLM (modelo de visão e linguagem) fica no extremo adaptável, mas não repete o processo com fidelidade.
5. A busca é por um ponto de equilíbrio na fronteira de Pareto, a curva dos melhores acordos possíveis entre as duas qualidades. A Simular tenta chegar lá com a abordagem neuro-simbólica, que roda código e só chama o modelo quando algo falha.

Ajuda saber antes: Computer use, VLM, Neuro-simbólico, pass^k

Bits per byte (BPB) (bits por byte, mede quão bem o modelo prevê texto). BPB é como contar quantas perguntas de sim ou não um jogador precisa fazer, em média, para adivinhar cada letra de um texto que ele está lendo.

1. Um modelo de linguagem lê um texto e tenta adivinhar o próximo pedaço. O BPB mede quanto custa cada erro dessas apostas. Quanto menor o número, melhor o modelo prevê o texto.
2. Um bit é a menor unidade de informação, como uma resposta de sim ou não. Um byte é o espaço que um caractere simples ocupa no computador, mais ou menos uma letra.
3. Para cada trecho real, o modelo diz qual probabilidade dava a ele. Se apostou alto e acertou, gasta poucos bits. Se foi pego de surpresa, gasta muitos. No fim, soma os bits e divide pelo número de bytes do texto.
4. A conta usa bytes em vez de tokens. Assim modelos com tokenizers (divisores de texto) diferentes ficam comparáveis, e trocar o tokenizer mantém a mesma régua.
5. No Parameter Golf da OpenAI, a nota de cada envio era o BPB num conjunto de validação do FineWeb. Vencia quem chegava ao menor valor com até 16 MB de arquivos e 10 minutos de treino.

Ajuda saber antes: Modelo de linguagem, Probabilidade, Tokenizer, Conjunto de validação

Taint analysis (análise de contaminação de dados). Taint analysis é como pingar corante na água de uma cozinha para ver por quais canos ela passa até chegar à panela.

1. Todo dado que vem de fora do programa, como o texto que alguém digita, é tratado como suspeito. A ferramenta marca esse dado como contaminado (tainted).
2. A análise segue esse dado marcado enquanto ele passa de variável em variável, de função em função e até de um arquivo para outro.
3. O ponto onde o dado entra se chama fonte (source). O ponto perigoso onde ele é usado se chama destino (sink), por exemplo o comando que executa uma consulta no banco.
4. Se o dado chega ao destino sem passar por uma limpeza ou proteção, a ferramenta aponta a falha. No exemplo do vídeo, um argumento de sys.argv vai direto para uma f-string executada no banco, o que abre caminho para SQL injection.
5. O SonarQube faz isso lendo o código sem executá-lo, com análise estática e execução simbólica (symbolic execution), e mostra no painel o caminho completo da fonte até o destino.

Ajuda saber antes: SQL injection, Análise estática de código, Entrada do usuário, Query parametrizada

Token exchange (troca de tokens (extensão do OAuth 2)). A troca de tokens é como trocar o crachá de visitante na portaria por uma pulseira que só abre uma sala e vence no fim da tarde.

1. Um token é um comprovante digital que diz quem você é e o que pode fazer, como um crachá.
2. Quando você faz login, o servidor de autorização (authorization server) entrega ao agente um token com só parte das suas permissões, chamadas escopos (scopes).
3. Na hora de usar uma ferramenta, o agente envia esse token, chamado subject token (token do sujeito), e pede outro bem mais restrito.
4. O pedido vai a um serviço de tokens de segurança, que devolve um token novo válido para uma única chamada e por poucos minutos.
5. O padrão token exchange saiu em 2020 como extensão do OAuth 2 (RFC 8693). O token novo mantém a identidade do usuário, o que permite auditar quem agiu.

Ajuda saber antes: OAuth, Token de acesso, Escopos (scopes), Security token service (STS)

Security token service (STS) (serviço de tokens de segurança). O STS é como o guichê do almoxarifado que confere o pedido assinado pelo chefe e entrega só a ferramenta daquela tarefa, com prazo de devolução.

1. O STS é um servidor que entrega credenciais temporárias, sob pedido, para cada ação do agente.
2. O runtime do agente, o programa que roda o ciclo do agente, se apresenta ao STS com a credencial do aplicativo ou com uma identidade de carga (workload identity).
3. Junto, o runtime envia o token do usuário e o pedido de acesso a uma ferramenta específica.
4. O STS avalia a política de governança, a cadeia de delegação (quem age em nome de quem) e o acesso pedido. Se tudo passa, emite um token que expira em minutos.
5. Se o servidor MCP precisa de um recurso externo, ele volta ao STS e troca esse token por outro restrito à mesma chamada, mantendo o usuário registrado.

Ajuda saber antes: Token exchange, OAuth, Servidor MCP, Política de acesso

Intent based authorization (autorização baseada em intenção (proposta, não é padrão)). A autorização por intenção é como a ordem de serviço do mecânico, que lista o conserto combinado e impede trocar outras peças sem nova assinatura do cliente.

1. Antes de agir, o agente descreve o que pretende fazer, e um sistema confere se isso bate com o pedido do usuário.
2. Essa descrição se chama missão (mission) e traz um objetivo, as ações permitidas e os limites.
3. No talk, a missão de triar o incidente 2294 permite ler esse ticket e resumir ou escalar, mas proíbe ler outros tickets e usar outros serviços.
4. O STS aprova sozinho as missões de baixo risco e manda as arriscadas, como escalar um serviço, para o usuário revisar. Depois dá um ID à missão.
5. Cada chamada de ferramenta leva esse ID, e o gateway pergunta ao STS se ela cabe na missão antes de pedir a troca de token. A IBA ainda é proposta, sem padrão fechado.

Ajuda saber antes: Security token service (STS), Token exchange, MCP gateway, Human in the loop

Container escape (fuga do container). Container escape é como um aluno de castigo que acha uma porta destrancada no fundo da sala e passa a andar pela escola inteira.

1. Um container é uma caixa fechada dentro do computador. O programa que roda ali só deveria ver o que está dentro da caixa.
2. Todas as caixas dividem o mesmo sistema de base da máquina, chamado kernel (núcleo do sistema operacional). As paredes da caixa dependem desse núcleo.
3. Uma fuga do container (container escape) acontece quando o programa explora uma falha nessas paredes e sai da caixa.
4. Fora da caixa, ele alcança arquivos, segredos e a rede da máquina hospedeira. Para um agente de IA, isso desfaz o isolamento que o sandbox prometia.
5. Muitas falhas desse tipo já são conhecidas e afetam versões antigas do Docker. Manter tudo atualizado e dar ao agente o mínimo de acesso reduz o risco.

Ajuda saber antes: Container Docker, Sandbox, Princípio do menor privilégio

Seccomp (filtro de chamadas de sistema do Linux). Seccomp é como o crachá de um funcionário temporário, que só abre as portas da lista aprovada pela empresa e deixa todas as outras fechadas.

1. Todo programa precisa pedir ao sistema operacional para fazer coisas básicas, como abrir um arquivo, acessar a rede ou iniciar outro programa.
2. Esses pedidos se chamam chamadas de sistema (system calls, ou syscalls). O Linux tem centenas delas, e o kernel (núcleo do sistema) atende cada uma.
3. O seccomp (secure computing, computação segura) é um recurso do Linux que define quais chamadas um processo pode fazer. As que ficam fora da lista são negadas ou encerram o processo.
4. Num sandbox (ambiente isolado), esse filtro reduz o estrago que um código malicioso pode causar. O custo é que tarefas legítimas também podem esbarrar no bloqueio.
5. No talk, um pacote de machine learning que precisa abrir um novo processo falha se o filtro proibir essa chamada. O agente trava mesmo com o código dele correto.

Ajuda saber antes: Sandbox, Kernel, Chamada de sistema, Processo

eBPF (programas que rodam dentro do kernel para interceptar ações). eBPF é como um guarda de trânsito posto num cruzamento da cidade, que observa cada carro e pode parar ou desviar alguns sem precisar reconstruir a rua.

1. O kernel é o núcleo do sistema operacional. Ele controla memória, arquivos, rede e processos de todos os programas da máquina.
2. Mudar o comportamento do kernel costumava exigir recompilar o sistema ou instalar módulos arriscados, que podiam derrubar a máquina inteira.
3. O eBPF (extended Berkeley Packet Filter, filtro de pacotes estendido) permite carregar pequenos programas que rodam dentro do kernel. Um verificador checa cada programa antes, para ele não travar o sistema.
4. Esses programas se prendem a eventos, como uma conexão de rede ou a abertura de um arquivo. Ali eles registram, liberam ou bloqueiam a ação.
5. Em sandboxes de agentes, o eBPF pode decidir se o agente faz chamadas de saída (egress) para a internet ou para APIs internas da empresa.

Ajuda saber antes: Kernel, Sandbox, Egress (tráfego de saída)

Split key custody (custódia de chave dividida). Split key custody é como o cofre de um banco que só abre quando dois funcionários giram suas chaves ao mesmo tempo.

1. Para proteger um dado, a empresa o embaralha com uma chave secreta. Sem a chave, o dado vira texto ilegível.
2. Na custódia de chave dividida (split key custody), essa chave fica separada em duas metades guardadas em lugares diferentes.
3. Para decifrar o dado, o sistema precisa juntar as duas metades. Quem rouba só uma metade continua sem acesso.
4. A própria equipe também não abre os dados sozinha. Se a conta de um funcionário for invadida, o atacante ainda fica sem a outra metade.
5. No talk, a Venice guarda resultados de geração de vídeo assim, criptografados em um enclave, com uma metade de leitura e outra de escrita.

Ajuda saber antes: Criptografia, Chave de criptografia, Gestão de segredos

Trusted execution environment (TEE) (ambiente de execução confiável). Um TEE é como uma sala de provas lacrada na escola, onde ninguém de fora vê o que o aluno escreve e o fiscal entrega um recibo confirmando que a prova foi feita ali.

1. Quando você manda uma pergunta para uma IA, ela roda em um computador de outra empresa. Em geral, quem controla esse computador pode espiar.
2. Um ambiente de execução confiável (trusted execution environment, TEE) é uma área isolada dentro do próprio chip do processador.
3. O que roda ali fica protegido pelo hardware. Nem o sistema operacional nem o dono do servidor conseguem ler os dados durante o processamento.
4. Junto com a resposta, o serviço devolve uma atestação (attestation), um comprovante assinado que diz onde a inferência rodou.
5. O usuário confere essa atestação em um verificador. Assim ele tem prova criptográfica de que o pedido rodou em um processo privado.

Ajuda saber antes: Inferência, Criptografia, Sandbox

Admission controller (controlador de admissão). Um admission controller é como o porteiro de um prédio comercial que confere a lista de autorizados antes de deixar alguém subir.

1. Num sistema que roda muitos programas, alguém precisa decidir o que pode entrar. O admission controller (controlador de admissão) faz essa checagem antes de qualquer coisa começar a rodar.
2. No Kubernetes, todo pedido para criar algo passa pela API do cluster. Antes de executar o pedido, a API consulta o controlador de admissão.
3. Ferramentas como o Kyverno se ligam a esse ponto por um webhook (chamada automática entre sistemas). O Kyverno compara o pedido com regras escritas pela empresa e devolve sim ou não.
4. Na demo, as regras exigiam imagens vindas só do registry (repositório de imagens) interno e limites de recursos definidos. Por isso o agente não conseguiu implantar a imagem externa.
5. O controlador pode validar, aceitando ou recusando o pedido, ou mutar, corrigindo o pedido antes de aprovar. Como a regra vale para o cluster inteiro, ela barra pessoas e agentes de IA do mesmo jeito.

Ajuda saber antes: Kubernetes, Contêiner, Registry de imagens, Webhook

Runtime security (segurança em tempo de execução). Runtime security é como a câmera e o segurança dentro da loja, que vigiam o que cada cliente faz depois de já ter entrado.

1. Checar um programa na entrada não basta. Depois que ele começa a rodar, ainda pode fazer algo perigoso. Runtime security (segurança em tempo de execução) vigia o programa enquanto ele funciona.
2. Essas ferramentas observam o kernel (núcleo) do Linux, onde todo comando passa. Elas enxergam ações como abrir arquivos ou rodar um simples ls, mesmo sem entender o Kubernetes.
3. O Falco detecta e reage. O comando chega a rodar, o Falco dispara um alerta e o Falco Talon pode derrubar o pod (unidade que roda o contêiner) envolvido.
4. KubeArmor e Tetragon tentam prevenir. Eles usam LSM (módulos de segurança do Linux) e eBPF (programas pequenos dentro do kernel) para que o comando proibido falhe antes de executar.
5. Na demo, essa camada falhou e a plateia conseguiu ler a receita secreta. Ataques rápidos, como um fork bomb, pedem prevenção, porque a resposta depois do fato chega tarde.

Ajuda saber antes: Kernel do Linux, Contêiner, Pod, Admission controller

JWT (JSON Web Token, token com as permissões do usuário). O JWT é como um crachá de visitante carimbado pela portaria, que diz quem você é, quais andares você pode visitar e até que horas ele vale.

1. Quando você entra num sistema, ele precisa lembrar quem você é a cada pedido. Em vez de pedir sua senha toda vez, ele entrega um comprovante digital chamado token.
2. O JWT (JSON Web Token, ficha digital em formato de texto) é um tipo de token. Ele carrega informações chamadas claims (declarações), como quem é o usuário, o que ele pode fazer e quando o token expira.
3. Quem emite o token assina o conteúdo com uma chave secreta. Se alguém mudar uma claim para ganhar mais poder, a assinatura deixa de bater e o token é recusado.
4. No talk, o gateway faz uma token exchange (troca de token). Ele troca a credencial do usuário por um JWT de vida curta, com permissões estreitas, que só vale enquanto a tarefa roda.
5. Quando o agente tenta usar a ferramenta de apagar todas as reservas, o gateway lê as claims, não encontra essa permissão e devolve o código 403 (proibido).

Ajuda saber antes: Autenticação e autorização, Token de acesso, Códigos de status HTTP, AI gateway

Tool poisoning (envenenamento de ferramenta). Tool poisoning é como um manual de instruções de uma impressora nova que diz, no meio dos passos, para você mandar uma cópia de todo documento para um endereço estranho, e você obedece porque confia no manual.

1. Assistentes de IA podem usar ferramentas, como buscar num banco de dados ou enviar uma mensagem. Cada ferramenta vem com um texto que explica para o modelo como usá-la.
2. O modelo lê esse texto e segue o que está escrito, porque ele não tem outra fonte para saber como a ferramenta funciona.
3. Tool poisoning (envenenamento de ferramenta) acontece quando quem criou a ferramenta esconde ordens maliciosas nessa descrição. Um exemplo do talk é uma busca que pede para incluir a chave SSH (a senha de acesso do computador) na consulta.
4. Esse ataque vem de um servidor MCP (o programa que liga o modelo a ferramentas externas) feito de propósito para enganar o agente. Como o agente tem o mesmo acesso que o desenvolvedor, ele pode vazar segredos ou desviar ações sem que ninguém perceba.
5. A defesa é tratar o servidor MCP como código de terceiros. Leia as descrições das ferramentas e rode um scanner, como o agent scan da Snyk, que procura prompt injection (injeção de prompt) nessas definições.

Ajuda saber antes: MCP, Prompt injection, Agente de IA

Slopsquatting (registro malicioso de pacote alucinado). Slopsquatting é como um GPS que inventa uma rua que não existe, e um golpista corre para abrir uma loja falsa exatamente nesse endereço antes que você chegue lá.

1. Programas usam pacotes, que são peças de código prontas baixadas da internet pelo nome.
2. Quando a IA escreve código, às vezes ela inventa o nome de um pacote que não existe. Isso se chama alucinação.
3. Slopsquatting (registro malicioso de pacote alucinado) acontece quando um atacante percebe esses nomes inventados e publica um pacote real com esse nome, cheio de código malicioso.
4. Antes, instalar o pacote inventado dava erro. Depois do registro, a instalação funciona e o código do atacante roda na sua máquina. Por isso o palestrante chama de primo do typosquatting (registro de nomes com erro de digitação) e de ataque de tempo.
5. A defesa é conferir se cada pacote sugerido pela IA existe e é legítimo, manter um SBOM (lista de componentes do software) por projeto e quebrar o build quando surgir dependência fora da lista.

Ajuda saber antes: Alucinação de LLM, Gerenciador de pacotes, Cadeia de suprimentos de software, Typosquatting

Failure surface (superfície de falha, o critério que define o que é errar). A failure surface é como a régua de correção que o professor prepara antes da prova, para saber na hora o que conta como resposta errada.

1. Antes de pedir um trabalho a alguém, você precisa saber como vai reconhecer um resultado errado.
2. A failure surface (superfície de falha) é esse critério combinado de antemão, a referência contra a qual cada tentativa é comparada.
3. No caso de Ohio, a equipe rodou bons modelos numa fatia pequena dos dados e conferiu parte à mão. Esse resultado virou a linha de base.
4. Em outros projetos, a referência pode ser automática, como checagens de esquema (o formato esperado dos dados) ou medidas de comportamento.
5. Com o critério fixo, dá para trocar modelos e ajustar o pipeline várias vezes, porque cada mudança é medida contra a mesma régua.

Ajuda saber antes: Linha de base, Pipeline de dados, Checagem de esquema

Codon (segmento de trabalho limitado e checado de forma independente). Um codon é como uma estação numa cozinha de restaurante, onde cada cozinheiro faz uma parte do prato e alguém confere antes de passar adiante.

1. Um trabalho grande fica mais fácil quando você divide em pedaços pequenos e confere cada pedaço.
2. Codon é o nome que a equipe da Southbridge dá a cada pedaço de trabalho com limites claros de tarefa, custo e tempo.
3. Entre um codon e outro roda um código de checagem, que a equipe chama de rig (bancada de teste), e valida a saída antes da próxima etapa.
4. Cada codon pode ser repetido, testado sozinho e reaproveitado, e depois os codons são postos em sequência para formar o pipeline.
5. Como cada pedaço é independente, dá para trocar o modelo de um codon por outro mais barato sem mexer no resto.

Ajuda saber antes: Pipeline de dados, Failure surface, Projeto piloto

Combinação linear (linear combination com scores normalizados). Combinação linear é como calcular a média final de um aluno: você converte a prova e o trabalho para a mesma escala de 0 a 10 e dá mais peso para a prova antes de somar.

1. Quando duas buscas avaliam os mesmos documentos, cada uma dá uma nota própria. A combinação linear (linear combination) junta essas notas numa nota final única.
2. Cada busca usa uma régua diferente. O BM25 (busca por palavra-chave) pode dar nota 12 e a busca vetorial pode dar 0,8. Somar esses números direto favorece a busca com números maiores.
3. Por isso o primeiro passo normaliza os scores (notas de relevância), ou seja, coloca todos na mesma escala. A técnica min-max transforma a menor nota em 0 e a maior em 1.
4. Depois você multiplica cada nota por um peso e soma. Com peso 0,7 para a busca semântica e 0,3 para a palavra-chave, por exemplo, a soma define a ordem final dos documentos.
5. Para escolher os pesos, você testa várias combinações contra um judgment set (perguntas com os documentos esperados). O RRF olha só a posição na lista; aqui a força de cada nota também conta.

Ajuda saber antes: BM25, Busca vetorial, Busca híbrida, Reciprocal rank fusion (RRF)

Resolução de símbolos (ligar cada nome no código à sua definição única). Resolução de símbolos é como a secretaria da escola que separa dois alunos chamados João Silva pelo número de matrícula, para que cada nota vá para o boletim certo.

1. Num programa, cada coisa tem um nome, como uma função ou um tipo de dado. Às vezes duas coisas diferentes recebem o mesmo nome em lugares diferentes.
2. Uma busca por texto, como o grep (comando que procura palavras em arquivos), acha todas as ocorrências do nome, mas não sabe dizer qual delas é qual.
3. Um parser (leitor da estrutura do código), como o tree-sitter, entende a gramática do código, mas os dois tipos PostingList do Qdrant continuam colidindo nesse nível.
4. A resolução liga cada uso do nome à sua definição única. No Rust, o compilador já faz isso e exporta o resultado no rustdoc JSON, com nome canônico, arquivo e linha.
5. Com cada símbolo identificado, o grafo pode guardar relações separadas para cada um, e ferramentas como o blast radius (raio de impacto) devolvem dependentes diferentes para cada PostingList.

Ajuda saber antes: Símbolo no código, Busca por texto (grep), Árvore sintática (AST), Compilador

pass@k e pass^k (acertou ao menos uma vez versus acertou em todas as repetições). pass@k e pass^k são como avaliar um goleiro em cinco pênaltis, contando se ele defendeu pelo menos um ou se defendeu todos.

1. Um agente de IA pode responder a mesma pergunta de jeitos diferentes a cada vez. Por isso uma única tentativa diz pouco sobre ele.
2. Para medir melhor, a avaliação roda cada pergunta k vezes. No workshop, foram 30 perguntas repetidas cinco vezes.
3. O pass@k (passou em alguma) marca acerto se pelo menos uma das k tentativas estiver certa. Ele mede se o agente consegue chegar à resposta.
4. O pass^k (passou em todas) só marca acerto se as k tentativas estiverem certas. Ele mede se o agente é confiável e repete o acerto.
5. No experimento, o agente de grep e o de grafo empataram no pass@k, mas no pass^k o agente de grafo acertou cerca de duas vezes mais e gastou 3,1 vezes menos tokens.

Ajuda saber antes: Eval (avaliação de agentes), Aleatoriedade nas respostas do modelo, Agente de IA

Tailnet e tsnet (rede privada Tailscale e sua biblioteca em Go). Uma tailnet é como o crachá de um prédio de escritórios, em que cada porta já sabe quem você é e de qual equipe faz parte, e o tsnet é como entregar um crachá próprio a um programa.

1. A Tailscale cria uma rede privada que liga só os seus aparelhos, como notebooks, servidores e contêineres, mesmo que eles estejam em lugares diferentes. Essa rede privada se chama tailnet.
2. Você instala o agente da Tailscale em cada máquina. A partir daí, as máquinas conversam direto entre si numa rede em malha (mesh network), por cima do WireGuard, um protocolo de conexão criptografada.
3. Cada conexão dentro da tailnet chega com a identidade de quem está do outro lado. Pode ser um usuário, uma máquina marcada com uma etiqueta (tag), como um robô que revisa código, e os grupos sincronizados do Entra ou do Okta.
4. O tsnet é uma biblioteca open source (de código aberto) em Go que coloca um programa dentro da tailnet como se ele fosse mais uma máquina. Assim o programa consegue ler a identidade de cada conexão que recebe.
5. A Tailscale construiu o gateway Aperture com o tsnet. Por isso o gateway sabe quem faz cada chamada ao modelo e aplica acesso e orçamento sem criar chaves de API novas para cada pessoa.

Ajuda saber antes: Rede privada (VPN), Criptografia, Chave de API, AI gateway

Memory snapshot (cópia do estado da memória gravada na compilação). Um memory snapshot é como deixar a marmita pronta e congelada no domingo, para que na segunda você só esquente e coma, sem precisar cozinhar tudo de novo.

1. Todo programa precisa se preparar antes de responder. Ele carrega o que vai usar e organiza tudo na memória do computador, e essa preparação leva tempo.
2. Um memory snapshot (fotografia da memória) guarda essa memória já preparada num arquivo. Na próxima vez, o programa abre o arquivo e começa direto do ponto em que estava pronto.
3. Linguagens interpretadas, como JavaScript, precisam de um interpretador que lê o código na hora. No Spin, a compilação carrega o interpretador, o código do usuário e todas as dependências, e roda a parte inicial do programa.
4. Depois disso, o compilador tira a fotografia da memória e grava tudo dentro do binário WebAssembly. Quando chega uma requisição, o runtime (ambiente de execução) já está aquecido, o que reduz o cold start (partida a frio).
5. O custo é o tamanho. O app precisa levar o próprio runtime JavaScript junto. O palestrante cita o SpiderMonkey otimizado, com cerca de 10 MB, e afirma sem mostrar dados que isso supera o JavaScript nativo.

Ajuda saber antes: Cold start, WebAssembly, Linguagem interpretada, Runtime

LoRA (adaptador leve de fine-tuning que especializa um modelo numa tarefa). LoRA é como colar post-its com ajustes num livro de receitas grande, sem reescrever o livro inteiro.

1. Um modelo de IA sai de fábrica sabendo um pouco de tudo, mas pode errar em assuntos de nicho, como a linguagem jurídica em alemão.
2. Fine-tuning (ajuste fino) é treinar o modelo de novo com exemplos do seu nicho para ele melhorar naquele assunto.
3. LoRA (Low-Rank Adaptation, adaptação de baixa ordem) congela os pesos originais do modelo e treina só um conjunto pequeno de pesos extras, chamado adaptador.
4. Como o adaptador é pequeno, ele sai barato e rápido de treinar. No talk, colegas do palestrante criaram LoRAs para alemão jurídico com custo baixo.
5. Um mesmo modelo base pode receber vários adaptadores e trocar entre eles. Assim a equipe testa cada LoRA em produção e fica com o que rende mais.

Ajuda saber antes: Fine-tuning, Pesos do modelo, Modelo base

Hot swapping de modelos (trocar modelos carregados na mesma GPU sem reiniciar o serviço). Hot swapping de modelos é como uma cozinha com um fogão só, onde o cozinheiro troca a panela conforme o pedido sem apagar o fogo.

1. Um modelo de IA precisa ficar carregado na memória de uma placa de vídeo, a GPU (unidade de processamento gráfico), para responder.
2. GPU custa caro. Reservar uma GPU inteira para um modelo pequeno que fica parado boa parte do tempo desperdiça dinheiro.
3. Hot swapping (troca a quente) mantém vários modelos prontos e troca qual deles roda na GPU sem reiniciar o serviço.
4. A técnica rende mais com modelos pequenos que cabem numa GPU só, como os de reconhecimento de entidades, embeddings ou geração curta.
5. No Superlinked SIE, um gateway (porta de entrada) manda cada pedido ao grupo de workers certo. Cada worker junta pedidos em lotes (batching) antes de rodar o modelo.

Ajuda saber antes: GPU, Inferência, Batching, LoRA

Reinforcement fine-tuning (RFT) (ajuste fino por reforço). RFT é como treinar um time de basquete com um placar: o técnico não mostra cada jogada certa, só diz quantos pontos cada tentativa valeu, e o time repete o que pontua mais.

1. Um modelo de IA já vem treinado para tarefas gerais. Você pode continuar o treino dele com a sua tarefa para ele ficar melhor nela.
2. No ajuste fino comum, você mostra pares de pergunta e resposta certa e o modelo copia o padrão. No RFT, você não precisa escrever a resposta certa.
3. O modelo gera várias respostas para cada pergunta. Uma função avaliadora (evaluator function, a regra que dá nota) pontua cada resposta.
4. O treino ajusta os pesos do modelo para que respostas com nota alta fiquem mais prováveis e as de nota baixa, menos prováveis.
5. A qualidade depende da função avaliadora e de dados limpos. No talk, a Genspark limpou os dados, definiu avaliadores e relatou 12% de ganho de qualidade.

Ajuda saber antes: Fine-tuning, Pesos do modelo, Função de avaliação, Aprendizado por reforço

Hierarquia de cache (cache em camadas GPU, CPU e NVMe). A hierarquia de cache é como a cozinha de um restaurante, onde o que o cozinheiro usa toda hora fica na bancada, o que usa às vezes fica na geladeira e o resto fica no estoque dos fundos.

1. Quando um modelo lê um texto, ele guarda anotações sobre esse texto para não precisar ler tudo de novo. Essas anotações ocupam espaço na memória.
2. Em textos longos, essas anotações (o KV cache, cache de chave e valor) podem ficar maiores que o próprio modelo. A memória da placa de vídeo (GPU) é a mais rápida, mas é pequena.
3. A solução organiza o cache em três camadas. O cache quente, usado agora, fica na memória da GPU. O morno fica na RAM do processador (CPU). O frio vai para o NVMe, um disco rápido, ou para o disco comum.
4. O sistema observa o uso de cada bloco de cache. Ele tira da GPU os blocos pouco usados e traz de volta os que uma nova requisição vai precisar, antes da hora de usar.
5. Com mais prefixos guardados em algum lugar, o servidor recalcula menos a entrada. Isso reduz o tempo até o primeiro token (TTFT, time to first token) em agentes com contexto longo.

Ajuda saber antes: KV cache, Prefill e decode, Time to first token (TTFT), Cache-aware routing

Continuous batching (batching contínuo). O batching contínuo é como uma van escolar que, a cada parada onde um aluno desce, já embarca outro que estava esperando, em vez de rodar com bancos vazios até o fim da rota.

1. Para gerar cada palavra, o modelo precisa carregar todos os seus pesos da memória, e isso demora mais que a conta em si.
2. O batching (processamento em lote) aproveita essa mesma leitura dos pesos para atender vários usuários de uma vez.
3. O problema é que algumas respostas são mais longas que outras. Quando uma termina cedo, a vaga dela fica ociosa até o lote inteiro acabar.
4. O batching contínuo (continuous batching) preenche cada vaga liberada com um novo pedido na hora, sem esperar o lote terminar.
5. O custo é a memória. Cada pedido a mais no lote soma seu próprio KV cache, e isso motivou técnicas como o KV cache paginado.

Ajuda saber antes: Token, Pesos do modelo, Banda de memória

Paged KV cache (KV cache paginado). O KV cache paginado é como um restaurante que acomoda cada cliente na primeira mesa livre, em vez de reservar uma mesa de dez lugares para quem talvez traga dois amigos.

1. Enquanto conversa com você, o modelo guarda anotações sobre cada palavra já lida para não precisar reler tudo de novo.
2. Essas anotações formam o KV cache (cache de chaves e valores) e crescem rápido. Com contexto de 128 mil tokens, uma só conversa ocupa cerca de 42 GB.
3. No método antigo, o sistema reservava de antemão um bloco grande e contínuo de memória para cada pedido. Boa parte desse bloco ficava vazia, mas ninguém mais podia usar.
4. O KV cache paginado (paged KV cache) copia a ideia de memória virtual do sistema operacional. Ele divide a memória em páginas pequenas e grava cada pedaço do cache em qualquer página livre.
5. Uma tabela registra onde está cada página. Assim quase nada fica reservado sem uso, e o mesmo hardware atende cerca de 3x mais pedidos, segundo o palestrante.

Ajuda saber antes: KV cache, Token, Memória virtual, Continuous batching

Disaggregation (desagregação: separar etapas em máquinas diferentes). A desagregação é como uma cozinha de restaurante que separa a equipe de preparo da equipe de finalização, e contrata mais gente só no setor que está apertado naquele dia.

1. Quando você manda uma pergunta para uma IA, o trabalho acontece em duas fases. Primeiro ela lê o seu texto, depois escreve a resposta palavra por palavra.
2. A leitura se chama prefill (pré-preenchimento) e gasta muita conta. A escrita se chama decode (decodificação) e passa a maior parte do tempo esperando dados da memória.
3. Cada tarefa pesa numa fase diferente. Resumir um documento longo pesa no prefill, e escrever um livro a partir de poucos temas pesa no decode.
4. A desagregação (disaggregation) põe cada fase num grupo próprio de máquinas, chamado pool. Um pool faz só prefill e outro faz só decode.
5. Cada pool cresce ou encolhe conforme a carga, e uma fase não trava a outra. O passo seguinte é usar hardware diferente em cada pool, com mais computação num e mais banda de memória no outro.

Ajuda saber antes: Prefill e decode, KV cache, Banda de memória