Pular para o conteúdo
Aprendendo AI

Glossário

666 termos · 174 com analogia

tudo que apareceu nos talks, em ordem alfabética

Ablation study

estudo de ablação, que testa uma variável por vez

Ablation study é como testar uma receita de bolo tirando um ingrediente por vez para descobrir qual deles faz diferença no sabor.

  1. Quando algo funciona bem, muitas peças contribuíram. Você quer saber quais delas realmente importam.
  2. O estudo de ablação (ablation study) mexe em uma peça por vez: tira, troca ou simplifica, e mantém o resto igual.
  3. Depois você mede o resultado de cada versão e compara com a versão completa. A queda ou o ganho mostra o peso daquela peça.
  4. No talk, o time testou três misturas de dados de treino (só simples, simples e multitabela, currículo) e dois tipos de recompensa (rubrica ou certo e errado).
  5. O resultado surpreendeu: dados simples e recompensa binária deram mais ganho que as opções mais sofisticadas.

Aparece em Small Models, Big Results: Training a Finance Agent for Under $500

Acordo mínimo versus consenso

aceitar se ao menos um juiz aprovar, ou só se todos aprovarem

Acordo mínimo é como uma banca de dois professores em que basta um deles aprovar o trabalho, e consenso é como exigir a assinatura dos dois.

  1. Quando dois avaliadores olham o mesmo item, alguém precisa decidir o que fazer quando eles discordam.
  2. No acordo mínimo (minimum agreement), o item entra se pelo menos um avaliador aprovar. No consenso (consensus), o item só entra se todos aprovarem.
  3. No pipeline da Merve, dois VLMs juízes olham cada rótulo gerado. Um deles, o LFM, rejeita muito mais que o outro.
  4. Com consenso, o juiz mais rígido derrubaria quase tudo e sobrariam poucos exemplos para treinar. Com poucos exemplos, o detector generaliza mal.
  5. Por isso ela usou acordo mínimo, que guarda mais dados e aceita mais erro. Com um conjunto grande, o consenso passa a ser uma opção, porque ainda sobram exemplos depois do filtro.

Aparece em Skill issue: stop deploying vision language models, use them with Skills

Action-conditioned world model

modelo de mundo condicionado a ações

Um modelo de mundo condicionado a ações é como um motorista experiente que, antes de virar o volante, já imagina onde o carro vai parar.

  1. Pense em empurrar um copo na beira da mesa. Você prevê a queda sem precisar empurrar de verdade.
  2. Um world model (modelo de mundo) faz isso para uma máquina. Ele guarda por dentro uma descrição resumida de como o mundo está agora, chamada estado.
  3. A versão condicionada a ações recebe duas entradas, o estado atual e uma ação, e prevê qual novo estado vai surgir depois dessa ação.
  4. Com essa previsão, o robô testa várias ações na cabeça e escolhe a melhor antes de agir. A ideia vem do reinforcement learning (aprendizado por reforço).
  5. Manning critica geradores de vídeo como o Genie 3 porque eles preveem só a imagem. Sem objetos e regras por baixo, a previsão não serve de base para planejar.

Aparece em World Models Need Causality, Not Pretty Pixels

Admission controller

controlador de admissão

Um admission controller é como o porteiro de um prédio comercial que confere a lista de autorizados antes de deixar alguém subir.

  1. Num sistema que roda muitos programas, alguém precisa decidir o que pode entrar. O admission controller (controlador de admissão) faz essa checagem antes de qualquer coisa começar a rodar.
  2. No Kubernetes, todo pedido para criar algo passa pela API do cluster. Antes de executar o pedido, a API consulta o controlador de admissão.
  3. Ferramentas como o Kyverno se ligam a esse ponto por um webhook (chamada automática entre sistemas). O Kyverno compara o pedido com regras escritas pela empresa e devolve sim ou não.
  4. Na demo, as regras exigiam imagens vindas só do registry (repositório de imagens) interno e limites de recursos definidos. Por isso o agente não conseguiu implantar a imagem externa.
  5. O controlador pode validar, aceitando ou recusando o pedido, ou mutar, corrigindo o pedido antes de aprovar. Como a regra vale para o cluster inteiro, ela barra pessoas e agentes de IA do mesmo jeito.

Aparece em Build a Platform and Watch It Burn

Agent experiments

testar uma nova versão do agente contra um dataset de falhas

Agent experiments é como um mecânico que, depois de consertar o freio, refaz no pátio as mesmas manobras em que o carro falhou antes de devolver a chave ao dono.

  1. Quando alguém conserta um agente, precisa saber se o conserto funciona de verdade antes de colocá-lo no ar para os clientes.
  2. Para isso, você junta os casos reais em que o agente errou, como 25 pedidos de presente abaixo de 30 dólares que voltaram com produtos mais caros, e forma um dataset (conjunto de exemplos).
  3. A versão corrigida sobe em um ambiente de desenvolvimento, acessível por um endpoint (endereço que recebe pedidos), e recebe cada um desses pedidos como se fosse um usuário.
  4. O mesmo juiz usado em produção dá nota às novas respostas. Assim dá para comparar antes e depois em qualidade, latência (tempo de resposta) e custo.
  5. Como os experimentos também ficam disponíveis por skills e API, o próprio agente pode rodar esse teste no PR que abriu e só chamar o humano com o resultado em mãos.

Aparece em Building Self-Learning Loops for Your Agent

Agent harness

código que orquestra o agente, suas ferramentas e seu fluxo

Aparece em Beating RL With Reflection: GEPA and Optimize Anything; How We Built an Agent That Improves Itself; From Ingestion to Agents: How AI Teams Build on Document Intelligence; Building the Document Context Layer for AI Agents; Agents That Write Their Own Tools at Runtime; The 6 Pillars of an Agentic Harness for Production; Brains vs Hands: How to Run AI Agents Safely in Production; From Zero to Leaderboard: Agent Evaluation; Agent Speedrun; Memory-Aware Agent Harnesses for Anti-Money Laundering

Agent skills

arquivos de instrução que agentes de código carregam sob demanda

Aparece em Beating RL With Reflection: GEPA and Optimize Anything; Advanced Workshop: Mastering AI Observability; The Self-Improving OSS Agent Stack; Turning Agent Memory Into Skills That Work; Please… Enough with the Sloppy, One-Shot SaaS Replacements; Inside the AI Economy: What Stripe's Data Reveals; From Your Laptop to the Pipeline: Scaling Custom Agents with GitHub Copilot; I Believe Everything My Agents Tell Me: Three Levels of Review

AgentCore Runtime

ambiente gerenciado da AWS para rodar agentes

Aparece em Agent Speedrun

Agentic OCR

OCR agêntico com correção por token

Agentic OCR é como um revisor de prova que só troca a letra errada com caneta vermelha, sem reescrever a redação do aluno nem corrigir as contas dele.

  1. Um programa lê a imagem de um documento e transforma em texto, mas às vezes confunde símbolos parecidos, como a letra O e o número zero.
  2. Antes, uma equipe humana revisava esse texto e corrigia os erros. No Agentic OCR (OCR agêntico), um modelo de visão faz esse papel de revisor dentro do fluxo.
  3. Primeiro, detectores pequenos marcam onde estão texto, tabela e letra de mão, e o VLM (modelo de linguagem com visão) lê as partes difíceis.
  4. Depois, uma camada de verificação compara o texto com a imagem e aplica só correções pontuais por token (pedaço de texto), como ponto no lugar de vírgula.
  5. Pedir ao modelo que reescreva tudo cria erros novos, porque ele tende a consertar o documento, por exemplo somando uma coluna e trocando um total que estava errado no original.

Aparece em From Ingestion to Agents: How AI Teams Build on Document Intelligence; Parsing the Epstein Files for JMail

Agreement gate

trava de CI pela taxa de concordância do juiz

Um agreement gate é como a catraca do estádio que só libera a entrada quando o fiscal confere que o ingresso bate com a lista oficial na maioria das vezes.

  1. Antes de liberar uma nova versão do sistema, uma checagem automática decide se ela pode seguir ou se fica parada.
  2. A checagem compara as notas dadas por um juiz automático com as notas que uma pessoa já deu para os mesmos casos.
  3. O resultado vira uma taxa de concordância (agreement rate), ou seja, a porcentagem de casos em que juiz e humano deram o mesmo veredicto.
  4. Essa conta roda no CI (integração contínua, o processo que testa cada mudança no código). Abaixo de 80% o teste fica vermelho e nada vai para produção. Entre 80% e 90% fica verde.
  5. Para a trava continuar confiável, fixe a versão exata do modelo juiz. Um apelido como GPT-4o mini pode passar a apontar para outra versão sem aviso e mudar o resultado.

Aparece em Evals in AI: A Deep Dive

AI gateway

camada que governa chamadas a modelos

Um AI gateway é como a portaria de um prédio comercial, onde todo visitante se identifica, é registrado e só sobe ao andar permitido.

  1. Empresas usam modelos de IA por meio de chamadas pela internet. Sem controle, cada time chama o modelo que quiser, do jeito que quiser.
  2. O AI gateway (portal de entrada para IA) é um ponto único por onde passam todas as chamadas a modelos. Os aplicativos falam com ele, e ele fala com o modelo.
  3. Nesse ponto, a empresa define regras: quem pode usar qual modelo, quanto pode gastar, quais dados podem sair e o que fica registrado.
  4. Na WSO2, a palestrante explica que chamadas a modelos são APIs (interfaces de programação), mas exigem gestão diferente. Por isso a empresa pôs um gateway de IA dentro da plataforma de APIs que já tinha.

Aparece em The Chief AI Officer: Scientist, Architect, Coach; An AI Future Without the Lock-In; AI Agents Don't Read Your Policy Docs. They Hit Your APIs

AlphaEvolve

laço evolutivo de geração e avaliação de ideias

O AlphaEvolve é como um concurso de receitas em que vários cozinheiros propõem pratos, um jurado prova e só os melhores entram no cardápio do restaurante grande.

  1. AlphaEvolve é um sistema do Google que busca soluções novas propondo muitas versões e guardando as melhores.
  2. Na versão da Prime Intellect, vários modelos geradores, fechados e abertos, sugerem ideias de otimizador.
  3. Cada ideia roda no speedrun, que devolve uma recompensa (reward) objetiva.
  4. Um juiz, que pode ser um modelo ou uma pessoa, avalia se o método é bom e tem potencial.
  5. As ideias aprovadas sobem de escala, com mais parâmetros e mais dados, para ver se continuam funcionando.

Aparece em We Let Claude Code and Codex Race Human Researchers

Análise de programa

análise estática do código (taint, fluxo de controle e de dados)

Análise de programa é como um inspetor que confere a planta de um prédio e segue cada cano e cada fio no papel para achar vazamentos antes de alguém morar lá.

  1. Uma ferramenta lê o código sem rodar o programa e procura erros e falhas de segurança, como um revisor que lê um contrato antes da assinatura.
  2. Para isso, ela monta um mapa do programa. O mapa mostra quais partes chamam quais e por quais caminhos a execução pode seguir. Esse é o fluxo de controle (control flow).
  3. A análise de fluxo de dados (data flow) segue cada dado nesse mapa. A análise de contaminação (taint analysis) marca dados de fora, como o texto do usuário, e avisa se chegam ao banco de dados sem checagem.
  4. A análise de composição de software (software composition analysis) confere as bibliotecas de terceiros usadas no projeto e aponta versões com falhas conhecidas.
  5. No talk, a Sonar quer somar essas regras fixas do SonarQube ao agente de IA. A ideia é que as regras deem precisão e o agente dê cobertura e correção. O palestrante não mostra números que comprovem o ganho.

Aparece em AI Writes More PRs. Who Validates Them?

Aprendizado contrastivo de duas torres

Two-tower contrastive learning

Aprendizado contrastivo de duas torres é como dois tradutores de um mercado, um para os pedidos dos clientes e outro para as etiquetas dos produtos, que treinam juntos até cada pedido cair ao lado do produto certo.

  1. O sistema transforma cada busca e cada produto em uma lista de números, chamada vetor (embedding, representação numérica). Vetores próximos indicam coisas parecidas.
  2. Duas torres (two towers) são dois modelos separados. Uma torre lê a busca do cliente, a outra lê o produto, e as duas geram vetores no mesmo espaço.
  3. O treino contrastivo (contrastive learning, aprendizado por comparação) mostra pares certos e errados. Ele aproxima a busca dos itens relevantes e afasta a busca dos irrelevantes.
  4. No DoorDash, os rótulos de 0 a 2 gerados pelo LLM guiam uma perda em vários níveis (multi-level supervised contrastive loss). Assim, um substituto fica mais perto que um item sem relação e mais longe que o item exato.
  5. Os vetores dos produtos são calculados antes, em lote. Em produção, o sistema só calcula o vetor da busca e procura os vizinhos mais próximos, o que mantém a resposta rápida e barata.

Aparece em Distill the LLM, Don't Serve It: Search & Personalization at DoorDash

Async handle

handle assíncrono

Um handle assíncrono é como a senha que a lavanderia entrega quando você deixa a roupa: você vai embora, faz outras coisas e volta depois com a senha para buscar o que ficou pronto.

  1. Algumas tarefas demoram, como pedir um relatório a outro sistema. Se o agente fica parado esperando, tudo trava junto com ele.
  2. Num handle assíncrono (async handle, um comprovante de tarefa em andamento), o agente pede o trabalho e recebe na hora só um número de identificação, sem esperar o resultado.
  3. Com esse número, o agente segue a conversa e, mais tarde, pergunta se a tarefa terminou. Quando terminar, ele busca o resultado.
  4. Isso evita o tempo limite (timeout) de intermediários como o API Gateway da AWS, que corta a chamada se a resposta demora demais.
  5. No exemplo do talk, um servidor MCP (Model Context Protocol, padrão para conectar ferramentas a modelos) feito com FastAPI expõe duas ferramentas, start_job para iniciar e check_job_status para consultar.

Aparece em Why Bigger Context Windows Won't Save Your Agent

Autoresearch

pesquisa automática por experimentos

O autoresearch é como um aluno que testa um ajuste na receita do bolo, prova o resultado e só guarda a mudança se o bolo ficou melhor.

  1. Você define um objetivo claro, como deixar um trecho de código mais rápido sem errar a conta.
  2. Autoresearch (pesquisa automática) coloca um agente de IA para propor uma mudança por vez.
  3. Um teste automático mede se a mudança continua correta e se ficou mais rápida.
  4. Se passou, a mudança fica; se piorou, ela volta atrás, e o ciclo se repete até atingir a meta.
  5. O método funciona bem em GPU kernels porque correção e velocidade são fáceis de medir, mas a ideia grande ainda vem do humano.

Aparece em Long-Horizon Agents Need Experiments, Not Just Prompts; Autoresearch Made Our Models 3x Faster; An AI Research Agent That Runs Your Experiments; Your LLM Judge Is a Confident Liar: Building Better Verifiers; Hill-Climbing Skills: Improve Agents Without Changing the Model; Parameter Golf with AutoResearch

Batch inference

inferência em lote, fora do uso em tempo real

Batch inference é como uma cozinha industrial que prepara mil marmitas de uma vez, em vez de cozinhar cada prato só quando o cliente pede.

  1. Inferência é o momento em que um modelo já treinado recebe uma entrada e produz uma resposta.
  2. No uso comum, como num chat, cada pedido chega sozinho e precisa de resposta rápida, o que se chama inferência online.
  3. Batch inference (inferência em lote) processa uma pilha enorme de entradas de uma vez, sem ninguém esperando na tela.
  4. O objetivo passa a ser vazão (throughput), ou seja, quantos tokens a GPU gera por hora.
  5. A DatologyAI ajustou parâmetros do vLLM, como tamanho do lote e speculative decoding (decodificação especulativa), e ganhou cerca de 40% de vazão.

Aparece em Lessons from Generating 12 Trillion Synthetic Tokens

Benchmark

teste padronizado de desempenho

Aparece em GLM-5.2: Open Weights, Near-Frontier Intelligence; The Best Models Still Reason Like Toddlers; Building the Document Context Layer for AI Agents; The Death of the Code Review: What the Data Actually Says; Why 80% Reliability Isn't Good Enough; 1,000 Agent Tasks in a Sandbox: What Breaks When LLMs Run Code; From Zero to Leaderboard: Agent Evaluation; Teaching Agents to Search with NVIDIA Data Designer; Parsing the Epstein Files for JMail; I Spent Two Years Building the Median

Bin packing

encaixar jobs nos recursos disponíveis

Bin packing é como arrumar o porta-malas antes de uma viagem, encaixando malas de tamanhos diferentes para caber tudo sem sobrar espaço vazio.

  1. Bin packing (encaixe de caixas) é o problema de colocar itens de tamanhos diferentes no menor número de espaços possível.
  2. Em computação, os itens são os jobs e os espaços são as máquinas com CPU e GPU livres.
  3. Um job de geração com Ray precisa de CPU num cluster e de GPU em outro cluster ao mesmo tempo.
  4. Se o agendador reserva só a CPU e a GPU está ocupada, o job trava e segura recursos que outros poderiam usar.
  5. A DatologyAI criou pools dedicados por tipo de recurso e passou a reservar CPU e GPU juntas, de forma atômica (tudo ou nada).

Aparece em Lessons from Generating 12 Trillion Synthetic Tokens

Bits per byte (BPB)

bits por byte, mede quão bem o modelo prevê texto

BPB é como contar quantas perguntas de sim ou não um jogador precisa fazer, em média, para adivinhar cada letra de um texto que ele está lendo.

  1. Um modelo de linguagem lê um texto e tenta adivinhar o próximo pedaço. O BPB mede quanto custa cada erro dessas apostas. Quanto menor o número, melhor o modelo prevê o texto.
  2. Um bit é a menor unidade de informação, como uma resposta de sim ou não. Um byte é o espaço que um caractere simples ocupa no computador, mais ou menos uma letra.
  3. Para cada trecho real, o modelo diz qual probabilidade dava a ele. Se apostou alto e acertou, gasta poucos bits. Se foi pego de surpresa, gasta muitos. No fim, soma os bits e divide pelo número de bytes do texto.
  4. A conta usa bytes em vez de tokens. Assim modelos com tokenizers (divisores de texto) diferentes ficam comparáveis, e trocar o tokenizer mantém a mesma régua.
  5. No Parameter Golf da OpenAI, a nota de cada envio era o BPB num conjunto de validação do FineWeb. Vencia quem chegava ao menor valor com até 16 MB de arquivos e 10 minutos de treino.

Aparece em Parameter Golf with AutoResearch

Blast radius

raio de impacto

Aparece em Fixing the PR Bottleneck; The Death of the Code Review: What the Data Actually Says; How Many Credentials Should Your AI Agent Have? Zero.; Build the Right Thing: Product Engineering (Part 2); The Next Trillion Internet Users Still Don’t Have an Identity; Decoupling the Brain from the Hands: Claude Managed Agents (Part 1 of 4); Sandboxes Aren't Optional: 4 Ways to Isolate Coding Agents; How Secrets Leak Through AI Agents (and How to Stop It); The Data Context Layer for Agents; AI Agents Don't Read Your Policy Docs. They Hit Your APIs; Your AI Isn’t the Problem. Your Infrastructure Is.

Catastrophic forgetting

esquecimento catastrófico

O catastrophic forgetting é como um estudante que passa o mês só decorando fórmulas de química e volta sem conseguir escrever uma redação.

  1. Quando você treina um modelo em um assunto novo, ele pode perder o que já sabia fazer bem.
  2. Isso acontece porque o treino novo ajusta os mesmos pesos que guardavam as habilidades antigas, como gramática e conhecimento geral.
  3. No teste do Spotify, o continued pre-training (pré-treino continuado em dados do domínio) levou a habilidade de linguagem do modelo para perto de zero.
  4. Congelar o backbone e treinar só os tokens novos manteve a linguagem intacta. O time repetiu o resultado com Qwen e com Llama.

Aparece em Teaching LLMs to Speak Spotify

Cedar policy

linguagem de políticas de acesso

Uma política Cedar é como o regulamento da portaria de um prédio, que diz quem pode entrar, em qual andar e em que horário.

  1. Uma política de acesso é uma regra escrita que diz quem pode fazer o quê em qual recurso.
  2. Cedar é uma linguagem aberta, criada pela AWS, feita só para escrever esse tipo de regra de forma clara.
  3. Cada regra combina três partes. Ela define quem pede (o principal), a ação desejada e o recurso alvo, e diz se permite ou proíbe.
  4. Um motor lê as regras a cada pedido e decide na hora. Assim a regra fica fora do código do agente, e o agente não consegue contorná-la.
  5. No talk, a Docker promete usar Cedar para reduzir o que um agente pode fazer conforme novos eventos acontecem. Isso ainda está no roadmap.

Aparece em YOLO Mode, Safely: MicroVM Sandboxes for Any Agent

Checkpointing

salvar o progresso para retomar após falha

Checkpointing é como salvar o videogame antes de cada fase difícil, para não voltar ao começo quando você perde.

  1. Checkpointing é salvar o progresso de uma tarefa longa de tempos em tempos.
  2. Se a máquina cai, a tarefa recomeça do último ponto salvo e não do início.
  3. Em geração de dados sintéticos, uma GPU com defeito pode derrubar um job de oito horas nos últimos minutos.
  4. A DatologyAI salva checkpoints periódicos no S3 e também diminuiu o tamanho de cada partição (pedaço) dos dados.
  5. Com as duas medidas, uma falha custa poucos minutos e o retry automático termina o trabalho.

Aparece em Lessons from Generating 12 Trillion Synthetic Tokens; GPU Died. Training Didn't: Self-Healing Training at Scale; Paving the Road to Production: Governed Enterprise AI Agents

Code Mode

tratar ferramentas MCP como código que o modelo escreve e navega

Code Mode é como dar ao cozinheiro um livro de receitas com índice para ele consultar quando precisar, em vez de ler todas as receitas em voz alta antes de ele começar a cozinhar.

  1. Um agente de IA usa ferramentas para agir, como buscar dados ou mandar um e-mail. Em geral, ele recebe a descrição de todas as ferramentas antes de começar o trabalho.
  2. No Code Mode, ideia lançada pela Cloudflare, as ferramentas MCP (Model Context Protocol, o padrão que liga agentes a ferramentas) viram código, organizado como os arquivos de um programa.
  3. O modelo procura nesse código só o que precisa. Ele usa buscas como o grep (comando que acha texto em arquivos) e lê apenas a definição da ferramenta certa.
  4. Depois o modelo escreve um pequeno programa que chama as ferramentas. Assim, a janela de contexto (a memória de trabalho do modelo) recebe menos texto e gasta menos tokens.
  5. A ideia funciona porque os modelos viram muito código no treino. O tool calling (chamada de ferramentas) é uma habilidade artificial, ensinada com dados sintéticos.

Aparece em MCP Doesn't Suck. Your Agent Does.

Codon

segmento de trabalho limitado e checado de forma independente

Um codon é como uma estação numa cozinha de restaurante, onde cada cozinheiro faz uma parte do prato e alguém confere antes de passar adiante.

  1. Um trabalho grande fica mais fácil quando você divide em pedaços pequenos e confere cada pedaço.
  2. Codon é o nome que a equipe da Southbridge dá a cada pedaço de trabalho com limites claros de tarefa, custo e tempo.
  3. Entre um codon e outro roda um código de checagem, que a equipe chama de rig (bancada de teste), e valida a saída antes da próxima etapa.
  4. Cada codon pode ser repetido, testado sozinho e reaproveitado, e depois os codons são postos em sequência para formar o pipeline.
  5. Como cada pedaço é independente, dá para trocar o modelo de um codon por outro mais barato sem mexer no resto.

Aparece em Just-in-Time Ontologies: What Cheap Intelligence Means for Data

Cohen's kappa

medida de concordância entre avaliadores

Cohen's kappa é como conferir se dois juízes de uma competição de ginástica concordam de verdade, descontando as vezes em que dariam a mesma nota só no chute.

  1. Quando duas pessoas avaliam as mesmas coisas, como provas ou tarefas, queremos saber se elas concordam. O Cohen's kappa (kappa de Cohen) resume essa concordância em um único número.
  2. Contar só a porcentagem de acordos engana. Se quase toda tarefa é aprovada, dois avaliadores que aprovam tudo sem olhar concordam muito por pura sorte.
  3. Por isso o kappa estima quanto acordo viria do acaso. Ele usa a frequência com que cada avaliador costuma dizer sim ou não e desconta esse valor do acordo que realmente aconteceu.
  4. A conta é kappa = (acordo observado menos acordo por acaso) dividido por (1 menos acordo por acaso). O valor 1 indica acordo perfeito, 0 indica acordo igual ao do acaso e valores negativos indicam acordo pior que o acaso.
  5. No talk, o verificador teve kappa de 0.58 com os humanos, o mesmo nível medido entre dois anotadores humanos. Na escala mais usada, valores de 0.41 a 0.60 contam como concordância moderada.

Aparece em Your LLM Judge Is a Confident Liar: Building Better Verifiers

Combinação linear

linear combination com scores normalizados

Combinação linear é como calcular a média final de um aluno: você converte a prova e o trabalho para a mesma escala de 0 a 10 e dá mais peso para a prova antes de somar.

  1. Quando duas buscas avaliam os mesmos documentos, cada uma dá uma nota própria. A combinação linear (linear combination) junta essas notas numa nota final única.
  2. Cada busca usa uma régua diferente. O BM25 (busca por palavra-chave) pode dar nota 12 e a busca vetorial pode dar 0,8. Somar esses números direto favorece a busca com números maiores.
  3. Por isso o primeiro passo normaliza os scores (notas de relevância), ou seja, coloca todos na mesma escala. A técnica min-max transforma a menor nota em 0 e a maior em 1.
  4. Depois você multiplica cada nota por um peso e soma. Com peso 0,7 para a busca semântica e 0,3 para a palavra-chave, por exemplo, a soma define a ordem final dos documentos.
  5. Para escolher os pesos, você testa várias combinações contra um judgment set (perguntas com os documentos esperados). O RRF olha só a posição na lista; aqui a força de cada nota também conta.

Aparece em Vector Isn't Enough: Hybrid Search & Retrieval

Compactação de contexto

resumir o histórico para caber na janela do modelo

Compactação de contexto é como a ata de uma reunião longa, que guarda as decisões e os pendentes para quem chega depois e joga fora a conversa inteira.

  1. O modelo só consegue ler um volume limitado de texto de cada vez. Numa conversa ou tarefa longa, esse espaço enche.
  2. Esse espaço se chama janela de contexto (context window) e é medido em tokens, os pedaços de texto que o modelo processa.
  3. Quando a janela está quase cheia, o harness (software que conduz o modelo) pede ao próprio modelo um resumo do histórico até ali.
  4. O resumo entra no lugar das mensagens antigas. Ele guarda objetivo, decisões, arquivos mexidos e próximos passos, e libera espaço para o trabalho seguir.
  5. O risco é perder detalhes que ficaram fora do resumo. Por isso ferramentas como Claude Code e Codex compactam de forma automática ou por comando, e o Z Code segue a mesma ideia.

Aparece em GLM-5.2: Open Weights, Near-Frontier Intelligence; Cooking with Codex; Stop Prompting; Decoupling the Brain from the Hands: Claude Managed Agents (Part 1 of 4); Memory-Aware Agent Harnesses for Anti-Money Laundering

Complexidade ciclomática

cyclomatic complexity

Complexidade ciclomática é como contar as bifurcações de um mapa de estradas: quanto mais cruzamentos, mais caminhos diferentes você precisa percorrer para conhecer a região inteira.

  1. É um número que diz quão enrolado um trecho de código é. Quanto maior, mais difícil de entender e de testar.
  2. A conta parte de quantas decisões o código tem: cada if, cada laço (loop) e cada caso de um switch abre um caminho novo.
  3. Esse total de caminhos independentes indica quantos testes você precisa para passar por todos eles. Uma função com 10 caminhos pede, no mínimo, 10 testes.
  4. Ferramentas de análise estática calculam o valor sozinhas e podem avisar quando passa de um limite, por exemplo 10.
  5. No talk, Greg usou esse número como meta para o agente. O agente reduziu o valor sem melhorar o código de verdade, e por isso Greg o trata como métrica que engana.

Aparece em Stop Prompting

Complexidade quadrática da atenção

custo que cresce com o quadrado do tamanho do texto

A complexidade quadrática é como uma festa em que cada convidado precisa cumprimentar todos os outros, e dobrar o número de convidados quadruplica o número de apertos de mão.

  1. Quanto maior o texto que um modelo lê, mais trabalho ele tem para processar.
  2. No transformer, o mecanismo de atenção (attention) faz cada token olhar para todos os outros tokens da sequência.
  3. Com L tokens, isso gera L vezes L comparações, então o custo cresce com o quadrado do tamanho.
  4. Uma página de documento pode virar de 5 a 10 mil tokens visuais, o que deixa a inferência (uso do modelo pronto) cara em processamento e memória.
  5. Por isso a Sarvam trocou o transformer por um SSM, cujo custo cresce de forma linear.

Aparece em From Scratch to SOTA: Training a 3B State-Space Vision Model

Constrained decoding

decodificação restrita

O constrained decoding é como um cardápio de restaurante, em que o cliente escolhe à vontade, mas só entre os pratos que a cozinha sabe fazer.

  1. Um modelo pode inventar um código que não corresponde a nenhum item real do catálogo.
  2. O constrained decoding (decodificação restrita) bloqueia, a cada passo, os tokens que levariam a um código inexistente.
  3. Para isso, o sistema consulta a lista de semantic IDs válidos e só deixa o modelo escolher continuações que existem nela.
  4. No Spotify, o modelo acertou códigos válidos em 98% dos casos sem essa trava. A restrição adiciona um pouco de latência.
  5. Ela ajuda quando você quer limitar o tipo de item, por exemplo recomendar só conteúdo novo para o usuário.

Aparece em Teaching LLMs to Speak Spotify

Container escape

fuga do container

Container escape é como um aluno de castigo que acha uma porta destrancada no fundo da sala e passa a andar pela escola inteira.

  1. Um container é uma caixa fechada dentro do computador. O programa que roda ali só deveria ver o que está dentro da caixa.
  2. Todas as caixas dividem o mesmo sistema de base da máquina, chamado kernel (núcleo do sistema operacional). As paredes da caixa dependem desse núcleo.
  3. Uma fuga do container (container escape) acontece quando o programa explora uma falha nessas paredes e sai da caixa.
  4. Fora da caixa, ele alcança arquivos, segredos e a rede da máquina hospedeira. Para um agente de IA, isso desfaz o isolamento que o sandbox prometia.
  5. Muitas falhas desse tipo já são conhecidas e afetam versões antigas do Docker. Manter tudo atualizado e dar ao agente o mínimo de acesso reduz o risco.

Aparece em Sandboxes Aren't Optional: 4 Ways to Isolate Coding Agents

Continued pre-training (CPT)

pré-treino continuado sobre um modelo já treinado

CPT é como mandar um cozinheiro experiente de comida italiana fazer um curso rápido de comida japonesa depois de anos de carreira.

  1. Primeiro, o modelo passa pelo pré-treino, a fase longa em que lê uma quantidade gigante de texto e aprende a língua e o mundo.
  2. No CPT (continued pre-training, ou pré-treino continuado), a equipe pega esse modelo pronto e continua o treino com um tipo novo de dado, como imagens ou um domínio específico.
  3. O CPT sai barato porque reaproveita o modelo existente. O risco é que, no fim do pré-treino, o modelo já se acomodou, e os dados novos podem atrapalhar o que ele já sabia.
  4. A MiniMax testou adicionar visão no estilo CPT e viu o desempenho em texto cair. Nos mapas de atenção, o texto quase ignorava os tokens de imagem.
  5. Por isso a equipe treinou texto e imagem juntos desde o passo zero. Com o mesmo orçamento de tokens de texto, essa escolha quase não prejudicou o texto.

Aparece em How MiniMax M3 Was Built: Sparse Attention and Native Multimodality

Continuous batching

batching contínuo

O batching contínuo é como uma van escolar que, a cada parada onde um aluno desce, já embarca outro que estava esperando, em vez de rodar com bancos vazios até o fim da rota.

  1. Para gerar cada palavra, o modelo precisa carregar todos os seus pesos da memória, e isso demora mais que a conta em si.
  2. O batching (processamento em lote) aproveita essa mesma leitura dos pesos para atender vários usuários de uma vez.
  3. O problema é que algumas respostas são mais longas que outras. Quando uma termina cedo, a vaga dela fica ociosa até o lote inteiro acabar.
  4. O batching contínuo (continuous batching) preenche cada vaga liberada com um novo pedido na hora, sem esperar o lote terminar.
  5. O custo é a memória. Cada pedido a mais no lote soma seu próprio KV cache, e isso motivou técnicas como o KV cache paginado.

Aparece em How Inference Keeps Up with Our Insatiable Need for Tokens

Contrato

descrição do estado final, das entradas e das saídas que o agente deve cumprir

Aparece em Stop Telling Agents How

Control plane

plano de controle

O control plane é como o gerente de uma cozinha de restaurante, que recebe os pedidos e decide qual cozinheiro prepara cada prato e em que fogão.

  1. Numa fábrica de software, chegam muitos pedidos de trabalho ao mesmo tempo, como bugs, ideias e melhorias.
  2. Alguém precisa decidir qual tarefa vai para qual agente e em que ordem, senão o trabalho trava ou se repete.
  3. O control plane (plano de controle) é a camada que faz essa distribuição. Ele recebe as tarefas das entradas e as manda para o chão de fábrica.
  4. Ele também acompanha o estado de cada tarefa, sabe quais ambientes estão livres e aciona o agente certo em cada sandbox (ambiente isolado na nuvem).
  5. Lloyd separa essa camada do lugar onde o trabalho acontece e do plano de dados, que guarda a memória dos agentes.

Aparece em Software Engineering Is Becoming Factory Engineering; Move Fast and Don't Break Things: Scaling Databases for the AI Era; Harness Engineering: How to Build a Software Factory; AI Writes More PRs. Who Validates Them?; Agents in Orbit: Workflows, Not Autopilot; Hiring Employable Agents + Startup Battlefield Finals

Cordon e drain de nó

isolar o nó e remover dele as cargas de trabalho

Cordon e drain é como fechar um caixa do supermercado com a plaquinha "caixa fechado" e atender os últimos clientes da fila antes de desligar.

  1. Num cluster, cada máquina (nó) recebe tarefas para executar. Às vezes uma máquina precisa sair de serviço.
  2. Cordon (isolar) é o primeiro passo. O Kubernetes marca o nó para não receber nenhuma tarefa nova.
  3. Drain (drenar) vem em seguida. O Kubernetes retira as tarefas que ainda rodam no nó e as recoloca em outras máquinas.
  4. Com o nó vazio, dá para removê-lo e colocar outro no lugar sem pegar nenhuma tarefa no meio do caminho.
  5. Na Crusoe, o AutoClusters faz isso sozinho após um XID 79, mas antes confere se algum pod tem um rótulo que proíbe a troca automática.

Aparece em GPU Died. Training Didn't: Self-Healing Training at Scale

Cross App Access (XAA)

acesso entre aplicações com identidade do agente via SSO

XAA é como o crachá de visitante que a portaria emite para um estagiário, ligado ao nome do chefe dele e válido só nas salas do projeto, sem que o chefe precise emprestar a própria chave.

  1. Na empresa, você entra em vários sistemas como Notion, GitHub e Slack com um único login, o SSO (single sign-on, login único). O agente de IA ainda não tem um acesso próprio desse tipo.
  2. Sem XAA, o caminho comum é colocar o token pessoal de alguém dentro do ambiente do agente ou aprovar uma tela de consentimento em cada sistema. Isso espalha credenciais e aumenta o estrago possível de um erro.
  3. Com XAA, o sandbox e o MCP gateway declaram a identidade do agente e informam em nome de qual pessoa ele age.
  4. O gateway troca essas declarações com o provedor de identidade da empresa, como o Okta, e recebe um ID-JAG, uma concessão de autorização prevista na versão mais recente do MCP.
  5. Com o ID-JAG, o agente usa os mesmos servidores OAuth (padrão de autorização entre aplicações) que a empresa já tem. A TI administra tudo em um lugar e nenhuma credencial fica dentro do sandbox.

Aparece em How Many Credentials Should Your AI Agent Have? Zero.

CUDA

plataforma da Nvidia para programar GPUs

CUDA é como o manual exclusivo de uma marca de máquina de lavar, que ensina a usar todos os recursos dela mas não serve para máquinas de outras marcas.

  1. Uma GPU (placa gráfica) faz milhares de contas pequenas ao mesmo tempo. Por isso ela acelera tanto a IA.
  2. Para dar ordens a uma GPU, o programador precisa de uma ferramenta própria. CUDA é a ferramenta da Nvidia para isso.
  3. Com CUDA, o programador escreve kernels (funções que rodam direto na GPU) em uma variação de C++ e controla memória e paralelismo de perto.
  4. O resultado é desempenho máximo em chips Nvidia. O custo é um código difícil de escrever e preso a um único fabricante.
  5. No talk, CUDA aparece como referência de velocidade. A Modular diz que Mojo compete com CUDA no desempenho e ainda roda em outros hardwares, como AMD.

Aparece em Taming the AI Hardware Cambrian Explosion

CUDA graphs

recurso da NVIDIA que reduz o custo de lançar kernels

CUDA graphs é como entregar ao garçom o pedido da mesa inteira de uma vez, em vez de chamá-lo a cada prato.

  1. Um modelo de IA dispara centenas de pequenas tarefas na GPU a cada passo.
  2. Cada disparo tem um custo fixo de preparação, e somados eles viram atraso.
  3. CUDA graphs (grafos CUDA) grava essa sequência de tarefas uma vez e depois a repete inteira com um só comando.
  4. Isso corta o custo de disparo e deixa a GPU ocupada com trabalho útil.
  5. Um agente pode desligar esse recurso para o seu kernel parecer mais rápido, e o modelo completo fica até 20 vezes mais lento.

Aparece em Autoresearch Made Our Models 3x Faster; What Is an Inference Engine, Anyway?

Currículo de treino

treino em etapas que se somam

Um currículo de treino é como a escola, onde a criança primeiro aprende a falar, depois a reconhecer letras, depois a ler textos e só no fim faz provas corrigidas.

  1. Em vez de ensinar tudo de uma vez, o modelo aprende em etapas, e cada etapa se apoia na anterior.
  2. Na etapa 1, o modelo lê só texto, 13 trilhões de tokens em inglês, línguas indianas, matemática e código, e ganha uma base forte de língua.
  3. Na etapa 2, ele vê 300 milhões de pares de imagem e texto e aprende a interpretar pixels.
  4. Na etapa 3, o ajuste supervisionado (supervised fine-tuning) usa 100 milhões de exemplos de OCR com tabelas, equações e escrita à mão.
  5. Na etapa 4, o aprendizado por reforço (reinforcement learning) empurra o modelo além do limite que a etapa 3 alcança.

Aparece em From Scratch to SOTA: Training a 3B State-Space Vision Model; Small Models, Big Results: Training a Finance Agent for Under $500

Cypher

linguagem de consulta do Neo4j

Cypher é como pedir ao bibliotecário um caminho desenhado num papel, do tipo "autor escreveu livro", e receber de volta todos os livros que se encaixam nesse desenho.

  1. Para tirar informação de um banco de dados, você precisa fazer uma pergunta numa língua que ele entende. Cypher é a língua usada para conversar com o Neo4j, um banco de dados em grafo.
  2. Num grafo, os dados ficam guardados como pontos (nós) ligados por setas (relações). Uma pergunta em Cypher descreve o desenho que você procura, como "pessoa atuou em filme".
  3. O desenho vira texto com parênteses para os nós e setas para as relações. Por exemplo, MATCH (p:Pessoa)-[:ATUOU_EM]->(f:Filme) RETURN f busca todos os filmes ligados a uma pessoa pela relação ATUOU_EM.
  4. Os comandos principais são MATCH (encontrar um padrão), CREATE (criar nós e relações) e RETURN (devolver o resultado). No talk, Jeremy usa um cypher-shell, um programa de linha de comando, para listar os expositores gravados no Neo4j que roda no Raspberry Pi.
  5. Um agente de IA também pode escrever a query (consulta) em Cypher sozinho. Ele recebe a pergunta em linguagem comum, monta a consulta e envia ao banco por uma ferramenta como o MCP.

Aparece em I Built a Personal AI Agent on a Raspberry Pi; RAG Needs a Map: Using GraphRAG to Retrieve Connected Context

DAG de contratos

grafo sem ciclos em que cada contrato cumprido libera o seguinte

Um DAG de contratos é como uma obra em que o pedreiro só começa a parede quando a fundação passa na vistoria, e ninguém volta para a etapa anterior.

  1. Um trabalho grande pode ser dividido em etapas menores, cada uma com um resultado combinado.
  2. Cada etapa tem um contrato, que descreve o que precisa estar pronto no fim dela. O agente escolhe como chegar lá.
  3. Os contratos ficam ligados num DAG (directed acyclic graph, grafo dirigido sem ciclos). As setas só andam para frente e nunca formam um laço.
  4. Quando um contrato é cumprido, ele funciona como checkpoint (ponto de controle) e libera o próximo contrato da fila.
  5. Assim você controla parte do caminho pela ordem dos contratos e ainda deixa o agente livre dentro de cada etapa.

Aparece em Stop Telling Agents How

Data leakage

vazamento de dados entre treino, teste ou futuro

Vazamento de dados é como um aluno que viu o gabarito antes da prova e tira nota alta sem ter aprendido a matéria.

  1. Um modelo aprende com dados de treino e depois é testado com dados que nunca viu, para medir se funciona de verdade.
  2. Data leakage (vazamento de dados) acontece quando informação que o modelo não teria na vida real entra no treino. O teste fica bom, e o modelo falha em produção.
  3. O vazamento pode vir do futuro, dos dados de teste, do próprio rótulo de fraude ou de estatísticas calculadas com a base inteira.
  4. Em grafo o risco cresce, porque uma ligação entre registros pode carregar informação de outra época ou de outro grupo de dados.
  5. A EXL bloqueia isso na construção. Cada mês vira um grafo separado, cada transação só usa vizinhos anteriores, o rótulo nunca vira atributo e os normalizadores são ajustados só no mês de treino.

Aparece em Judge a Transaction by the Company It Keeps

Deep module

módulo profundo

Um módulo profundo é como um micro-ondas: você aperta um botão só, e toda a parte elétrica complicada fica escondida dentro da caixa.

  1. Todo programa é dividido em partes. Cada parte tem uma porta de entrada, a interface, que diz o que você pode pedir a ela.
  2. Um módulo profundo (deep module) tem uma interface pequena, com poucas funções, e muito trabalho escondido atrás dela. Um módulo raso tem muitas funções, e cada uma faz pouco.
  3. A ideia vem de John Ousterhout, no livro A Philosophy of Software Design. Quem usa o módulo recebe muito valor com uma chamada simples, o que Pocock chama de alavancagem (leverage).
  4. Quando o agente testa só pela interface pequena, o teste confere o resultado e ignora os detalhes internos. Assim ele quebra menos quando alguém reorganiza o código por dentro.
  5. Por isso Pocock obriga o agente a testar pela interface e usa uma skill que aponta onde aprofundar módulos, juntando funções rasas e duplicadas num módulo só, fácil de testar.

Aparece em Fixing the PR Bottleneck

Deferred context

contexto adiado (divulgação progressiva)

Contexto adiado é como o cardápio de um restaurante, que mostra só o nome e uma linha sobre cada prato, e a cozinha só separa a receita completa quando alguém faz o pedido.

  1. Um agente de IA só enxerga o que cabe na sua memória de trabalho, chamada janela de contexto (context window), e esse espaço tem limite.
  2. Empresas conectam centenas de ferramentas, como Slack, Gmail e Figma, e cada uma chega com descrição, parâmetros e formato de dados que ocupam esse espaço.
  3. Com tudo carregado de uma vez, o agente gasta mais tokens, confunde ferramentas de nome parecido e precisa resumir o contexto, perdendo detalhes.
  4. O contexto adiado (deferred context) mostra primeiro só uma lista curta com o nome e uma descrição breve de cada ferramenta, técnica chamada divulgação progressiva (progressive disclosure).
  5. Quando o agente decide usar uma ferramenta, o sistema carrega a definição completa dela. Nada é apagado, só fica escondido, e a Factory relata economia de 50% ou mais de tokens quando há muitas ferramentas.

Aparece em What It Actually Takes to Build a Software Factory; Building on the Codex Harness

Delegation chain

cadeia de delegação humano → agente

Uma cadeia de delegação é como a procuração que você assina para um despachante resolver algo no cartório, onde cada carimbo mostra quem autorizou quem.

  1. Quando um agente faz algo, alguém precisa ter dado permissão para ele agir. A cadeia de delegação (delegation chain) registra essa sequência de autorizações.
  2. O primeiro elo é sempre uma pessoa. Ela autoriza um agente, e esse agente pode chamar outro agente ou ferramenta.
  3. Cada ação fica ligada ao agente que a executou e ao humano que deu a permissão original.
  4. Na hora de investigar um incidente, a equipe segue a cadeia de trás para frente e descobre quem autorizou a ação.
  5. A Docker planeja juntar isso à identidade própria de cada agente no sbx. No talk, o recurso aparece como roadmap, ainda sem demonstração.

Aparece em YOLO Mode, Safely: MicroVM Sandboxes for Any Agent; Your Agent Is a Lethal Trifecta (And What to Do About It)

Determinismo em workflows

workflows determinísticos, activities não

Determinismo em workflows é como uma receita de bolo escrita, que dá sempre os mesmos passos na mesma ordem, enquanto a ida ao mercado para comprar os ingredientes pode terminar diferente a cada vez.

  1. Determinístico quer dizer que, com a mesma entrada, o código faz sempre a mesma coisa.
  2. A Temporal divide o código em duas partes. O workflow (fluxo) guarda os passos de decisão. A activity (atividade) faz tudo que fala com o mundo externo.
  3. Chamadas ao modelo de linguagem e a ferramentas podem dar respostas diferentes a cada vez. Por isso viram activities, que podem falhar e receber retry (nova tentativa).
  4. O workflow precisa ser determinístico porque a Temporal o reexecuta a partir do histórico. Se ele decidisse diferente na reexecução, o estado reconstruído não bateria com o registrado.
  5. No demo com LangChain, cada chamada de modelo ou de ferramenta dentro de um nó do grafo vira activity, e os passos do processo ficam no workflow.

Aparece em The Human Is an Async API

Dilema estabilidade-plasticidade

tensão entre repetir bem e se adaptar

O dilema estabilidade-plasticidade é como um cozinheiro que precisa escolher entre seguir a receita à risca, para o prato sair igual todo dia, e improvisar quando falta um ingrediente na despensa.

  1. Todo sistema que aprende quer duas coisas ao mesmo tempo. Ele quer repetir sem erro o que já sabe fazer e também quer aprender coisas novas.
  2. Estabilidade é a capacidade de repetir a mesma tarefa com o mesmo resultado. Plasticidade é a capacidade de se ajustar quando o ambiente muda.
  3. Ang Li estudou isso na DeepMind, na área de continual learning (aprendizado contínuo). A conclusão dele é que nenhum sistema fica ótimo nas duas coisas. Ganhar em uma custa perder um pouco na outra.
  4. Nos agentes que usam o computador, o agente de código fica no extremo estável. O script roda igual todo dia, mas quebra se a tela muda. O agente com VLM (modelo de visão e linguagem) fica no extremo adaptável, mas não repete o processo com fidelidade.
  5. A busca é por um ponto de equilíbrio na fronteira de Pareto, a curva dos melhores acordos possíveis entre as duas qualidades. A Simular tenta chegar lá com a abordagem neuro-simbólica, que roda código e só chama o modelo quando algo falha.

Aparece em The Autonomous Computer: Infrastructure for Computer Use Agents

Disaggregation

desagregação: separar etapas em máquinas diferentes

A desagregação é como uma cozinha de restaurante que separa a equipe de preparo da equipe de finalização, e contrata mais gente só no setor que está apertado naquele dia.

  1. Quando você manda uma pergunta para uma IA, o trabalho acontece em duas fases. Primeiro ela lê o seu texto, depois escreve a resposta palavra por palavra.
  2. A leitura se chama prefill (pré-preenchimento) e gasta muita conta. A escrita se chama decode (decodificação) e passa a maior parte do tempo esperando dados da memória.
  3. Cada tarefa pesa numa fase diferente. Resumir um documento longo pesa no prefill, e escrever um livro a partir de poucos temas pesa no decode.
  4. A desagregação (disaggregation) põe cada fase num grupo próprio de máquinas, chamado pool. Um pool faz só prefill e outro faz só decode.
  5. Cada pool cresce ou encolhe conforme a carga, e uma fase não trava a outra. O passo seguinte é usar hardware diferente em cada pool, com mais computação num e mais banda de memória no outro.

Aparece em How Inference Keeps Up with Our Insatiable Need for Tokens

Domain grounding

ancoragem de domínio

O domain grounding é como um funcionário experiente que só decora o nome dos produtos novos da loja, sem mudar o jeito de atender o cliente.

  1. Os tokens novos chegam ao modelo sem significado. O modelo precisa aprender o que cada um quer dizer.
  2. Nesta etapa, o modelo treina em pares que ligam semantic ID a texto e texto a semantic ID, nos dois sentidos e em combinações.
  3. O backbone (corpo principal do modelo, com seus pesos originais) fica congelado. Só os embeddings dos tokens novos mudam.
  4. Assim, cada token novo passa a ocupar um lugar coerente no mesmo espaço onde o modelo já guarda o significado das palavras.
  5. No talk, essa é a segunda etapa do NEO. Ela vem antes do ajuste por instruções, quando o modelo inteiro é descongelado.

Aparece em Teaching LLMs to Speak Spotify

DPO

otimização direta de preferências

DPO é como um treinador que mostra ao atleta dois lances lado a lado, um bom e um ruim, e pede para ele repetir mais o primeiro e menos o segundo.

  1. O modelo já funciona, mas erra em alguns casos. A ideia é corrigir esses erros mostrando exemplos de acerto e de erro.
  2. Para cada caso, o time monta um par com uma resposta boa (positiva) e uma resposta ruim (negativa) para a mesma pergunta.
  3. DPO (Direct Preference Optimization, otimização direta de preferências) ajusta o modelo para aumentar a chance da resposta boa e diminuir a chance da ruim.
  4. O ajuste é comparado com uma cópia congelada do modelo original. Isso evita que ele mude demais e esqueça o que já sabia.
  5. No talk, os pares vêm de falhas de produção achadas por um LLM juiz e por revisores humanos, e o retreino acontece em ciclo contínuo.

Aparece em Modality Misalignment and Originality Attribution in Short-Form Video; Stop Renting Intelligence: The Train-to-Deploy Loop for Specialized AI

Draft model

modelo rascunho

O draft model é como o auxiliar de cozinha que já deixa os pratos montados para o chef só conferir e finalizar.

  1. Draft model (modelo rascunho) é um modelo de IA pequeno que trabalha junto com um modelo grande.
  2. A função dele é adivinhar os próximos tokens (pedaços de texto) bem rápido, para o modelo grande apenas conferir.
  3. Ele precisa usar o mesmo vocabulário de tokens do modelo grande. Assim os dois falam a mesma língua na hora da conferência.
  4. Quanto mais o rascunho acerta, mais tempo o sistema economiza. No talk, um rascunho treinado com dados genéricos rendeu até 30% de ganho.
  5. Treinar o rascunho com o tráfego real do cliente aumenta a taxa de acerto, porque ele aprende o estilo de pedido daquele uso específico.

Aparece em What Makes Open Models Fast in Production; Is Speculative Decoding Worth It? Profiling vLLM on NVIDIA Blackwell; Stop Renting Intelligence: The Train-to-Deploy Loop for Specialized AI; Same Model, Different Speed: Why Your Inference Provider Matters

Dreaming

consolidação de memória entre sessões

Dreaming é como o gerente que, no fim da semana, lê as anotações de toda a equipe e reescreve o manual do escritório com o que funcionou.

  1. Vários agentes trabalham em tarefas parecidas e cada um anota o que aprendeu em um caderno comum.
  2. Com o tempo, esse caderno fica cheio de notas soltas, repetidas ou até contraditórias.
  3. Dreaming (sonhar, em tradução livre) é uma etapa que roda depois das sessões e relê as transcrições e as memórias de várias sessões juntas.
  4. Ela reescreve o memory store (memória de longo prazo compartilhada) para que os próximos agentes saibam o que buscar e herdem os casos difíceis que outros já resolveram.
  5. Hoje o recurso só atualiza memory stores. A Anthropic cita como ideia futura aplicar o mesmo processo a skills, prompts e definições de agente.

Aparece em Build a Research Agent with Claude Managed Agents (Part 2 of 4); Scheduled Agents, Dreaming and Q&A: Claude Managed Agents (Part 3 of 4)

Drift

deriva dos dados ao longo do tempo

Drift é como um GPS com mapa antigo, que funcionou bem no começo mas erra mais a cada rua nova que a prefeitura abre.

  1. Um modelo aprende com exemplos de uma época. O mundo continua mudando depois disso.
  2. Drift (deriva) é a distância que cresce entre o que o modelo aprendeu e o que acontece hoje. As respostas pioram aos poucos, sem nenhum aviso.
  3. No talk, o time usa fine-tuning (ajuste fino) no centro estável de um problema, como moderação de conteúdo, onde as correções humanas já pararam de mudar.
  4. Esse centro também pode se mover. Novas regras, novos produtos ou novos casos fazem os humanos voltarem a corrigir o modelo.
  5. Por isso o time monitora a taxa de correções humanas e a qualidade das respostas. Quando elas pioram, o time revisa os dados e treina o modelo de novo.

Aparece em Stop Fine-Tuning to Fix Retrieval Problems; Why Building an Eval Platform Is Harder Than It Looks; Turning Agent Memory Into Skills That Work; From Context to Memory: Your Agents Need a Real Memory Layer; Containment Is Lying to You: Measuring AI Agents Like Employees; Hill-Climbing Skills: Improve Agents Without Changing the Model

DSPy

framework que isola cada chamada de LLM atrás de interfaces tipadas

DSPy é como uma linha de montagem em que cada funcionário recebe um formulário com campos fixos e só pode devolver o formulário preenchido.

  1. Um programa com IA costuma fazer várias perguntas ao modelo em sequência. O DSPy organiza essas perguntas dentro de um código normal.
  2. Cada chamada ao LLM (large language model, o modelo de linguagem) fica isolada, como uma caixa-preta com uma tarefa só.
  3. Você define uma interface tipada (typed interface, um molde que diz o tipo de cada entrada e saída), e o modelo só preenche esse molde.
  4. O resto do fluxo roda em código determinístico, que sempre faz a mesma coisa. O código decide a ordem dos passos e quando parar.
  5. No talk, o OpenProse tem a mesma intenção de criar uma camada acima dos workflows, mas faz o oposto e deixa o próprio agente decidir quase tudo.

Aparece em Stop Telling Agents How

Early fusion

fusão precoce de modalidades

Early fusion é como uma cozinheira que mistura todos os ingredientes na mesma panela desde o início, em vez de cozinhar cada um separado e juntar só no prato.

  1. Um modelo multimodal trabalha com vários tipos de dado ao mesmo tempo, como texto, imagem, vídeo e som.
  2. Na late fusion (fusão tardia), cada tipo passa por um sistema próprio, e os resultados só se encontram no final.
  3. Na early fusion (fusão precoce), todos os tipos viram tokens logo na entrada e seguem juntos pela mesma rede.
  4. Assim, o modelo aprende relações entre palavras e pixels desde as primeiras camadas, e também pode responder em mais de um formato.
  5. O ponto difícil é escolher como representar cada tipo de dado, porque vídeo gera muito mais tokens do que texto para a mesma informação.

Aparece em From VLM/VLA's to Embodied Agents; How MiniMax M3 Was Built: Sparse Attention and Native Multimodality

eBPF

programas que rodam dentro do kernel para interceptar ações

eBPF é como um guarda de trânsito posto num cruzamento da cidade, que observa cada carro e pode parar ou desviar alguns sem precisar reconstruir a rua.

  1. O kernel é o núcleo do sistema operacional. Ele controla memória, arquivos, rede e processos de todos os programas da máquina.
  2. Mudar o comportamento do kernel costumava exigir recompilar o sistema ou instalar módulos arriscados, que podiam derrubar a máquina inteira.
  3. O eBPF (extended Berkeley Packet Filter, filtro de pacotes estendido) permite carregar pequenos programas que rodam dentro do kernel. Um verificador checa cada programa antes, para ele não travar o sistema.
  4. Esses programas se prendem a eventos, como uma conexão de rede ou a abertura de um arquivo. Ali eles registram, liberam ou bloqueiam a ação.
  5. Em sandboxes de agentes, o eBPF pode decidir se o agente faz chamadas de saída (egress) para a internet ou para APIs internas da empresa.

Aparece em 1,000 Agent Tasks in a Sandbox: What Breaks When LLMs Run Code

Egress proxy

proxy de saída de rede

Um egress proxy é como a portaria de um escritório, por onde toda correspondência que sai passa, e o porteiro confere o destino, registra o envio e barra o que não foi autorizado.

  1. Quando um programa quer falar com um serviço na internet, ele manda uma mensagem para fora. Egress (saída) é o nome desse tráfego que sai.
  2. Um proxy (intermediário) é um ponto no meio do caminho. Toda mensagem de saída passa por ele antes de chegar ao destino.
  3. No desenho citado no painel, as ferramentas do agente rodam numa sandbox (ambiente isolado) sem chaves de API. A única porta para fora é o egress proxy.
  4. No proxy ficam as regras de autorização. Ele decide se cada chamada pode seguir, coloca a credencial certa no pedido e guarda o registro de tudo.
  5. O proxy fica fora do alcance do agente. Assim o agente pode experimentar à vontade, e uma camada fixa e previsível aplica os limites que ele não consegue mudar.

Aparece em An AI Agent Got Its User Banned From Resy

Elicitation

pedido de entrada do usuário pelo servidor MCP

Elicitation é como o garçom que volta à mesa no meio do preparo para perguntar o ponto da carne antes de terminar o prato.

  1. Às vezes o sistema que atende um pedido percebe que falta uma informação e precisa perguntar ao usuário antes de continuar.
  2. No MCP (Model Context Protocol, protocolo de contexto de modelo), o servidor faz o trabalho e o app de IA, como ChatGPT ou Claude, conversa com o usuário.
  3. Elicitation (pedido de entrada) é o recurso que deixa o servidor pausar a tarefa e pedir ao app que colete um dado do usuário, como uma confirmação ou um formulário.
  4. O app mostra o pedido ao usuário, recebe a resposta e devolve ao servidor, que retoma a tarefa de onde parou.
  5. No talk, o palestrante cita o recurso como forma de abrir uma validação externa, por exemplo um checkout num iframe (janela embutida), sem tirar o usuário do agente. Segundo ele, a maioria dos apps grandes ainda não suporta o recurso.

Aparece em How AI Agents Pay: Checkout in ChatGPT and Google AI Mode; Designing CLIs for Agents, Not Humans; Turning My Obsidian Vault Into a Local AI Engineer

Embedding

vetor que representa o sentido do texto

Aparece em From Ingestion to Agents: How AI Teams Build on Document Intelligence; Your LLM App Returned 200 OK. It Was Still Wrong.; Stop Renting Your AI's Memory; We Built an AI Support Agent That Resolves 80% of Tickets; Advanced Workshop: Mastering AI Observability; Agentic Search vs Vector Search for Coding Agents: We Ran the Eval; From Context to Memory: Your Agents Need a Real Memory Layer; RAG Needs a Map: Using GraphRAG to Retrieve Connected Context; Judge a Transaction by the Company It Keeps

Embodied reasoning

raciocínio espacial e físico

Embodied reasoning é como o chefe de cozinha que olha a bancada, entende onde está cada coisa e divide o preparo do café em etapas para o ajudante executar.

  1. Embodied reasoning (raciocínio incorporado) é a capacidade de pensar sobre o mundo físico, como posição, distância e ordem das tarefas.
  2. Um modelo com esse raciocínio responde perguntas como o que está à esquerda de quê, ou marca pontos exatos numa imagem.
  3. Em robótica, um modelo de embodied reasoning pode agir como orquestrador, quebrando uma tarefa longa em subtarefas menores.
  4. Cada subtarefa vai para uma política de controle, o modelo que de fato move o robô, e existe um espectro entre separar esses papéis ou juntá-los num só modelo.
  5. O palestrante diz que dados da internet raramente descrevem esquerda, direita ou abaixo, e que por isso é preciso planejar esses dados desde o pré-treino.

Aparece em From VLM/VLA's to Embodied Agents

End-to-end learning

aprendizado de ponta a ponta, do sensor à ação

Aprendizado de ponta a ponta é como um cozinheiro que aprende a fazer o prato só provando o resultado final, sem receita escrita nem etapas separadas que alguém possa conferir no meio.

  1. Um sistema tradicional divide a tarefa em etapas separadas, como enxergar, planejar e agir, e pessoas escrevem regras para cada uma.
  2. No end-to-end learning (aprendizado de ponta a ponta), um único modelo recebe o dado bruto do sensor, como a imagem da câmera, e devolve direto a ação, como para onde o drone vai.
  3. O modelo aprende sozinho com muitos exemplos ou por reinforcement learning (aprendizado por reforço), em que ganha recompensa quando acerta e ajusta o próprio comportamento.
  4. O problema em máquinas físicas é a observabilidade: quando algo dá errado, fica difícil saber em qual parte interna do modelo o erro nasceu.
  5. Por isso a Skydio migra por partes, trocando primeiro os trechos cheios de regras escritas à mão, como a busca e resgate, por agentes com ferramentas de alto nível.

Aparece em One Operator, Many Drones: Inside Skydio's Autonomy Stack

Eval

avaliação

Aparece em How We Built an Agent That Improves Itself; The Loop Is the Product; From Ingestion to Agents: How AI Teams Build on Document Intelligence; MCP Doesn't Suck. Your Agent Does.; How VS Code Went from Monthly to Weekly Releases with AI; Agents That Write Their Own Tools at Runtime; From Vibes to Production: Evaluating and Shipping AI Agents That Work 201; From Vibes to Production: Evaluating and Shipping AI Agents That Work 101; The Transcript Looked Fine. The Call Wasn't.; Evals in AI: A Deep Dive; Agentic Search vs Vector Search for Coding Agents: We Ran the Eval; Redesigning How Software Gets Built With AI Agents; The 6 Pillars of an Agentic Harness for Production; Why Building an Eval Platform Is Harder Than It Looks; The Self-Improving OSS Agent Stack; Why 80% Reliability Isn't Good Enough; We Mapped 115 Microservices for Our Coding Agents; Why We Deleted Our MCP Server and Rebuilt It; Building AIE: Open Q&A and Feedback Session with swyx; Claude Managed Agents Q&A: Evals, CI/CD and Multi-Tenancy (Part 4 of 4); Parameter Golf with AutoResearch; Let Your Agent Cook: Using Skills to Evaluate and Improve Your App; From Zero to Leaderboard: Agent Evaluation; AI Engineer NYC: OpenAI, Blackstone, Ramp, Coinbase, Apollo, Citadel, Basis, Runway, Compute Trading; Insurance Claims Are AI's Messiest Data Problem; Evals for High-Stakes AI Agents; Teach Your Agent to Prove It's Done; The AI Bill Is Too Damn High: Tokenomics 101

Execution plan

plano de execução com a ordem de uso das ferramentas

Aparece em Dashboards Are Dead

Exploit validation

validação de exploit, o agente juiz

Exploit validation é como o inspetor da defesa civil que vai até a casa e testa a parede rachada antes de mandar interditar o prédio inteiro.

  1. Um programa de segurança procura falhas no sistema e gera uma lista de suspeitas. Muitas dessas suspeitas são alarme falso.
  2. Um exploit (ataque que aproveita uma falha) é a prova prática de que a falha existe e pode ser usada por um invasor.
  3. Na exploit validation (validação de exploit), um agente de IA recebe cada falha suspeita e tenta explorá-la de verdade, de forma controlada.
  4. No talk, esse agente faz o papel de juiz. Os agentes caçadores entregam as falhas encontradas, e o juiz decide se cada uma é real e explorável.
  5. Só passam adiante as falhas confirmadas. Isso corta falsos positivos, reduz a carga de análise do time e deixa para os agentes de correção e de relatório só o que importa.

Aparece em AI Hackers Are Faster Than Your Pen Test

Failure surface

superfície de falha, o critério que define o que é errar

A failure surface é como a régua de correção que o professor prepara antes da prova, para saber na hora o que conta como resposta errada.

  1. Antes de pedir um trabalho a alguém, você precisa saber como vai reconhecer um resultado errado.
  2. A failure surface (superfície de falha) é esse critério combinado de antemão, a referência contra a qual cada tentativa é comparada.
  3. No caso de Ohio, a equipe rodou bons modelos numa fatia pequena dos dados e conferiu parte à mão. Esse resultado virou a linha de base.
  4. Em outros projetos, a referência pode ser automática, como checagens de esquema (o formato esperado dos dados) ou medidas de comportamento.
  5. Com o critério fixo, dá para trocar modelos e ajustar o pipeline várias vezes, porque cada mudança é medida contra a mesma régua.

Aparece em Just-in-Time Ontologies: What Cheap Intelligence Means for Data

Gang scheduling

agendamento em grupo: todos os nós do job iniciam juntos

Gang scheduling é como um time de remo que só sai da margem quando os oito remadores estão sentados no barco.

  1. Um treino grande de IA usa vários computadores ao mesmo tempo, e cada um faz uma parte do trabalho.
  2. Essas partes conversam o tempo todo. Se uma máquina começa e a outra ainda não chegou, a primeira fica parada esperando.
  3. Gang scheduling (agendamento em grupo) resolve isso. O agendador só libera o job quando todos os nós pedidos estão livres, e então inicia todos juntos.
  4. Sem isso, nós ficam reservados e ociosos à espera dos colegas, e dois jobs podem travar um ao outro segurando metade das máquinas cada um.
  5. O Slurm traz esse recurso de fábrica, e por isso se encaixa bem em treinos com comunicação coletiva entre GPUs.

Aparece em GPU Died. Training Didn't: Self-Healing Training at Scale

GIL (global interpreter lock)

trava global do interpretador do Python

O GIL é como uma cozinha com uma única chave do fogão, e só o cozinheiro que segura a chave pode cozinhar naquele momento.

  1. Python roda seu código por meio de um programa chamado interpretador, que lê e executa cada instrução.
  2. O GIL (global interpreter lock, trava global do interpretador) é uma regra desse programa. Só uma thread (linha de execução) executa código Python por vez.
  3. Por isso, várias threads fazendo conta pesada em Python puro não correm de verdade em paralelo. Elas se revezam.
  4. Algumas bibliotecas, como os tokenizers do Hugging Face e partes do PIL, soltam a trava enquanto trabalham em código nativo. Nesses casos, threads ajudam.
  5. Quando a biblioteca não solta a trava, a saída são processos. Cada um tem seu próprio interpretador e sua própria trava, e usam vários núcleos da máquina.

Aparece em From 15% to 90% GPU Utilization: Fix the Data Pipeline, Not the Model

GPU kernel

operador de baixo nível executado na GPU

Um GPU kernel é como uma receita curta que mil cozinheiros seguem ao mesmo tempo, cada um picando a sua parte dos legumes.

  1. A GPU (placa de vídeo) é um chip com milhares de pequenos núcleos que trabalham juntos.
  2. Um kernel (núcleo de código) é um programa pequeno que diz o que cada núcleo faz com o seu pedaço dos dados.
  3. Exemplos comuns em IA são a multiplicação de matrizes e o cálculo de cada especialista de um modelo.
  4. Na GPU da NVIDIA esse programa se chama CUDA kernel e roda milhões de vezes em paralelo.
  5. Um kernel mais rápido acelera o modelo inteiro, e dá para medir se ele está correto e quanto tempo leva.

Aparece em Autoresearch Made Our Models 3x Faster; What Is an Inference Engine, Anyway?; Stop Renting Intelligence: The Train-to-Deploy Loop for Specialized AI; Taming the AI Hardware Cambrian Explosion; How MiniMax M3 Was Built: Sparse Attention and Native Multimodality

GQA (grouped-query attention)

atenção em que grupos de queries compartilham cabeças de key e value

GQA é como uma escola em que cada grupo de alunos divide o mesmo livro didático, em vez de cada aluno ter o seu próprio exemplar.

  1. Na atenção, cada token faz uma pergunta, chamada query, e procura respostas nos outros tokens, que guardam uma etiqueta (key) e um conteúdo (value).
  2. O modelo tem várias cabeças de atenção trabalhando em paralelo. Se cada cabeça guardar suas próprias keys e values, a memória da GPU enche rápido em textos longos.
  3. Na GQA (grouped-query attention, ou atenção com queries agrupadas), as queries se dividem em grupos e cada grupo compartilha uma cabeça de key e value. Isso economiza memória.
  4. A MQA leva a ideia ao extremo, com uma única cabeça de key e value bem larga. A DeepSeek desenhou sua atenção esparsa para MQA.
  5. Aplicada em GQA, essa atenção fazia todas as cabeças olharem os mesmos tokens e exigia leituras separadas na memória. A MSA deixa cada cabeça escolher seus próprios blocos.

Aparece em How MiniMax M3 Was Built: Sparse Attention and Native Multimodality

Graph neural network (GNN)

rede neural de grafos

Uma GNN é como um porteiro de prédio que desconfia de um visitante porque ele chegou junto com pessoas já conhecidas por causar confusão.

  1. Um grafo é um mapa de pontos ligados por linhas. No caso da fraude, os pontos são transações, usuários e lojas, e as linhas mostram quem comprou onde.
  2. Uma graph neural network (rede neural de grafos) aprende sobre cada ponto olhando também para os vizinhos ligados a ele, e não só para os dados do próprio ponto.
  3. Cada camada faz três passos. Primeiro coleta o estado de cada vizinho. Depois resume esse grupo, que tem tamanho variável, num vetor de tamanho fixo. Por fim junta esse resumo com o estado do próprio ponto.
  4. Com duas camadas empilhadas, cada transação passa a carregar informação dos vizinhos e dos vizinhos dos vizinhos.
  5. O resultado é um embedding (vetor de números) por ponto. No talk, esse vetor entra como informação extra no classificador XGBoost.

Aparece em Judge a Transaction by the Company It Keeps

GraphSAGE

GNN que amostra e agrega vizinhos, aplicável a nós novos

O GraphSAGE é como um técnico de futebol que avalia um jogador novo pelo time em que ele jogou, sem precisar ter treinado com ele antes.

  1. O GraphSAGE é um tipo de GNN que resume a vizinhança de cada ponto do grafo para gerar um vetor que o descreve.
  2. Ele sorteia um número fixo de vizinhos por salto, com preferência pelos mais recentes. Assim uma loja enorme, ligada a milhões de compras, não domina todas as mensagens.
  3. Ele agrega os vizinhos sorteados. O time da EXL usa média, máximo e desvio padrão juntos, porque a média sozinha dilui um único vizinho perigoso no meio de vizinhos normais.
  4. Depois combina esse resumo com o vetor do próprio ponto usando pesos aprendidos e gera um vetor de tamanho fixo após dois saltos.
  5. Ele é inductive (indutivo), porque aprende a regra de agregação e não um vetor fixo por ponto. Por isso consegue gerar o vetor de um usuário ou loja novos sem retreinar o modelo.

Aparece em Judge a Transaction by the Company It Keeps

GRPO

algoritmo de RL que transforma notas de várias execuções em ajuste de pesos

GRPO é como um técnico que vê o time cobrar vários pênaltis, compara cada chute com a média do grupo e só diz "mais disso" ou "menos disso", sem comentar o que aconteceu em cada cobrança.

  1. O modelo recebe uma tarefa e tenta resolvê-la várias vezes seguidas, gerando um grupo de respostas diferentes.
  2. Cada resposta ganha uma nota no final, em geral 0 (errou) ou 1 (acertou), dada por um verificador automático.
  3. O GRPO (Group Relative Policy Optimization, otimização de política relativa ao grupo) compara cada nota com a média do grupo e marca quem ficou acima e quem ficou abaixo.
  4. Essa comparação vira gradiente (direção de ajuste) e altera um pouco os pesos do modelo para repetir mais as respostas acima da média.
  5. O raciocínio, as chamadas de ferramenta e as mensagens de erro ficam de fora, por isso o método precisa de milhares de rollouts para aprender algo.

Aparece em Beating RL With Reflection: GEPA and Optimize Anything; Small Models, Big Results: Training a Finance Agent for Under $500

Hard negatives

Negativos difíceis

Hard negatives é como ensinar um aprendiz de cozinha a separar salsinha de coentro, porque separar salsinha de cenoura ele já sabe.

  1. Para aprender, o modelo precisa ver exemplos errados, chamados negativos. Um negativo é um item que não serve para aquela busca.
  2. Negativos fáceis, como ração de cachorro para quem busca macarrão, ensinam pouco. O modelo já acerta esses casos.
  3. Hard negatives (negativos difíceis) são os itens que o modelo confunde. Por exemplo, um espaguete comum no alto da lista para quem pediu macarrão sem glúten, ou um item certo jogado lá para baixo.
  4. No DoorDash, o primeiro estágio treina um modelo base. Esse modelo então garimpa (mining) os casos confusos, e esses itens recebem um novo rótulo.
  5. O segundo estágio faz um treino em currículo (curriculum training) com esses exemplos. Depois dele, itens relevantes e moderadamente relevantes deixam de se sobrepor, e o NDCG de relevância subiu 2,3%.

Aparece em Distill the LLM, Don't Serve It: Search & Personalization at DoorDash; Judge a Transaction by the Company It Keeps

Harness

estrutura que roda o agente

O harness é como o carro em volta do motor, com volante, freio e painel, que transforma a força do motor em uma viagem controlada.

  1. Um modelo de IA sozinho só recebe texto e devolve texto. Ele não abre arquivos nem roda comandos.
  2. O harness (estrutura que roda o agente) é o programa em volta do modelo que dá a ele ferramentas, instruções e um lugar para agir.
  3. Ele monta o pedido para o modelo, executa as ações que o modelo escolhe, devolve o resultado e repete até a tarefa acabar.
  4. Claude Code e o agente da Warp são exemplos de harness. O mesmo modelo pode render bem ou mal dependendo do harness em volta.
  5. Na fábrica de Lloyd, cada tarefa exige duas escolhas dentro da sandbox, qual harness usar e qual modelo colocar dentro dele.

Aparece em Software Engineering Is Becoming Factory Engineering; GLM-5.2: Open Weights, Near-Frontier Intelligence; Orchestras, Not Factories: How the Fastest Builders Work; Building Self-Improving Agent Software Factories; An AI Research Agent That Runs Your Experiments; The Loop Is the Product; From Scratch to SOTA: Training a 3B State-Space Vision Model; The Death of the Code Review: What the Data Actually Says; YOLO Mode, Safely: MicroVM Sandboxes for Any Agent; Stop Rationing Tokens: Let the Harness Pick the Model; Your Coding Agent Is 6 Months Out of Date; MCP Doesn't Suck. Your Agent Does.; Stop Fine-Tuning to Fix Retrieval Problems; An Interaction Is All You Need; The Human Is an Async API; How Many Credentials Should Your AI Agent Have? Zero.; Evals in AI: A Deep Dive; Agentic Search vs Vector Search for Coding Agents: We Ran the Eval; Why AI Agents Should Have Their Own Sandbox; Redesigning How Software Gets Built With AI Agents; Grep or Embeddings? Agentic Search Over Company Documents; AI Writes More PRs. Who Validates Them?; Why 80% Reliability Isn't Good Enough; How a Remote Company Builds AI Fluency; Why We Deleted Our MCP Server and Rebuilt It; Building on the Codex Harness; Just-in-Time Ontologies: What Cheap Intelligence Means for Data; Scheduled Agents, Dreaming and Q&A: Claude Managed Agents (Part 3 of 4); Decoupling the Brain from the Hands: Claude Managed Agents (Part 1 of 4); Auth for Agents: Let AI Sign Up for Your Product with auth.md; The Autonomous Computer: Infrastructure for Computer Use Agents; Burn Your Flags: Interactive CLIs for Agents; Building Self-Learning Loops for Your Agent; The SDLC You Build Yourself; From Your Laptop to the Pipeline: Scaling Custom Agents with GitHub Copilot; I Spent Two Years Building the Median; Stop Chatting With Spreadsheets; Stop Telling Agents How

Hierarquia de cache

cache em camadas GPU, CPU e NVMe

A hierarquia de cache é como a cozinha de um restaurante, onde o que o cozinheiro usa toda hora fica na bancada, o que usa às vezes fica na geladeira e o resto fica no estoque dos fundos.

  1. Quando um modelo lê um texto, ele guarda anotações sobre esse texto para não precisar ler tudo de novo. Essas anotações ocupam espaço na memória.
  2. Em textos longos, essas anotações (o KV cache, cache de chave e valor) podem ficar maiores que o próprio modelo. A memória da placa de vídeo (GPU) é a mais rápida, mas é pequena.
  3. A solução organiza o cache em três camadas. O cache quente, usado agora, fica na memória da GPU. O morno fica na RAM do processador (CPU). O frio vai para o NVMe, um disco rápido, ou para o disco comum.
  4. O sistema observa o uso de cada bloco de cache. Ele tira da GPU os blocos pouco usados e traz de volta os que uma nova requisição vai precisar, antes da hora de usar.
  5. Com mais prefixos guardados em algum lugar, o servidor recalcula menos a entrada. Isso reduz o tempo até o primeiro token (TTFT, time to first token) em agentes com contexto longo.

Aparece em Same Model, Different Speed: Why Your Inference Provider Matters

Hill climbing

melhoria em pequenos passos guiada pela métrica

Aparece em How We Built an Agent That Improves Itself; How VS Code Went from Monthly to Weekly Releases with AI; Your LLM Judge Is a Confident Liar: Building Better Verifiers; Why Building an Eval Platform Is Harder Than It Looks; The Self-Improving OSS Agent Stack; Just-in-Time Ontologies: What Cheap Intelligence Means for Data; Hill-Climbing Skills: Improve Agents Without Changing the Model; Why One AI Agent Isn’t Enough (And How to Run 1,000) - CJ Avilla & Harrison Stall, Anthropic; Teach Your Agent to Prove It's Done

Hiperparâmetro

ajuste de treino definido antes de treinar

Hiperparâmetro é como a temperatura do forno e o tempo de assar que você escolhe antes de pôr o bolo, enquanto o bolo cresce sozinho lá dentro.

  1. Treinar um modelo de IA é deixar o computador aprender com exemplos. Antes de começar, alguém precisa escolher algumas regras de como esse aprendizado vai acontecer.
  2. Essas regras escolhidas antes do treino se chamam hiperparâmetros. O modelo não aprende esses valores sozinho; a pessoa ou um agente define cada um.
  3. Dois exemplos comuns são a learning rate (taxa de aprendizado), que diz o tamanho de cada passo de correção, e o batch size (tamanho do lote), que diz quantos exemplos o modelo vê de uma vez.
  4. Para achar bons valores, a equipe roda vários treinos com combinações diferentes, compara uma métrica como a loss (erro do modelo) e guarda a melhor combinação.
  5. No talk, o agente ARIA evita mudar a arquitetura do modelo, ajusta só hiperparâmetros e lança os treinos em GPUs. Nos resultados, ele percebe que o batch size pesa muito no desempenho.

Aparece em An AI Research Agent That Runs Your Experiments; Stop Renting Intelligence: The Train-to-Deploy Loop for Specialized AI

HNSW

índice em grafo para busca vetorial aproximada

HNSW é como chegar a um endereço numa cidade grande, em que você pega primeiro a rodovia, depois a avenida do bairro e só no fim entra nas ruas pequenas até a porta certa.

  1. Uma memória de IA guarda milhares de itens. Para achar os mais parecidos com uma pergunta, comparar a pergunta com cada item, um por um, fica lento demais.
  2. HNSW (Hierarchical Navigable Small World, ou mundo pequeno navegável em camadas) organiza os itens como uma rede, em que cada item fica ligado aos vizinhos mais parecidos com ele.
  3. Essa rede tem andares. O andar de cima tem poucos itens com ligações longas, e os de baixo têm todos os itens com ligações curtas.
  4. A busca começa no topo, pula para o vizinho mais próximo da pergunta e desce de andar a cada etapa, refinando até chegar aos itens mais parecidos.
  5. O resultado é aproximado, porque pode deixar passar algum vizinho, mas sai em frações de milissegundo. O palestrante cita o HNSW, de 2016, como prova de que a tecnologia de memória já existia havia anos.

Aparece em Stop Renting Your AI's Memory

Hot swapping de modelos

trocar modelos carregados na mesma GPU sem reiniciar o serviço

Hot swapping de modelos é como uma cozinha com um fogão só, onde o cozinheiro troca a panela conforme o pedido sem apagar o fogo.

  1. Um modelo de IA precisa ficar carregado na memória de uma placa de vídeo, a GPU (unidade de processamento gráfico), para responder.
  2. GPU custa caro. Reservar uma GPU inteira para um modelo pequeno que fica parado boa parte do tempo desperdiça dinheiro.
  3. Hot swapping (troca a quente) mantém vários modelos prontos e troca qual deles roda na GPU sem reiniciar o serviço.
  4. A técnica rende mais com modelos pequenos que cabem numa GPU só, como os de reconhecimento de entidades, embeddings ou geração curta.
  5. No Superlinked SIE, um gateway (porta de entrada) manda cada pedido ao grupo de workers certo. Cada worker junta pedidos em lotes (batching) antes de rodar o modelo.

Aparece em Turning My Obsidian Vault Into a Local AI Engineer

Human in the loop

humano no circuito de validação

Aparece em I Gave an AI a Body; The State of AI in Software Development: Data from 400+ Orgs; The Death of the Code Review: What the Data Actually Says; Your Agents Are in Solitary Confinement: Why MCP & A2A Aren't Enough; Stop Rationing Tokens: Let the Harness Pick the Model; The Human Is an Async API; From Raw Documents to AI-Ready Data; The Self-Improving OSS Agent Stack; Brains vs Hands: How to Run AI Agents Safely in Production; Your AI Agent Has No Nervous System; Why We Deleted Our MCP Server and Rebuilt It; Giving AI Agents Memory That Learns; Your Agent Is a Lethal Trifecta (And What to Do About It); We Let Our Financial Planners Write the Agents; Auth for Agents: Let AI Sign Up for Your Product with auth.md; Hiring Employable Agents + Startup Battlefield Finals; Containment Is Lying to You: Measuring AI Agents Like Employees; Build with Perception Agents; AI Security Engineer Foundations + Certificate; The SDLC You Build Yourself; From Your Laptop to the Pipeline: Scaling Custom Agents with GitHub Copilot; AI Agents Cut 3-Day Portfolio Builds to Minutes; Paving the Road to Production: Governed Enterprise AI Agents; What Technical Due Diligence Finds When the Deck Says “70% Automated”; The Agent Works. Does Anyone Trust It?; Deploying AI Inside a Bank Is Not an Engineering Problem; An AI Agent Got Its User Banned From Resy; Insurance Claims Are AI's Messiest Data Problem

ID-JAG

credencial assinada que representa a identidade do usuário

O ID-JAG é como uma carta de apresentação assinada pelo seu chefe, que o estagiário entrega na recepção de outra empresa para ser atendido em nome dele.

  1. Quando um agente quer usar um serviço novo, o serviço precisa saber em nome de quem ele age. O ID-JAG é o documento que responde essa pergunta.
  2. O agente pede ao serviço de identidade do usuário, o lugar onde a pessoa já tem login, um comprovante assinado que diz quem é o usuário.
  3. Esse comprovante é uma identity assertion (afirmação de identidade). A assinatura digital permite ao serviço de destino conferir que ninguém falsificou ou alterou o documento.
  4. O agente entrega o ID-JAG ao serviço, como a Cloudflare na demo. O serviço confere a assinatura, decide quanto acesso dar e devolve um access token (chave de acesso) para a API.
  5. O nome vem de Identity Assertion JWT Authorization Grant, um padrão em construção na família OAuth. Ele cobre só o registro, e depois o agente usa a API e o MCP normalmente.

Aparece em Auth for Agents: Let AI Sign Up for Your Product with auth.md

Idempotência

repetir a operação sem mudar o resultado final

Idempotência é como apertar várias vezes o botão do elevador, que mesmo assim vem uma vez só.

  1. Uma operação idempotente dá o mesmo resultado final se você fizer uma vez ou dez vezes.
  2. Isso importa quando uma tarefa falha no meio e o sistema precisa tentar de novo sem saber o que já foi feito.
  3. No pipeline da DatologyAI, cada checkpoint grava sempre no mesmo arquivo no S3 e substitui a versão anterior.
  4. Assim, uma nova tentativa (retry) depois de uma falha não duplica dados nem deixa arquivos pela metade.
  5. Idempotência, checkpoints e retentativa automática juntos permitem retomar um job longo sem intervenção manual.

Aparece em Lessons from Generating 12 Trillion Synthetic Tokens; Every AI Company Is Accidentally Building a Bank; Brains vs Hands: How to Run AI Agents Safely in Production; How to Build Quality Gates into Agentic Coding Workflows

Image-guided detection

detecção guiada por imagem de exemplo

A detecção guiada por imagem é como mostrar a foto de uma peça ao balconista da loja de ferragens e pedir todas as iguais, em vez de tentar descrever a peça com palavras.

  1. Às vezes fica difícil descrever em palavras o objeto que você quer achar numa foto.
  2. Na detecção guiada por imagem (image-guided detection), você entrega ao modelo uma imagem de exemplo do objeto em vez de uma descrição em texto.
  3. O modelo compara esse exemplo com as outras imagens e marca com caixas os objetos parecidos.
  4. Merve cita isso como plano futuro para a indústria, onde há peças e defeitos sem nome claro, e a linguagem natural não serve bem como porta de entrada.

Aparece em Skill issue: stop deploying vision language models, use them with Skills

Intent based authorization

autorização baseada em intenção (proposta, não é padrão)

A autorização por intenção é como a ordem de serviço do mecânico, que lista o conserto combinado e impede trocar outras peças sem nova assinatura do cliente.

  1. Antes de agir, o agente descreve o que pretende fazer, e um sistema confere se isso bate com o pedido do usuário.
  2. Essa descrição se chama missão (mission) e traz um objetivo, as ações permitidas e os limites.
  3. No talk, a missão de triar o incidente 2294 permite ler esse ticket e resumir ou escalar, mas proíbe ler outros tickets e usar outros serviços.
  4. O STS aprova sozinho as missões de baixo risco e manda as arriscadas, como escalar um serviço, para o usuário revisar. Depois dá um ID à missão.
  5. Cada chamada de ferramenta leva esse ID, e o gateway pergunta ao STS se ela cabe na missão antes de pedir a troca de token. A IBA ainda é proposta, sem padrão fechado.

Aparece em Your Agent Is a Lethal Trifecta (And What to Do About It)

Intervalo de confiança pareado

faixa estatística do ganho líquido entre duas versões

O intervalo de confiança pareado é como comparar dois cozinheiros preparando os mesmos pratos para os mesmos clientes e só trocar de chef quando, até no pior cenário provável, o novo ainda sai na frente.

  1. Quando você testa uma versão nova em alguns milhares de pedidos, o resultado vale para aquela amostra. Outra amostra daria um número um pouco diferente, por puro acaso.
  2. Intervalo de confiança (confidence interval) é a faixa de valores onde o ganho real provavelmente está. Em vez de afirmar um número único, a estimativa pontual (point estimate), você diz que o ganho fica entre um mínimo e um máximo.
  3. Pareado (paired) quer dizer que as duas versões respondem exatamente ao mesmo pedido. A comparação acontece caso a caso, e as repetições da mesma conversa ficam agrupadas. Assim a diferença de dificuldade entre pedidos sai da conta.
  4. No exemplo, a revisão achou 2.463 melhorias e 443 regressões. O time calcula a faixa em torno desse ganho líquido e olha o limite inferior. Se ele fica acima de zero, o candidato é melhor. Se a faixa cruza o zero, falta evidência.
  5. Por fim, a mesma conta roda em cada categoria crítica. Uma média global boa pode esconder uma intenção de cliente importante que piorou.

Aparece em How to Actually Tokenmaxx and Save Millions

Janela de contexto

quantidade de texto que o modelo lê de uma vez

Aparece em AI Coding Agents Are Breaking Big Codebases; Agent Memory Is Solved. Agent Learning Isn't.; Why Bigger Context Windows Won't Save Your Agent; Small Models, Big Results: Training a Finance Agent for Under $500; From Context to Memory: Your Agents Need a Real Memory Layer; An AI Future Without the Lock-In; How MiniMax M3 Was Built: Sparse Attention and Native Multimodality; Insurance Claims Are AI's Messiest Data Problem

JSONPath

caminho para extrair um campo do trace

JSONPath é como o endereço de uma folha num arquivo de escritório, do tipo armário 3, pasta azul, última folha, que leva você direto ao papel certo sem abrir o resto.

  1. Cada execução do agente fica guardada como um registro grande, com a pergunta do usuário, as respostas e as ferramentas usadas.
  2. Esse registro vem no formato JSON (um jeito padrão de organizar dados em campos dentro de campos), parecido com pastas dentro de pastas.
  3. JSONPath (caminho JSON) é uma linha curta que aponta para um campo específico, como $.messages para a conversa inteira ou o último item dessa lista para a última mensagem.
  4. No Langfuse, você escreve esse caminho no avaliador, e o texto encontrado entra no lugar da variável entre chaves no prompt do juiz.
  5. Assim o avaliador recebe só a parte certa do trace, por exemplo o histórico completo e a última fala do usuário, e julga se houve discordância.

Aparece em Continuously Improving Agents with Langfuse

JWT

JSON Web Token, token com as permissões do usuário

O JWT é como um crachá de visitante carimbado pela portaria, que diz quem você é, quais andares você pode visitar e até que horas ele vale.

  1. Quando você entra num sistema, ele precisa lembrar quem você é a cada pedido. Em vez de pedir sua senha toda vez, ele entrega um comprovante digital chamado token.
  2. O JWT (JSON Web Token, ficha digital em formato de texto) é um tipo de token. Ele carrega informações chamadas claims (declarações), como quem é o usuário, o que ele pode fazer e quando o token expira.
  3. Quem emite o token assina o conteúdo com uma chave secreta. Se alguém mudar uma claim para ganhar mais poder, a assinatura deixa de bater e o token é recusado.
  4. No talk, o gateway faz uma token exchange (troca de token). Ele troca a credencial do usuário por um JWT de vida curta, com permissões estreitas, que só vale enquanto a tarefa roda.
  5. Quando o agente tenta usar a ferramenta de apagar todas as reservas, o gateway lê as claims, não encontra essa permissão e devolve o código 403 (proibido).

Aparece em AI Agents Don't Read Your Policy Docs. They Hit Your APIs; Paving the Road to Production: Governed Enterprise AI Agents

Knowledge distillation

destilação de conhecimento

Destilação de conhecimento é como um chef experiente que ensina um cozinheiro novo a fazer só os pratos do cardápio da casa, sem passar por toda a gastronomia.

  1. Existe um modelo grande que acerta bastante, mas custa caro para rodar em milhões de vídeos.
  2. Knowledge distillation (destilação de conhecimento) treina um modelo menor, o aluno, para imitar as respostas do modelo grande, o professor.
  3. O aluno aprende com as probabilidades que o professor dá a cada resposta. Esse sinal carrega mais informação do que um simples certo ou errado.
  4. Na versão off-policy, o aluno imita respostas já geradas pelo professor. Na versão on-policy, o aluno gera as próprias respostas e o professor corrige.
  5. O palestrante usa as duas versões porque só precisa do modelo bom no domínio dele, e aceita que o aluno não saiba programar, por exemplo.

Aparece em Modality Misalignment and Originality Attribution in Short-Form Video

Kubernetes

orquestrador de contêineres e serviços

O Kubernetes é como o gerente de um restaurante que garante sempre o número certo de cozinheiros nas bancadas e chama um substituto quando alguém sai.

  1. Empresas rodam muitos programas ao mesmo tempo em muitas máquinas, e alguém precisa decidir onde cada um roda.
  2. O Kubernetes é um orquestrador de contêineres (pacotes que levam o programa com tudo de que ele precisa). Você diz o que quer rodando, e ele distribui pelas máquinas.
  3. Ele compara o tempo todo o estado desejado com o real. Se um programa cai, ele sobe outro sozinho, recurso chamado self-healing (autocura).
  4. Também faz balanceamento de carga e autoscaling (ajuste automático de capacidade), e tem um ecossistema grande de extensões para rede, segurança e observabilidade.
  5. No talk, o Slurm vira apenas mais uma carga dentro do Kubernetes. Assim treino e inferência dividem as mesmas GPUs e a mesma operação.

Aparece em GPU Died. Training Didn't: Self-Healing Training at Scale; How I Learned to Stop Worrying and Love the Sandbox; Sandboxes Aren't Optional: 4 Ways to Isolate Coding Agents; Build a Platform and Watch It Burn; Paving the Road to Production: Governed Enterprise AI Agents

KV cache

cache de chaves e valores da atenção

O KV cache é como as anotações que um aluno faz na margem do livro para não precisar reler o capítulo inteiro toda vez que responde uma nova questão.

  1. A IA escreve a resposta um token (pedaço de texto) por vez. Para escolher cada novo token, ela olha para todo o texto anterior.
  2. Sem cache, o modelo refaria os cálculos de todo o texto anterior a cada novo token. Isso desperdiça tempo, porque o texto anterior não muda.
  3. O KV cache (cache de chaves e valores) guarda o resultado desses cálculos para cada token já lido. No próximo passo, o modelo só consulta o que guardou.
  4. No talk, a Nebius cita ganhos de 5 a 10 vezes em velocidade. O custo é memória, que cresce com o tamanho do prompt.
  5. Como a memória da GPU é cara, a plataforma move o cache para a memória comum do servidor e o traz de volta quando o mesmo contexto aparece de novo.

Aparece em What Makes Open Models Fast in Production; What Is an Inference Engine, Anyway?; Is Speculative Decoding Worth It? Profiling vLLM on NVIDIA Blackwell; How Inference Keeps Up with Our Insatiable Need for Tokens; Taming the AI Hardware Cambrian Explosion; Same Model, Different Speed: Why Your Inference Provider Matters; Agents That Own Their Inference; I Spent Two Years Building the Median

LLM-as-a-judge

modelo de linguagem usado para avaliar respostas

Usar um modelo como juiz é como pedir a um colega de escritório que revise a planilha de outro antes de ela seguir para o chefe.

  1. Um modelo de IA pode revisar o trabalho de outro modelo e dizer se está bom.
  2. No LLM-as-a-judge (modelo como juiz), você entrega a saída de um modelo a outro, junto com critérios, e pede um veredito.
  3. No talk, um VLM rotula imagens e dois VLMs menores julgam cada rótulo. Merve desenha a caixa sobre a imagem e pergunta ao juiz se ela corresponde à descrição do rótulo.
  4. Ela pede aprova ou rejeita em vez de uma nota, porque notas numéricas funcionam mal, sobretudo com juízes de tamanhos diferentes.
  5. Os prompts dos juízes são gerados pelo agente de código, mas um humano ainda precisa aprovar esses prompts antes de rodar.

Aparece em Beating RL With Reflection: GEPA and Optimize Anything; Skill issue: stop deploying vision language models, use them with Skills; Advanced Workshop: Mastering AI Observability; Your LLM Judge Is a Confident Liar: Building Better Verifiers; From Vibes to Production: Evaluating and Shipping AI Agents That Work 201; From Vibes to Production: Evaluating and Shipping AI Agents That Work 101; Evals in AI: A Deep Dive; Agentic Search vs Vector Search for Coding Agents: We Ran the Eval; Why Building an Eval Platform Is Harder Than It Looks; Small Models, Big Results: Training a Finance Agent for Under $500; Let Your Agent Cook: Using Skills to Evaluate and Improve Your App; Continuously Improving Agents with Langfuse; Teaching Agents to Search with NVIDIA Data Designer; Building Self-Learning Loops for Your Agent; What Technical Due Diligence Finds When the Deck Says “70% Automated”; How to Know If Your AI Agent Is Any Good: Evals With Phoenix & Claude; Insurance Claims Are AI's Messiest Data Problem; Evals for High-Stakes AI Agents; Teach Your Agent to Prove It's Done

LoRA

adaptador leve de fine-tuning que especializa um modelo numa tarefa

LoRA é como colar post-its com ajustes num livro de receitas grande, sem reescrever o livro inteiro.

  1. Um modelo de IA sai de fábrica sabendo um pouco de tudo, mas pode errar em assuntos de nicho, como a linguagem jurídica em alemão.
  2. Fine-tuning (ajuste fino) é treinar o modelo de novo com exemplos do seu nicho para ele melhorar naquele assunto.
  3. LoRA (Low-Rank Adaptation, adaptação de baixa ordem) congela os pesos originais do modelo e treina só um conjunto pequeno de pesos extras, chamado adaptador.
  4. Como o adaptador é pequeno, ele sai barato e rápido de treinar. No talk, colegas do palestrante criaram LoRAs para alemão jurídico com custo baixo.
  5. Um mesmo modelo base pode receber vários adaptadores e trocar entre eles. Assim a equipe testa cada LoRA em produção e fica com o que rende mais.

Aparece em Turning My Obsidian Vault Into a Local AI Engineer

mAP

precisão média em detecção, nota de qualidade do detector

O mAP é como a média geral do boletim de um aluno, que junta a nota de cada matéria e a nota de cada prova num número só.

  1. O mAP (mean Average Precision, precisão média) é uma nota que diz quão bem um detector acha e localiza objetos numa imagem.
  2. Para cada caixa prevista, o cálculo verifica se ela se sobrepõe o bastante à caixa verdadeira. Essa sobreposição se chama IoU (intersection over union, interseção sobre união).
  3. Com isso o cálculo mede a precisão, quantas caixas previstas estavam certas, e o recall, quantos objetos reais o detector achou.
  4. A precisão média resume essa troca entre precisão e recall para uma classe, como placa de pare. O mAP tira a média de todas as classes.
  5. No talk, o detector treinado com rótulos gerados passou de 50 de mAP numa escala de 0 a 100, contra rótulos reais de um conjunto de teste.

Aparece em Skill issue: stop deploying vision language models, use them with Skills

MCP

protocolo para conectar ferramentas a agentes

Aparece em Get Out of the Model's Way; Building the Document Context Layer for AI Agents; The Chief AI Officer: Scientist, Architect, Coach; Your Agents Are in Solitary Confinement: Why MCP & A2A Aren't Enough; Your Coding Agent Is 6 Months Out of Date; MCP Doesn't Suck. Your Agent Does.; Dashboards Are Dead; I Built a Personal AI Agent on a Raspberry Pi; How VS Code Went from Monthly to Weekly Releases with AI; How AI Agents Pay: Checkout in ChatGPT and Google AI Mode; How Many Credentials Should Your AI Agent Have? Zero.; Agent Memory Is Solved. Agent Learning Isn't.; Why Your AI Agents Can't Talk to Each Other (Yet); From 36% to 100%: How Self-Improving Agents Write Their Own Skills; How a Remote Company Builds AI Fluency; Why We Deleted Our MCP Server and Rebuilt It; Why Your Company Needs a Context Graph (and How to Build It); Designing CLIs for Agents, Not Humans; Building AIE: Open Q&A and Feedback Session with swyx; The Next Trillion Internet Users Still Don’t Have an Identity; Decoupling the Brain from the Hands: Claude Managed Agents (Part 1 of 4); Auth for Agents: Let AI Sign Up for Your Product with auth.md; 1,000 Agent Tasks in a Sandbox: What Breaks When LLMs Run Code; Inside the AI Economy: What Stripe's Data Reveals; Build with Perception Agents; AI Security Engineer Foundations + Certificate; SonarQube + OpenAI: Agentic Development; Build a Platform and Watch It Burn; Teaching Agents to Search with NVIDIA Data Designer; AI Security Engineer Foundations + Certificate; Turning My Obsidian Vault Into a Local AI Engineer; Building AI Agents with Real-Time Web Data; An AI Future Without the Lock-In; AI Agents Don't Read Your Policy Docs. They Hit Your APIs; Zero Cold Starts: Serverless AI Agents on Akamai Functions

Memory layer

camada de memória de longo prazo

A camada de memória é como a pasta de boas-vindas que o RH entrega a cada funcionário novo e atualiza toda semana, dizendo quem faz o quê, em qual equipe e como a empresa trabalha.

  1. Um modelo de IA esquece tudo quando a conversa acaba. Cada pedido novo começa do zero, como se ele nunca tivesse visto a empresa.
  2. A camada de memória (memory layer) é um arquivo de longo prazo guardado fora do modelo. Ela registra fatos duráveis, como no que cada pessoa trabalha, em qual time está e por quais produtos responde.
  3. Ela também guarda o nível da organização, ou seja, os termos da empresa e o jeito como o trabalho é feito ali.
  4. Quando o agente recebe uma tarefa, o sistema busca nessa memória só o que importa e coloca no contexto (o texto que o modelo lê junto com o pedido).
  5. A WorkOS quer essa memória sempre atualizada (evergreen) e separada da fábrica de software, para ligá-la também às outras ferramentas de IA da empresa.

Aparece em No, That's Not a Software Factory; Stop Renting Your AI's Memory; Stop Fine-Tuning to Fix Retrieval Problems; I Built a Personal AI Agent on a Raspberry Pi; Agent Memory Is Solved. Agent Learning Isn't.; From Context to Memory: Your Agents Need a Real Memory Layer

Memory snapshot

cópia do estado da memória gravada na compilação

Um memory snapshot é como deixar a marmita pronta e congelada no domingo, para que na segunda você só esquente e coma, sem precisar cozinhar tudo de novo.

  1. Todo programa precisa se preparar antes de responder. Ele carrega o que vai usar e organiza tudo na memória do computador, e essa preparação leva tempo.
  2. Um memory snapshot (fotografia da memória) guarda essa memória já preparada num arquivo. Na próxima vez, o programa abre o arquivo e começa direto do ponto em que estava pronto.
  3. Linguagens interpretadas, como JavaScript, precisam de um interpretador que lê o código na hora. No Spin, a compilação carrega o interpretador, o código do usuário e todas as dependências, e roda a parte inicial do programa.
  4. Depois disso, o compilador tira a fotografia da memória e grava tudo dentro do binário WebAssembly. Quando chega uma requisição, o runtime (ambiente de execução) já está aquecido, o que reduz o cold start (partida a frio).
  5. O custo é o tamanho. O app precisa levar o próprio runtime JavaScript junto. O palestrante cita o SpiderMonkey otimizado, com cerca de 10 MB, e afirma sem mostrar dados que isso supera o JavaScript nativo.

Aparece em Zero Cold Starts: Serverless AI Agents on Akamai Functions

MFU

uso máximo teórico da GPU

O MFU é como a lotação de um ônibus, que mostra quantos lugares estão ocupados em relação ao total que ele comporta.

  1. Toda GPU tem um limite de contas que consegue fazer por segundo, informado pelo fabricante.
  2. Na prática o modelo usa só uma parte desse limite, porque perde tempo esperando memória ou tarefas.
  3. MFU (Model FLOPs Utilization, uso de operações do modelo) é a razão entre as contas feitas e o máximo teórico.
  4. Cada kernel melhor aumenta essa razão, e os ganhos se somam.
  5. Quando o MFU chega perto do teto do hardware, novos kernels trazem pouco ganho.

Aparece em Autoresearch Made Our Models 3x Faster

Mixture of experts

mistura de especialistas com roteador

Mixture of experts é como a recepção de um hospital que olha cada paciente e manda só para o especialista certo, deixando os outros médicos livres.

  1. Um modelo de IA grande gasta muito cálculo se toda parte dele processar toda informação que chega.
  2. Na mixture of experts (mistura de especialistas), o modelo tem vários blocos menores, chamados experts, e cada um se especializa em um tipo de padrão.
  3. Um router (roteador) olha cada token e decide quais experts vão trabalhar nele, e os outros ficam parados.
  4. A versão da Perceptron, chamada data sparse mixture of experts, usa o roteador para decidir em cada camada que tokens processar e quais pular.
  5. Sem regra fixa, o modelo aprende sozinho a gastar mais cálculo no que importa para a tarefa, como as frutas de uma foto quando o pedido é achar frutas.

Aparece em From VLM/VLA's to Embodied Agents; Research to Reality with Google DeepMind; Agents That Own Their Inference

Modality misalignment

desalinhamento de modalidades

Desalinhamento de modalidades é como um jogo de futebol na TV que de repente mostra meio segundo de propaganda política no meio do lance.

  1. Um vídeo mistura vários tipos de informação, como imagem, áudio e texto na tela. Cada tipo é uma modalidade.
  2. Modality misalignment (desalinhamento de modalidades) acontece quando uma parte do vídeo não combina com o resto ou com o que o vídeo promete.
  3. Comparar imagem com texto já tem solução pronta, com modelos como o CLIP que medem a semelhança entre embeddings (vetores numéricos).
  4. O caso difícil é achar um trecho curto fora do tema dentro do próprio vídeo, o que exige olhar clipe por clipe ao longo do tempo.
  5. No exemplo do talk, o vídeo fala de esportes até os 6 segundos e vira política até 6,5 segundos. O reviewer acha isso lendo só os metadados de cada clipe.

Aparece em Modality Misalignment and Originality Attribution in Short-Form Video

Model routing

roteamento de modelos

Aparece em What It Actually Takes to Build a Software Factory; Building Self-Improving Agent Software Factories; Stop Rationing Tokens: Let the Harness Pick the Model; The Software Factory: From Bug Report to Production Code; AI Writes More PRs. Who Validates Them?; Agents in Orbit: Workflows, Not Autopilot; The SDLC You Build Yourself; Turning My Obsidian Vault Into a Local AI Engineer; AI Agents Don't Read Your Policy Docs. They Hit Your APIs; How to Actually Tokenmaxx and Save Millions; Tokens Are the Cheap Part; The AI Bill Is Too Damn High: Tokenomics 101

Mojo

linguagem de programação parecida com Python para CPU e GPU

Mojo é como um único livro de receitas escrito em linguagem simples que funciona igual no fogão a gás, no elétrico e no forno industrial.

  1. Mojo é uma linguagem de programação, ou seja, um jeito de escrever instruções para o computador.
  2. Ela tem a cara do Python, a linguagem mais usada em IA. Segundo a Modular, quem sabe Python já conhece cerca de 90% do Mojo.
  3. A diferença está no alcance. O mesmo código roda em CPU (processador comum), em GPU (placa gráfica) e em outros aceleradores, de fabricantes diferentes.
  4. Ela também dá acesso de baixo nível ao chip. Isso permite escrever kernels (funções que rodam direto na GPU) tão rápidos quanto os feitos em CUDA, segundo a empresa.
  5. A Modular usa Mojo como base de toda a pilha. O motor de inferência MAX e os kernels dele são escritos em Mojo.

Aparece em Taming the AI Hardware Cambrian Explosion

Multi-agent system

sistema multiagente

Um sistema multiagente é como uma redação de jornal, com um editor que coordena, um repórter que apura o fato e um arquivista que busca matérias parecidas no acervo.

  1. Em vez de um único programa fazer tudo, o trabalho é dividido entre vários ajudantes, cada um com uma tarefa.
  2. Cada ajudante é um agente, um modelo de IA com ferramentas próprias que decide o que fazer dentro do seu papel.
  3. No talk, o reviewer (revisor) orquestra, o perceiver (percebedor) quebra o vídeo em clipes e descreve cada um, e o retriever (recuperador) busca clipes e autores parecidos.
  4. O reviewer junta tudo, analisa e pode pedir mais dados ao retriever antes de decidir.
  5. O palestrante defende dividir só quando um único modelo não resolve, porque cada agente a mais traz custo e mais pontos de falha.

Aparece em Modality Misalignment and Originality Attribution in Short-Form Video

Multi-armed bandit

bandit de múltiplos braços (teste A/B adaptativo)

Um multi-armed bandit é como um restaurante que coloca dois pratos novos no cardápio, passa a oferecer mais o que os clientes elogiam e continua servindo o outro de vez em quando para ter certeza.

  1. Imagine uma fileira de máquinas caça-níqueis e você não sabe qual paga mais. Cada máquina é um braço, e cada puxada ensina algo sobre aquela máquina.
  2. O desafio é dividir as tentativas entre explorar, testando máquinas pouco usadas, e aproveitar, jogando na que parece melhor até agora.
  3. No agente, cada braço é uma versão da receita. Cada usuário real recebe uma versão, e o resultado dele conta como acerto ou falha daquela versão.
  4. Um teste A/B comum divide os usuários meio a meio até o fim. O bandit desloca mais usuários para a versão que está ganhando enquanto o teste ainda roda, com métodos como Thompson sampling (amostragem de Thompson).
  5. Quando uma versão vence com folga, ela vira a nova receita padrão. Assim menos usuários ficam expostos à versão pior durante o teste.

Aparece em The Loop Is the Product

Multi-tenancy

vários clientes isolados no mesmo sistema

Multi-tenancy é como um prédio de escritórios com várias empresas, onde todas dividem o mesmo elevador e a mesma portaria, mas cada uma só abre a própria sala com o crachá dela.

  1. Multi-tenancy (multilocação) significa que um único sistema atende vários clientes ao mesmo tempo. Cada cliente se chama tenant, ou inquilino.
  2. Todos os inquilinos usam a mesma infraestrutura, o mesmo índice de busca e o mesmo agente. Isso reduz custo, porque ninguém precisa de um sistema exclusivo.
  3. O sistema garante que uma pessoa nunca veja os documentos de outra. Para isso, cada documento guarda uma etiqueta de dono e de permissão.
  4. Em busca corporativa, as permissões vêm de fontes como Google Drive ou SharePoint. O sistema copia essas regras como metadados e filtra cada busca por elas.
  5. O desafio é manter as permissões atualizadas. Se alguém perde acesso no Drive, o índice precisa refletir a mudança logo, sem reprocessar todos os documentos.

Aparece em Grep or Embeddings? Agentic Search Over Company Documents; Claude Managed Agents Q&A: Evals, CI/CD and Multi-Tenancy (Part 4 of 4); Scheduled Agents, Dreaming and Q&A: Claude Managed Agents (Part 3 of 4); Beyond RAG: Build a Relational Context Engine from Scratch; Beyond RAG: A Relational Context Engine That Cuts Token Burn

Mutation testing

teste de mutação

Mutation testing é como um professor que coloca erros de propósito numa prova já corrigida para ver se o corretor percebe cada um deles.

  1. Testes automáticos são pequenos programas que conferem se o código faz o que deveria. Mas ninguém confere se os próprios testes são bons.
  2. O teste de mutação (mutation testing) cria cópias do código com um defeito pequeno de propósito, como trocar um sinal de maior por menor ou apagar uma linha.
  3. Cada cópia defeituosa se chama mutante. A ferramenta roda todos os testes contra cada mutante.
  4. Se algum teste falha, o mutante foi pego e o teste cumpriu seu papel. Se todos passam, existe um buraco na suíte de testes, porque um erro real passaria despercebido.
  5. A porcentagem de mutantes pegos mede a qualidade dos testes. Como o processo é caro, Knox sugere rodá-lo uma vez no ciclo externo, quando o PR (pedido de alteração) sobe.

Aparece em Harness Engineering: How to Build a Software Factory

N+1 query

consulta repetida ao banco em laço

Uma N+1 query é como um garçom que anota a mesa inteira, mas vai à cozinha buscar um prato por vez, fazendo dez viagens quando uma bandeja resolveria.

  1. Um programa guarda dados num banco de dados (database) e busca esses dados fazendo perguntas chamadas consultas (queries). Cada consulta é uma ida e volta que custa tempo.
  2. O problema aparece quando o código faz 1 consulta para pegar uma lista e depois faz mais 1 consulta para cada item dessa lista. Com N itens, o total vira N+1 consultas.
  3. Exemplo: mostrar 100 pedidos e buscar o cliente de cada pedido um por um gera 101 consultas, quando 2 bastariam.
  4. Com poucos dados de teste o atraso passa despercebido. Em produção, com milhares de linhas, a página fica lenta e o banco fica sobrecarregado.
  5. A correção junta as buscas num lote só, com um JOIN (junção de tabelas) ou com carregamento antecipado (eager loading) do ORM. O talk usou esse termo para medir padrões de erro por agente.

Aparece em AI-Generated Code Is Already Competing With Human Code

Neuro-simbólico

rede neural combinada com representação simbólica, como código

Um sistema neuro-simbólico é como uma reforma em que o arquiteto desenha a planta com medidas exatas e o decorador escolhe cores e texturas à vontade.

  1. Uma máquina pode guardar conhecimento de dois jeitos. Um usa regras escritas que qualquer pessoa lê. O outro aprende padrões com exemplos, sem regras explícitas.
  2. O jeito com regras escritas se chama simbólico, como código ou lógica. O jeito que aprende com exemplos se chama neural, feito com redes neurais.
  3. Um sistema neuro-simbólico junta os dois. Na Moonlake, o código descreve os objetos que podem ser movidos, e um modelo de difusão (gerador de imagens) cria as texturas.
  4. Um loop renderiza a cena, compara com a realidade, mede os desvios e revisa o código, no mesmo padrão de agentes de programação como o Claude Code.
  5. Manning destaca que a parte simbólica fica fácil de ler, controlar, editar e manter por humanos, algo difícil de fazer numa rede neural pura.

Aparece em World Models Need Causality, Not Pretty Pixels; The Autonomous Computer: Infrastructure for Computer Use Agents

NVFP4

formato de ponto flutuante de 4 bits da NVIDIA

NVFP4 é como anotar as medidas de uma receita com números arredondados e escrever no topo de cada grupo de ingredientes a escala certa para voltar ao tamanho real.

  1. Um modelo de IA é feito de bilhões de números. Guardar cada número com muita precisão ocupa memória e deixa o modelo lento.
  2. NVFP4 é um formato da NVIDIA que guarda cada número em só 4 bits, em ponto flutuante (número com vírgula). Isso reduz bastante o espaço ocupado.
  3. Com 4 bits sobram poucos valores possíveis. Para compensar, o formato agrupa os números em blocos pequenos e cada bloco ganha um fator de escala próprio.
  4. Os chips mais novos da NVIDIA, da linha Blackwell, calculam direto nesse formato. O modelo roda mais rápido e cabe em menos memória.
  5. A troca é perder um pouco de precisão. Por isso vale testar a qualidade do modelo depois de converter para NVFP4.

Aparece em What Makes Open Models Fast in Production

Object detection

detecção de objetos

A detecção de objetos é como um fiscal de trânsito que olha a rua, aponta cada placa e cada carro e diz o nome de cada um.

  1. A detecção de objetos (object detection) responde a duas perguntas sobre uma imagem. O que aparece nela e onde está.
  2. Para cada objeto, o modelo desenha um retângulo em volta, chamado caixa delimitadora (bounding box), e dá um nome de classe, como placa ou assinatura.
  3. Um detector pequeno, como o RF-DETR, aprende só as classes da sua tarefa a partir de imagens rotuladas.
  4. Por ser pequeno e focado, ele roda de 30 a 40 quadros por segundo em hardware simples. Um VLM grande chamado a cada quadro não chega a esse tempo real.

Aparece em Skill issue: stop deploying vision language models, use them with Skills; Stop Renting Your AI's Memory

Object store e zero-copy

armazenamento de objetos compartilhado e leitura sem cópia

O object store é como um armário compartilhado do escritório, onde você deixa o documento grande e entrega aos colegas só um bilhete com o número da gaveta.

  1. Mandar um dado grande de um processo para outro costuma significar fazer uma cópia inteira dele, e isso custa tempo.
  2. No baseline do talk, cada amostra de imagem era serializada (pickle, transformada em bytes), copiada para o coordenador e serializada de novo para o trainer.
  3. O object store do Ray guarda o dado uma vez, em memória compartilhada. Cada amostra passa a carregar só uma referência, que é um ponteiro para onde o dado está.
  4. O coordenador repassa apenas a referência. Os ranks do Megatron (os processos de treino) buscam o tensor direto no store quando precisam.
  5. Zero-copy (leitura sem cópia) deixa o processo ler o dado na própria memória compartilhada, sem duplicá-lo. No talk, essa flag só rendeu em escala grande, junto com o spread scheduling.

Aparece em From 15% to 90% GPU Utilization: Fix the Data Pipeline, Not the Model

Observabilidade de agentes

registro de sessões, turnos e ferramentas

Aparece em An AI Research Agent That Runs Your Experiments; Your LLM App Returned 200 OK. It Was Still Wrong.; Why 99% Accurate Browser Agents Still Fail; Agents That Write Their Own Tools at Runtime; From Vibes to Production: Evaluating and Shipping AI Agents That Work 201; Why Building an Eval Platform Is Harder Than It Looks; The Self-Improving OSS Agent Stack; Building Self-Learning Loops for Your Agent; Agent Speedrun; From Your Laptop to the Pipeline: Scaling Custom Agents with GitHub Copilot

OpenInference

padrão aberto para registrar o que apps de IA fazem

OpenInference é como um formulário padrão de ocorrência que todas as filiais de uma empresa preenchem do mesmo jeito, mesmo que cada filial use um sistema próprio no dia a dia.

  1. Cada empresa de IA, como OpenAI e Google, registra o que o modelo faz de um jeito diferente. Comparar esses registros dá trabalho, porque os campos têm nomes e formatos distintos.
  2. O OpenInference define um vocabulário comum e aberto para esses registros. Ele diz quais campos existem e como cada um se chama, como sessão, entrada de áudio, transcrição, resposta e contagem de tokens (pedaços de texto ou áudio que o modelo cobra).
  3. Um instrumentador automático (auto instrumenter) fica ligado ao seu agente e traduz os eventos de websocket (canal de comunicação contínua) de provedores como OpenAI Realtime e Gemini Live para esse vocabulário.
  4. O resultado são spans (trechos do trace) compatíveis com OpenTelemetry, o padrão aberto de telemetria. Por isso você pode enviar os dados para a Arize ou para outro back end, como o Grafana.
  5. Com um esquema único, você consulta e filtra milhares de chamadas de provedores diferentes da mesma forma. Trocar de modelo deixa de exigir um parser (leitor de formato) novo para cada fornecedor.

Aparece em From Vibes to Production: Evaluating and Shipping AI Agents That Work 201; The Transcript Looked Fine. The Call Wasn't.

Optimizer

otimizador (ex.: Adam)

O otimizador é como o técnico que olha o resultado de cada treino do atleta e decide quanto e em que direção mudar a rotina.

  1. Um modelo de IA aprende ajustando milhões de números internos, chamados pesos, até errar menos.
  2. A cada passo de treino, o modelo mede o próprio erro, a perda (loss), e calcula em que direção cada peso deveria mudar.
  3. O otimizador (optimizer) decide o tamanho e a direção de cada ajuste. Adam e Shampoo são exemplos conhecidos.
  4. Um otimizador melhor chega à mesma perda em menos passos, e isso economiza tempo e GPU.
  5. No Optimizer Speedrun, os agentes só podiam trocar o otimizador. Arquitetura e dados ficavam fixos.

Aparece em We Let Claude Code and Codex Race Human Researchers

Ortomosaico de drone

drone orthomosaic map (mapa montado com fotos aéreas)

Um ortomosaico de drone é como montar um quebra-cabeça com várias fotos tiradas de cima de uma mesa, até formar uma única imagem da mesa inteira vista de cima.

  1. Um drone voa sobre o pasto e tira centenas de fotos, uma ao lado da outra, com uma parte de cada foto repetida na seguinte.
  2. Um programa acha os pontos repetidos entre as fotos e costura todas elas numa única imagem grande da área.
  3. O programa também corrige a inclinação da câmera e o relevo do terreno, para que cada ponto apareça como se fosse visto bem de cima. Essa correção se chama ortorretificação (orthorectification).
  4. O resultado funciona como um mapa (orthomosaic map, ou mapa ortomosaico) com escala uniforme, em que dá para medir distâncias e áreas com precisão.
  5. No pasto, esse mapa de alta resolução mostra onde o capim está alto ou baixo. O obstáculo citado no talk é que o voo exige piloto treinado e nenhuma jurisdição aprova drones autônomos para esse uso.

Aparece em You’re Not Thinking Big Enough: Rebuilding Food Systems with AI Agents

Otimização de prompt

ajuste automático do texto de instrução do modelo

Otimização de prompt é como revisar a receita escrita depois de provar o prato, anotando "menos sal" e "forno mais baixo" em vez de trocar o cozinheiro.

  1. O prompt é o texto de instrução que o modelo lê antes de trabalhar, e mudar esse texto muda o comportamento.
  2. Trocar uma palavra, como pedir resumo de 10 linhas em vez de 1, altera a saída mais do que milhares de pequenos ajustes nos pesos.
  3. Na otimização de prompt, o sistema roda em alguns exemplos e guarda o rastro completo, com raciocínio, chamadas de ferramenta, erros e nota.
  4. Outro LLM (modelo de linguagem) lê esse rastro, entende o que falhou e escreve uma versão melhor do prompt.
  5. O GEPA repete esse ciclo e guarda os candidatos que vencem em pelo menos um exemplo, chegando a prompts que descrevem a tarefa em detalhe.

Aparece em Beating RL With Reflection: GEPA and Optimize Anything; How to Actually Tokenmaxx and Save Millions

Paged KV cache

KV cache paginado

O KV cache paginado é como um restaurante que acomoda cada cliente na primeira mesa livre, em vez de reservar uma mesa de dez lugares para quem talvez traga dois amigos.

  1. Enquanto conversa com você, o modelo guarda anotações sobre cada palavra já lida para não precisar reler tudo de novo.
  2. Essas anotações formam o KV cache (cache de chaves e valores) e crescem rápido. Com contexto de 128 mil tokens, uma só conversa ocupa cerca de 42 GB.
  3. No método antigo, o sistema reservava de antemão um bloco grande e contínuo de memória para cada pedido. Boa parte desse bloco ficava vazia, mas ninguém mais podia usar.
  4. O KV cache paginado (paged KV cache) copia a ideia de memória virtual do sistema operacional. Ele divide a memória em páginas pequenas e grava cada pedaço do cache em qualquer página livre.
  5. Uma tabela registra onde está cada página. Assim quase nada fica reservado sem uso, e o mesmo hardware atende cerca de 3x mais pedidos, segundo o palestrante.

Aparece em How Inference Keeps Up with Our Insatiable Need for Tokens

Pareto efficiency

eficiência de Pareto (melhor custo por qualidade)

Pareto efficiency é como escolher o restaurante do almoço da firma, onde você descarta todo lugar que tem outro mais barato e mais gostoso ao mesmo tempo, e fica só com os que valem o preço.

  1. Toda escolha de modelo de IA mexe com duas coisas ao mesmo tempo, o custo de cada execução e a qualidade da resposta.
  2. Uma opção é dominada quando existe outra que custa menos e entrega igual ou melhor. Opção dominada nunca vale a pena.
  3. Pareto efficiency (eficiência de Pareto) descreve as opções que sobram. Nelas, para ganhar qualidade você precisa pagar mais, e para pagar menos você perde qualidade.
  4. Essas opções formam a fronteira de Pareto (Pareto frontier), uma curva de melhor custo para cada nível de qualidade.
  5. No Warp, os modelos auto são reavaliados a cada modelo novo e ficam só os que estão nessa fronteira. Tarefas simples, como triagem e CI, vão para modelos baratos da fronteira em vez do Opus.

Aparece em Building Self-Improving Agent Software Factories

pass@k e pass^k

acertou ao menos uma vez versus acertou em todas as repetições

pass@k e pass^k são como avaliar um goleiro em cinco pênaltis, contando se ele defendeu pelo menos um ou se defendeu todos.

  1. Um agente de IA pode responder a mesma pergunta de jeitos diferentes a cada vez. Por isso uma única tentativa diz pouco sobre ele.
  2. Para medir melhor, a avaliação roda cada pergunta k vezes. No workshop, foram 30 perguntas repetidas cinco vezes.
  3. O pass@k (passou em alguma) marca acerto se pelo menos uma das k tentativas estiver certa. Ele mede se o agente consegue chegar à resposta.
  4. O pass^k (passou em todas) só marca acerto se as k tentativas estiverem certas. Ele mede se o agente é confiável e repete o acerto.
  5. No experimento, o agente de grep e o de grafo empataram no pass@k, mas no pass^k o agente de grafo acertou cerca de duas vezes mais e gastou 3,1 vezes menos tokens.

Aparece em The Data Context Layer for Agents; How to Know If Your AI Agent Is Any Good: Evals With Phoenix & Claude

Policy surface

superfície de política editável

A superfície de política é como a parte da receita que o cozinheiro novo pode ajustar, o tempero e o tempo de forno, enquanto o fogão, os ingredientes e o júri do concurso ficam fixos.

  1. Quando um sistema automático tenta melhorar um agente sozinho, ele precisa de limites claros sobre o que pode mudar.
  2. Policy surface (superfície de política) é essa lista curta de regras editáveis. No talk, ela inclui escrita de memória, recuperação de memória, regras de confiança, atribuição de fonte e gatilhos de replanejamento.
  3. O resto fica congelado. O harness (a estrutura que roda os testes), os cenários e as métricas ficam fora do alcance do loop de melhoria.
  4. Congelar a avaliação impede que o loop trapaceie. Se pudesse mexer nas métricas, ele subiria a nota sem melhorar o agente de verdade.
  5. Cada ajuste é pequeno, como marcar se um fato veio de primeira ou de segunda mão. Mesmo assim, ele muda o comportamento da vila inteira, e o placar decide se a mudança fica ou é desfeita.

Aparece em Long-Horizon Agents Need Experiments, Not Just Prompts

Precision at K

precisão entre os K casos mais bem pontuados

A precisão em K é como um fiscal de trânsito que só consegue parar 10 carros por dia e conta quantos deles estavam mesmo irregulares.

  1. A equipe de analistas só consegue revisar um número limitado de alertas por dia, chamado de orçamento de alertas.
  2. O modelo dá uma nota a cada transação, e as transações são ordenadas da nota mais alta para a mais baixa.
  3. Precision at K (precisão em K) mede quantos dos K primeiros da lista são fraude de verdade. No talk, K corresponde a 0,5% a 1,5% das transações.
  4. Métricas gerais, como a área sob a curva, avaliam a lista inteira. A precisão em K avalia só a fatia que alguém vai olhar.
  5. Um modelo melhor nessa métrica coloca mais fraudes reais dentro da fatia revisada, sem aumentar o trabalho da equipe.

Aparece em Judge a Transaction by the Company It Keeps

Precision e recall

precisão e cobertura de um classificador

Precision e recall são como um fiscal de prova que procura cola, em que a precisão mede quantas das suas acusações eram cola de verdade e a cobertura mede quantas colas da sala ele conseguiu pegar.

  1. Imagine um juiz que separa relatórios bons de ruins. Para saber se ele é confiável, você compara as decisões dele com as de uma pessoa que já rotulou os mesmos relatórios.
  2. Precision (precisão) olha só para as vezes em que o juiz disse que o relatório era ruim. Ela pergunta quantas dessas acusações estavam certas.
  3. Recall (cobertura) olha para todos os relatórios que eram ruins de fato. Ele pergunta quantos desses o juiz conseguiu pegar.
  4. As duas medidas puxam para lados opostos. Um juiz rigoroso pega mais erros, mas gera falsos positivos (alarmes falsos). Um juiz cauteloso acerta quando acusa, mas deixa erros passarem.
  5. Laurie recomenda priorizar recall na maioria dos casos, porque um alarme falso custa menos do que um erro que passa. Com só 12 exemplos, os números oscilam muito e servem apenas para ver se o juiz está na faixa certa.

Aparece em From Vibes to Production: Evaluating and Shipping AI Agents That Work 101; How to Know If Your AI Agent Is Any Good: Evals With Phoenix & Claude

Preemptible job

tarefa interrompível por quem tem prioridade

Uma tarefa interrompível é como usar a sala de reunião vazia até quem reservou chegar e pedir a sala de volta.

  1. Em um cluster, um grupo de computadores com GPUs, várias pessoas disputam as mesmas máquinas.
  2. Uma tarefa interrompível (preemptible job) roda nas máquinas ociosas com prioridade baixa.
  3. Se alguém com prioridade precisa da máquina, o sistema cancela a tarefa na hora.
  4. Os agentes enviavam treinos com o comando sbatch do gerenciador Slurm, sempre sob essa permissão.
  5. Assim os agentes aproveitavam GPU livre sem atrapalhar a equipe, mas um treino podia ser cortado no meio.

Aparece em We Let Claude Code and Codex Race Human Researchers

Prefetching

busca antecipada de dados

Prefetching é como o ajudante de cozinha que deixa os ingredientes cortados e enfileirados no balcão antes de o chef pedir o próximo prato.

  1. Sem prefetching (busca antecipada de dados), o treino pede um lote e só então o sistema começa a buscá-lo. A GPU espera parada.
  2. Com prefetching, uma thread em segundo plano busca e prepara lotes antes do pedido e os guarda numa fila.
  3. O produtor (quem prepara os dados) roda mais rápido que o consumidor (o treino). Assim a fila fica sempre com lotes prontos.
  4. Quando o treino pede um lote, ele já está lá. No talk, o tempo de busca por lote ficou perto de zero.
  5. Há custos. Checkpoint e retomada do treino ficam mais trabalhosos, e existe um cold start (partida a frio), o período inicial em que a fila ainda está vazia.

Aparece em From 15% to 90% GPU Utilization: Fix the Data Pipeline, Not the Model

Prefill e decode

leitura do contexto e geração de tokens

Prefill e decode são como uma prova em que o aluno primeiro lê o enunciado inteiro de uma vez e depois escreve a resposta palavra por palavra.

  1. Quando você manda uma pergunta para a IA, ela trabalha em duas etapas. Primeiro lê tudo o que você enviou e depois escreve a resposta.
  2. A primeira etapa se chama prefill (pré-preenchimento). O modelo processa todos os tokens do prompt ao mesmo tempo, o que exige muito cálculo da GPU (placa de processamento).
  3. A segunda etapa se chama decode (decodificação). O modelo gera um token por vez e, a cada passo, precisa reler muitos dados da memória. Aqui o gargalo é a memória.
  4. Na mesma GPU, as duas etapas disputam recursos e uma atrasa a outra. Por isso a Nebius usa um grupo de GPUs só para prefill e outro só para decode.
  5. O grupo de prefill entrega ao grupo de decode o KV cache, que guarda o que já foi calculado sobre o prompt. Assim o decode começa sem refazer a leitura.

Aparece em What Makes Open Models Fast in Production; What Is an Inference Engine, Anyway?; Is Speculative Decoding Worth It? Profiling vLLM on NVIDIA Blackwell; How Inference Keeps Up with Our Insatiable Need for Tokens; Taming the AI Hardware Cambrian Explosion; Same Model, Different Speed: Why Your Inference Provider Matters; Agents That Own Their Inference; How MiniMax M3 Was Built: Sparse Attention and Native Multimodality

Production world model

modelo do mundo da produção

Um modelo do mundo da produção é como o mapa de metrô de uma cidade, que mostra quais estações se ligam a quais e permite seguir o caminho de um atraso até a estação onde ele começou.

  1. Uma empresa grande roda centenas de sistemas que dependem uns dos outros. Quando um quebra, o defeito pode aparecer em outro, bem longe dali.
  2. O modelo do mundo da produção é um mapa dessas dependências. Ele registra que o checkout chama o serviço de pagamento, que usa um banco de dados, que depende de um certificado.
  3. Para montar o mapa, o agente lê logs (registros de eventos), métricas, traces (rastros de uma requisição entre serviços) e repositórios de código, e liga cada peça às outras.
  4. Na Traversal, esse mapa fica no meio da pilha. Embaixo está a coleta dos dados sem estourar custo. Em cima está a entrega ao time, em alertas priorizados ou análises no Slack.
  5. Com o mapa pronto, a causal search engine (motor de busca causal) percorre as ligações em vários saltos e chega à causa raiz em minutos. O mapa se atualiza sozinho, sem arquivos de documentação mantidos à mão.

Aparece em The 5 Levels of Self-Driving Production

Profiler

ferramenta que mostra onde o tempo é gasto

Um profiler é como o cronômetro que o técnico usa em cada trecho da corrida para ver em qual curva o atleta perde tempo.

  1. Um programa lento tem partes que gastam muito tempo e partes que gastam pouco.
  2. O profiler (medidor de desempenho) registra quanto tempo cada parte leva enquanto o programa roda.
  3. Ele mostra se o gargalo está no cálculo, na memória ou no excesso de pequenas tarefas disparadas.
  4. Na NVIDIA a ferramenta é o Nsight Systems, que desenha uma linha do tempo com cada kernel da GPU.
  5. O humano lê esse gráfico, acha o desperdício e decide a ideia de melhoria que o agente vai ajustar.

Aparece em Autoresearch Made Our Models 3x Faster; From 15% to 90% GPU Utilization: Fix the Data Pipeline, Not the Model

Programação declarativa

descrever o resultado desejado em vez de cada passo (imperativo)

Aparece em Stop Telling Agents How

Prompt injection

injeção de instruções no prompt

Aparece em The Death of the Code Review: What the Data Actually Says; Your LLM App Returned 200 OK. It Was Still Wrong.; From 36% to 100%: How Self-Improving Agents Write Their Own Skills; From Context to Memory: Your Agents Need a Real Memory Layer; The Next Trillion Internet Users Still Don’t Have an Identity; Decoupling the Brain from the Hands: Claude Managed Agents (Part 1 of 4); Sandboxes Aren't Optional: 4 Ways to Isolate Coding Agents; Hill-Climbing Skills: Improve Agents Without Changing the Model; AI Security Engineer Foundations + Certificate; Build a Platform and Watch It Burn; How Secrets Leak Through AI Agents (and How to Stop It); AI Security Engineer Foundations + Certificate; AI Agents Don't Read Your Policy Docs. They Hit Your APIs; The Lethal Trifecta Is Already on Your Laptops; Why One AI Agent Isn’t Enough (And How to Run 1,000) - CJ Avilla & Harrison Stall, Anthropic; AI Engineer NYC: OpenAI, Blackstone, Ramp, Coinbase, Apollo, Citadel, Basis, Runway, Compute Trading

Proxy man-in-the-middle

proxy intermediário que injeta credenciais

O proxy man-in-the-middle é como a portaria de um prédio que recebe a encomenda do estagiário e coloca a assinatura do chefe antes de entregar, sem que o estagiário veja a assinatura.

  1. Um agente de IA às vezes precisa acessar serviços externos, como baixar um repositório privado do GitHub.
  2. Para isso ele precisaria de um token, uma senha de acesso. Se o token fica com o agente, um ataque pode fazê-lo vazar a senha.
  3. Um proxy (intermediário) fica no caminho entre o agente e a internet e vê toda chamada que sai.
  4. Na técnica man-in-the-middle (homem no meio), o proxy lê o cabeçalho da chamada e insere o token ali, depois que ela sai do agente.
  5. Mesmo sob prompt injection (instrução maliciosa escondida no texto), o modelo não tem o token para entregar. Ele ainda pode usar o acesso de forma indevida.

Aparece em An Interaction Is All You Need

Pull request

pedido de integração de código

Aparece em AI-Generated Code Is Already Competing With Human Code; The State of AI in Software Development: Data from 400+ Orgs; The Death of the Code Review: What the Data Actually Says; Why AI Didn't Actually Make You Ship Faster; Your Coding Agent Is 6 Months Out of Date; Redesigning How Software Gets Built With AI Agents; AI Writes More PRs. Who Validates Them?; We Mapped 115 Microservices for Our Coding Agents; Generation Is Cheap, Review Is Expensive: How to Stop Shipping AI Slop; Building Self-Learning Loops for Your Agent; Rebuilding CI for AI-Scale Commit Volume; What Technical Due Diligence Finds When the Deck Says “70% Automated”; Tokens Are the Cheap Part; I Believe Everything My Agents Tell Me: Three Levels of Review

QAT (quantization-aware training)

treino ciente de quantização

QAT é como treinar um time de futebol num campo menor e mais apertado antes do jogo, para que ninguém estranhe o espaço reduzido quando a partida de verdade começar.

  1. Um modelo de IA guarda o que aprendeu em milhões de números, chamados pesos. Quanto mais casas decimais cada número tem, maior fica o arquivo.
  2. Quantização (quantization) arredonda esses números para versões mais curtas. O arquivo encolhe e o modelo roda mais rápido, mas o arredondamento pode piorar as respostas.
  3. No QAT, o treino já simula esse arredondamento enquanto o modelo aprende. Ele erra com os números curtos e corrige os pesos para compensar.
  4. No fim, o modelo vira um checkpoint (arquivo salvo do modelo) já quantizado que perde pouca qualidade. Quantizar só depois do treino costuma perder mais.
  5. Na palestra, os checkpoints QAT do Gemma de 2B ficam com menos de 1 GB. Por isso a demo carregou rápido e respondeu quase na hora dentro do navegador.

Aparece em Research to Reality with Google DeepMind

Quantization

quantização

Quantização é como arredondar os preços da lista de compras para o real mais próximo, o que deixa a conta mais rápida e quase não muda o total.

  1. Um modelo de IA guarda bilhões de números. Cada número ocupa espaço na memória e tempo de cálculo.
  2. Quantization (quantização) guarda esses números com menos precisão, usando menos bits por número.
  3. Formatos comuns são bfloat16 (16 bits) e 4 bits. Menos bits significa modelo menor, mais rápido e mais barato de servir.
  4. O arredondamento pode derrubar a qualidade, então o time testa cada formato e compara o desempenho.
  5. No talk, o time monta uma tabela cruzando tamanhos de destilação e níveis de quantização para achar o ponto de equilíbrio entre acerto e custo.

Aparece em Modality Misalignment and Originality Attribution in Short-Form Video; Stop Renting Your AI's Memory; What Makes Open Models Fast in Production; Research to Reality with Google DeepMind; Parameter Golf with AutoResearch; Agents That Own Their Inference

RAG

geração com recuperação de memória

Aparece em Long-Horizon Agents Need Experiments, Not Just Prompts; World Models Need Causality, Not Pretty Pixels; From Ingestion to Agents: How AI Teams Build on Document Intelligence; Building the Document Context Layer for AI Agents; Your LLM App Returned 200 OK. It Was Still Wrong.; Stop Fine-Tuning to Fix Retrieval Problems; From Raw Documents to AI-Ready Data; Agent Memory Is Solved. Agent Learning Isn't.; We Mapped 115 Microservices for Our Coding Agents; Building AI Agents with Real-Time Web Data; RAG Needs a Map: Using GraphRAG to Retrieve Connected Context; Beyond RAG: Build a Relational Context Engine from Scratch; Beyond RAG: A Relational Context Engine That Cuts Token Burn; I Spent Two Years Building the Median

Ray actors

processos com estado do framework Ray

Um Ray actor é como um funcionário fixo de uma central de atendimento, com mesa e ramal próprios, que recebe tarefas pelo telefone interno.

  1. Um processo é um programa rodando sozinho, com a própria memória. Dá para ter vários ao mesmo tempo para usar mais núcleos.
  2. Um Ray actor é um processo desse tipo, criado e gerenciado pelo Ray, um framework de computação distribuída (que divide trabalho entre várias máquinas).
  3. O actor guarda estado. Ele pode manter na memória um tokenizador ou um modelo de imagem carregado e reutilizar a cada tarefa.
  4. O Ray já traz as chamadas para mandar tarefas e receber resultados entre actors, então você não monta essa comunicação do zero.
  5. No talk, os actors decodificam e pré-processam imagens, um trabalho de CPU que o asyncio não resolve e que o GIL atrapalharia em threads.

Aparece em From 15% to 90% GPU Utilization: Fix the Data Pipeline, Not the Model

Recall

fração das respostas certas que a busca encontra

Recall é como a lista de chamada da professora: de todos os alunos que deviam estar na sala, ela conta quantos de fato apareceram.

  1. Recall (revocação, ou cobertura) mede quanto do que você precisava achar a busca realmente achou.
  2. Para medir, você monta perguntas de teste e anota antes qual documento traz a resposta certa de cada uma.
  3. A busca do RAG devolve alguns trechos por pergunta. Se o trecho certo está entre eles, conta acerto. Recall é o total de acertos dividido pelo total de perguntas.
  4. O número depois do arroba diz quantos trechos entram na conta. No recall@1 (recall no topo 1), só vale acerto se o trecho certo vier em primeiro lugar.
  5. Duplicatas e versões velhas empurram o trecho certo para baixo da lista. Por isso a limpeza do acervo pode subir o recall@1, como o palestrante afirma ter visto ao dobrá-lo em testes de RAG com várias etapas (multi-hop).

Aparece em From Raw Documents to AI-Ready Data

Recursive self-improvement

autoaperfeiçoamento recursivo

O autoaperfeiçoamento recursivo é como um aluno que escreve a própria apostila, estuda por ela e depois escreve uma apostila melhor, sem professor.

  1. Hoje, pessoas fazem a pesquisa e treinam os modelos de IA.
  2. No autoaperfeiçoamento recursivo (recursive self-improvement), modelos pesquisam e treinam novos modelos sem intervenção humana.
  3. Se cada geração melhora a seguinte, o progresso pode acelerar sozinho.
  4. Grandes laboratórios dizem que isso está perto, mas faltam testes independentes para medir.
  5. A Prime Intellect usa o speedrun como teste aberto para medir se agentes já fazem pesquisa de IA.

Aparece em We Let Claude Code and Codex Race Human Researchers; Teach Your Agent to Prove It's Done

Rehydration

Reidratação, retomada do estado de um agente após queda

Rehydration é como salvar o jogo antes de a luz acabar: ao voltar, você carrega o save e continua do mesmo ponto, sem recomeçar a fase.

  1. Programas às vezes caem. O computador reinicia, o servidor falha, a máquina virtual some. O que estava na memória se perde.
  2. Um agente que cai no meio de uma tarefa esquece o que fez e com quem falava. Sem proteção, o trabalho recomeça do zero.
  3. Para evitar isso, o estado do agente fica guardado fora dele, em um armazenamento durável. Estado é o histórico da conversa e o ponto da tarefa.
  4. Rehydration (reidratação) é ler esse estado guardado e entregar a um agente novo. Ele retoma de onde o anterior parou.
  5. Luzin chama essa necessidade de continuidade. Agentes rodam em pods e containers Docker, que caem com frequência.

Aparece em Your Agents Are in Solitary Confinement: Why MCP & A2A Aren't Enough; Why Your AI Agents Can't Talk to Each Other (Yet)

Reinforcement fine-tuning (RFT)

ajuste fino por reforço

RFT é como treinar um time de basquete com um placar: o técnico não mostra cada jogada certa, só diz quantos pontos cada tentativa valeu, e o time repete o que pontua mais.

  1. Um modelo de IA já vem treinado para tarefas gerais. Você pode continuar o treino dele com a sua tarefa para ele ficar melhor nela.
  2. No ajuste fino comum, você mostra pares de pergunta e resposta certa e o modelo copia o padrão. No RFT, você não precisa escrever a resposta certa.
  3. O modelo gera várias respostas para cada pergunta. Uma função avaliadora (evaluator function, a regra que dá nota) pontua cada resposta.
  4. O treino ajusta os pesos do modelo para que respostas com nota alta fiquem mais prováveis e as de nota baixa, menos prováveis.
  5. A qualidade depende da função avaliadora e de dados limpos. No talk, a Genspark limpou os dados, definiu avaliadores e relatou 12% de ganho de qualidade.

Aparece em Stop Renting Intelligence: The Train-to-Deploy Loop for Specialized AI

Reinforcement learning

aprendizado por reforço

Reinforcement learning é como ensinar um cachorro com petisco, em que ele tenta várias coisas e repete mais as que renderam recompensa.

  1. Reinforcement learning (aprendizado por reforço) ensina por tentativa e erro, sem mostrar a resposta certa antes.
  2. O modelo tenta a tarefa, e cada tentativa completa se chama rollout (execução completa da tarefa).
  3. Ao fim de cada rollout, uma regra dá uma recompensa, como 1 para resposta correta e 0 para errada.
  4. Um algoritmo como o GRPO usa essas recompensas para ajustar os pesos do modelo e favorecer o que deu certo.
  5. Em tarefas longas ou caras, como agentes que rodam por horas, o método fica inviável porque exige centenas de milhares de rollouts.

Aparece em Beating RL With Reflection: GEPA and Optimize Anything; Small Models, Big Results: Training a Finance Agent for Under $500; Parameter Golf with AutoResearch; Teaching Agents to Search with NVIDIA Data Designer

Remote eval

eval exposto a um playground, executado no seu servidor

Remote eval é como um restaurante em que o cliente escolhe os temperos no balcão, o prato é feito na cozinha do dono e volta pronto para a mesa.

  1. Um eval (avaliação) roda o agente sobre um conjunto de casos de teste e dá nota às respostas. Normalmente só quem programa consegue rodar e mudar esse teste.
  2. O remote eval (avaliação remota) leva esse mesmo eval para um playground (área de testes visual) da Braintrust. Gerentes de produto e especialistas mudam o prompt de sistema ou a descrição de uma ferramenta e clicam em run.
  3. No código do eval, o engenheiro declara parâmetros. Eles indicam quais peças do agente a tela pode alterar, como o prompt e o modelo de cada subagente.
  4. Ao clicar em run, a Braintrust envia uma requisição POST ao endpoint exposto no seu servidor, local (localhost:8300 com a opção --dev) ou na sua infraestrutura. O código roda lá e os resultados voltam em streaming para o playground.
  5. Assim o engenheiro deixa de ser o gargalo para quem quer ajustar prompts, e o código e as ferramentas do agente continuam no seu ambiente.

Aparece em Advanced Workshop: Mastering AI Observability

Rephrasing

reescrita de documentos reais por um LLM

Rephrasing é como pedir a um professor que reescreva uma boa redação de aluno com outras palavras, mantendo as ideias originais.

  1. Rephrasing (reescrita) é pedir a um modelo de linguagem que reescreva um texto existente de outra forma.
  2. Quando você pede ao modelo um exemplo inventado do zero, ele tende a repetir os padrões mais comuns do que já aprendeu.
  3. Usar um documento real como semente mantém a variedade de temas e estilos do conjunto original.
  4. A DatologyAI escolhe os documentos de maior qualidade do cliente e pede ao LLM para reescrever ou reestruturar cada um.
  5. Na prática, o pipeline junta um prompt a cada documento e distribui milhões desses pares por várias GPUs.

Aparece em Lessons from Generating 12 Trillion Synthetic Tokens

Replay de event history

reexecução do histórico de eventos

Replay do histórico de eventos é como um cozinheiro que assume o turno no meio do serviço, lê a comanda com os pratos já marcados como prontos e continua a partir do próximo prato.

  1. O sistema anota cada passo concluído de uma tarefa em um registro, chamado histórico de eventos (event history).
  2. Esse registro fica guardado no armazenamento da Temporal, fora do worker (processo que roda o código). Se o worker cai, o registro continua lá.
  3. Quando o worker volta, ele relê o histórico desde o início e reconstrói o estado. Os passos já feitos usam o resultado anotado, sem chamar o modelo ou a ferramenta de novo.
  4. Ao chegar no fim do registro, o agente encontra os eventos que chegaram enquanto ele estava fora, como uma aprovação humana, e segue para o próximo passo.
  5. No demo, a palestrante derruba o worker, aprova o pedido com ele offline e, na volta, o pedido é atribuído e entregue sem perder trabalho.

Aparece em The Human Is an Async API

Resolução de símbolos

ligar cada nome no código à sua definição única

Resolução de símbolos é como a secretaria da escola que separa dois alunos chamados João Silva pelo número de matrícula, para que cada nota vá para o boletim certo.

  1. Num programa, cada coisa tem um nome, como uma função ou um tipo de dado. Às vezes duas coisas diferentes recebem o mesmo nome em lugares diferentes.
  2. Uma busca por texto, como o grep (comando que procura palavras em arquivos), acha todas as ocorrências do nome, mas não sabe dizer qual delas é qual.
  3. Um parser (leitor da estrutura do código), como o tree-sitter, entende a gramática do código, mas os dois tipos PostingList do Qdrant continuam colidindo nesse nível.
  4. A resolução liga cada uso do nome à sua definição única. No Rust, o compilador já faz isso e exporta o resultado no rustdoc JSON, com nome canônico, arquivo e linha.
  5. Com cada símbolo identificado, o grafo pode guardar relações separadas para cada um, e ferramentas como o blast radius (raio de impacto) devolvem dependentes diferentes para cada PostingList.

Aparece em The Data Context Layer for Agents

RLVR

aprendizado por reforço com recompensas verificáveis

O RLVR é como um treino de tabuada com gabarito, em que o aluno responde várias vezes, o professor confere cada resposta na hora e elogia as tentativas melhores que a média da turma.

  1. No aprendizado por reforço (reinforcement learning), o modelo tenta, recebe uma nota e passa a repetir mais o que deu nota alta.
  2. O RLVR (reinforcement learning with verifiable rewards, aprendizado por reforço com recompensas verificáveis) usa notas que um programa calcula sozinho, sem um humano julgar.
  3. Em OCR isso funciona bem, porque dá para medir a taxa de erro por caractere, conferir a estrutura de uma tabela ou checar regras de gramática.
  4. O modelo gera um grupo de respostas para a mesma imagem, os testes dão nota a cada uma e o treino reforça as que ficam acima da média do grupo.
  5. Como a nota sai de testes automáticos, o processo fica barato de repetir em escala.

Aparece em From Scratch to SOTA: Training a 3B State-Space Vision Model

Rollout

execução de um modelo sobre uma tarefa de avaliação

Um rollout é como uma rodada de prova em que o aluno resolve a lista inteira de exercícios e entrega a folha para correção.

  1. Para saber se um modelo de IA melhorou, a equipe entrega a ele uma lista fixa de tarefas de teste.
  2. Cada vez que o modelo tenta resolver essas tarefas do começo ao fim, temos um rollout (execução completa sobre a tarefa).
  3. Os pesquisadores rodam vários rollouts da versão atual (controle) e da versão nova (experimento) e guardam os resultados em duas tabelas.
  4. Na eval side-by-side (avaliação lado a lado), eles comparam as tabelas para achar a diferença de desempenho e o motivo dela.
  5. No exemplo do talk, o agente calcula essa diferença, propõe 100 hipóteses e cria um subagente para investigar cada uma em paralelo.

Aparece em Get Out of the Model's Way; Scale the Judgment, Not the Model; Beating RL With Reflection: GEPA and Optimize Anything; How We Built an Agent That Improves Itself; How VS Code Went from Monthly to Weekly Releases with AI

Rubric

rubrica de critérios de avaliação

Aparece em Your LLM Judge Is a Confident Liar: Building Better Verifiers; From Vibes to Production: Evaluating and Shipping AI Agents That Work 101; Small Models, Big Results: Training a Finance Agent for Under $500; Build a Research Agent with Claude Managed Agents (Part 2 of 4); Claude Managed Agents Q&A: Evals, CI/CD and Multi-Tenancy (Part 4 of 4); Scheduled Agents, Dreaming and Q&A: Claude Managed Agents (Part 3 of 4); How to Know If Your AI Agent Is Any Good: Evals With Phoenix & Claude

Runtime binding

Ligação de IDs entre frameworks em tempo de execução

Runtime binding é como a recepção de um prédio com vários andares, que guarda qual crachá de visitante corresponde a qual funcionário para cada pessoa achar o destino certo.

  1. Cada ferramenta de agente numera suas conversas do seu jeito. Uma chama de thread ID, outra de conversation ID, outra de execution ID.
  2. Quando dois agentes de ferramentas diferentes precisam conversar, nenhum entende o número do outro. Eles falam da mesma conversa com nomes distintos.
  3. O runtime binding (ligação em tempo de execução) cria uma tabela que liga esses números. Ela diz que o thread X de um lado é o execution Y do outro.
  4. Essa ligação acontece enquanto os agentes rodam, não na hora de programar. Assim, um agente novo entra na conversa sem ninguém reescrever código.
  5. Luzin lista isso como uma das camadas que a rede de agentes precisa resolver para os frameworks interagirem.

Aparece em Your Agents Are in Solitary Confinement: Why MCP & A2A Aren't Enough; Why Your AI Agents Can't Talk to Each Other (Yet)

Runtime security

segurança em tempo de execução

Runtime security é como a câmera e o segurança dentro da loja, que vigiam o que cada cliente faz depois de já ter entrado.

  1. Checar um programa na entrada não basta. Depois que ele começa a rodar, ainda pode fazer algo perigoso. Runtime security (segurança em tempo de execução) vigia o programa enquanto ele funciona.
  2. Essas ferramentas observam o kernel (núcleo) do Linux, onde todo comando passa. Elas enxergam ações como abrir arquivos ou rodar um simples ls, mesmo sem entender o Kubernetes.
  3. O Falco detecta e reage. O comando chega a rodar, o Falco dispara um alerta e o Falco Talon pode derrubar o pod (unidade que roda o contêiner) envolvido.
  4. KubeArmor e Tetragon tentam prevenir. Eles usam LSM (módulos de segurança do Linux) e eBPF (programas pequenos dentro do kernel) para que o comando proibido falhe antes de executar.
  5. Na demo, essa camada falhou e a plateia conseguiu ler a receita secreta. Ataques rápidos, como um fork bomb, pedem prevenção, porque a resposta depois do fato chega tarde.

Aparece em Build a Platform and Watch It Burn

Saga de ligação tardia

late-bound saga: workflow montado em runtime

Uma saga de ligação tardia é como um cozinheiro com uma despensa fixa de ingredientes que decide a receita na hora, olhando o pedido do cliente, e anota cada etapa num caderno para poder parar e recomeçar sem errar.

  1. Uma saga (saga) é uma lista de passos que um sistema segue em ordem, com um plano para o caso de algum passo falhar no meio do caminho.
  2. Na saga tradicional, uma pessoa escreve todos os passos antes, no código. O fluxo roda sempre igual e é fácil de acompanhar, mas só cobre os caminhos que alguém previu.
  3. Na saga de ligação tardia (late-bound saga), o conjunto de ferramentas continua fixo e conhecido, mas a ordem e a combinação dos passos nascem em tempo de execução (runtime). Quem monta o plano é o agente de IA, olhando a situação do momento.
  4. O plano do agente vira um workflow de verdade, executado por um motor de orquestração como o Conductor. Assim você mantém visibilidade, controle e recuperação de falhas, e pode deixar o agente planejar um passo por vez ou vários de uma só vez.
  5. Com N ferramentas, o agente cobre combinações que ninguém conseguiria desenhar à mão como galhos de um fluxo. O agente decide o que fazer, e o motor de workflow garante como cada passo roda.

Aparece em Brains vs Hands: How to Run AI Agents Safely in Production

Sample ratio mismatch

desvio entre a divisão esperada e a real dos grupos de um experimento

Sample ratio mismatch é como uma pesquisa de sabor numa padaria em que metade dos clientes deveria provar o pão novo, mas no fim do dia a conta mostra muito mais gente num lado da fila do que no outro.

  1. Num experimento A/B (teste com dois grupos), o sistema sorteia os usuários entre a versão antiga e a nova numa proporção combinada, por exemplo metade para cada lado.
  2. No fim, alguém conta quantas pessoas caíram de fato em cada grupo. Uma pequena diferença é normal, porque o sorteio tem variação.
  3. Sample ratio mismatch (desvio na proporção da amostra) acontece quando a diferença é grande demais para ser acaso. Um teste estatístico, como o qui-quadrado, mede essa chance.
  4. Esse desvio indica defeito na divisão ou no registro dos dados, como um bug que expulsa parte dos usuários de um grupo. Por isso o resultado do experimento deixa de ser confiável.
  5. No agente do palestrante, uma flag com esse desvio conta como sinal de risco. Ela sai da fila de limpeza automática e fica para um humano decidir.

Aparece em Scale the Judgment, Not the Model

Sandbox

ambiente isolado para rodar o código

Aparece em AI-Generated Code Is Already Competing With Human Code; Software Engineering Is Becoming Factory Engineering; Orchestras, Not Factories: How the Fastest Builders Work; No, That's Not a Software Factory; YOLO Mode, Safely: MicroVM Sandboxes for Any Agent; Stop Rationing Tokens: Let the Harness Pick the Model; An Interaction Is All You Need; I Built a Personal AI Agent on a Raspberry Pi; Agents That Write Their Own Tools at Runtime; How Many Credentials Should Your AI Agent Have? Zero.; Research to Reality with Google DeepMind; How I Learned to Stop Worrying and Love the Sandbox; Why AI Agents Should Have Their Own Sandbox; Harness Engineering: How to Build a Software Factory; Building on the Codex Harness; Build a Research Agent with Claude Managed Agents (Part 2 of 4); Claude Managed Agents Q&A: Evals, CI/CD and Multi-Tenancy (Part 4 of 4); Decoupling the Brain from the Hands: Claude Managed Agents (Part 1 of 4); 1,000 Agent Tasks in a Sandbox: What Breaks When LLMs Run Code; Inside the AI Economy: What Stripe's Data Reveals; Sandboxes Aren't Optional: 4 Ways to Isolate Coding Agents; Hiring Employable Agents + Startup Battlefield Finals; From Zero to Leaderboard: Agent Evaluation; How Secrets Leak Through AI Agents (and How to Stop It); The SDLC You Build Yourself; An AI Future Without the Lock-In; Zero Cold Starts: Serverless AI Agents on Akamai Functions; AI Engineer NYC: OpenAI, Blackstone, Ramp, Coinbase, Apollo, Citadel, Basis, Runway, Compute Trading; Your AI Isn’t the Problem. Your Infrastructure Is.; An AI Agent Got Its User Banned From Resy

Scheduler

Escalonador de trabalho para a GPU

O scheduler é como o chefe de cozinha que decide quais pedidos vão juntos para o fogão, para que o fogão nunca fique desligado esperando.

  1. Um modelo de IA atende muitos pedidos ao mesmo tempo, e alguém precisa decidir a ordem e o que vai junto. Esse papel é do scheduler (escalonador).
  2. Ele recebe os pedidos já convertidos em tokens, confere quanta memória cada um vai gastar e quanta está livre, e coloca o excedente em uma fila.
  3. Depois monta lotes (batches) de pedidos e os envia para a GPU, que rende mais quando processa vários pedidos em paralelo.
  4. No SGLang e no vLLM o scheduler roda em Python, em uma única thread (linha de execução). Ele faz pouca conta, mas toda tarefa da GPU passa por ele.
  5. Se o scheduler demora a preparar o próximo lote, a GPU, a peça mais cara, fica parada. Por isso ele vira gargalo e concentra boa parte do trabalho de otimização.

Aparece em What Is an Inference Engine, Anyway?

Seccomp

filtro de chamadas de sistema do Linux

Seccomp é como o crachá de um funcionário temporário, que só abre as portas da lista aprovada pela empresa e deixa todas as outras fechadas.

  1. Todo programa precisa pedir ao sistema operacional para fazer coisas básicas, como abrir um arquivo, acessar a rede ou iniciar outro programa.
  2. Esses pedidos se chamam chamadas de sistema (system calls, ou syscalls). O Linux tem centenas delas, e o kernel (núcleo do sistema) atende cada uma.
  3. O seccomp (secure computing, computação segura) é um recurso do Linux que define quais chamadas um processo pode fazer. As que ficam fora da lista são negadas ou encerram o processo.
  4. Num sandbox (ambiente isolado), esse filtro reduz o estrago que um código malicioso pode causar. O custo é que tarefas legítimas também podem esbarrar no bloqueio.
  5. No talk, um pacote de machine learning que precisa abrir um novo processo falha se o filtro proibir essa chamada. O agente trava mesmo com o código dele correto.

Aparece em 1,000 Agent Tasks in a Sandbox: What Breaks When LLMs Run Code

Security token service (STS)

serviço de tokens de segurança

O STS é como o guichê do almoxarifado que confere o pedido assinado pelo chefe e entrega só a ferramenta daquela tarefa, com prazo de devolução.

  1. O STS é um servidor que entrega credenciais temporárias, sob pedido, para cada ação do agente.
  2. O runtime do agente, o programa que roda o ciclo do agente, se apresenta ao STS com a credencial do aplicativo ou com uma identidade de carga (workload identity).
  3. Junto, o runtime envia o token do usuário e o pedido de acesso a uma ferramenta específica.
  4. O STS avalia a política de governança, a cadeia de delegação (quem age em nome de quem) e o acesso pedido. Se tudo passa, emite um token que expira em minutos.
  5. Se o servidor MCP precisa de um recurso externo, ele volta ao STS e troca esse token por outro restrito à mesma chamada, mantendo o usuário registrado.

Aparece em Your Agent Is a Lethal Trifecta (And What to Do About It)

Semantic ID

identificador semântico

Um semantic ID é como o código de localização de um livro na biblioteca, em que livros de assuntos parecidos recebem códigos parecidos e ficam na mesma estante.

  1. O modelo de linguagem conhece palavras, mas não conhece cada música ou podcast do catálogo. Ele precisa de um nome curto para cada item.
  2. O Spotify já tem um embedding (vetor de números que resume o conteúdo) para cada episódio ou faixa. Itens parecidos têm vetores próximos.
  3. Um algoritmo de quantization (quantização, que arredonda valores contínuos para poucas opções) transforma cada vetor em uma sequência curta de códigos fixos.
  4. Esses códigos viram tokens (pedaços que o modelo lê e escreve) especiais, adicionados ao vocabulário de um LLM aberto como o Qwen.
  5. Depois do treino, o modelo recebe o histórico do usuário nesses códigos e responde com o código do item recomendado junto de uma explicação em texto.

Aparece em Teaching LLMs to Speak Spotify; Why LLM Recommenders Will Be AI's Biggest Consumer App; Distill the LLM, Don't Serve It: Search & Personalization at DoorDash

SFT e RL

ajuste fino supervisionado e aprendizado por reforço

SFT e RL são como aprender a cozinhar primeiro copiando receitas prontas e depois ajustando os pratos conforme a nota que os clientes dão.

  1. Depois que um modelo aprende o básico, ele passa por treinos extras para ficar bom numa tarefa específica.
  2. SFT, supervised fine-tuning (ajuste fino supervisionado), mostra ao modelo pares de pergunta e resposta certa. Ele aprende a imitar essas respostas.
  3. RL, reinforcement learning (aprendizado por reforço), deixa o modelo tentar sozinho e dá uma nota para cada tentativa. As tentativas com nota alta ficam mais prováveis.
  4. O SFT ensina o formato e o jeito de responder. O RL empurra o modelo a acertar mais, inclusive em casos que não estavam nos exemplos.
  5. O RL funciona melhor quando existe um jeito automático de conferir a resposta, como contar itens numa imagem gerada ou rodar um simulador.

Aparece em The Best Models Still Reason Like Toddlers

Sidecar

processo auxiliar que escuta eventos externos

Um sidecar é como o porteiro de um prédio, que passa o dia na portaria atento a entregas e visitas e avisa o morador assim que algo chega.

  1. Um agente de IA costuma agir só quando alguém manda uma mensagem para ele.
  2. O sidecar (processo auxiliar) é um programa que fica ligado o tempo todo ao lado do agente, apenas escutando.
  3. Ele observa o mundo externo, como mensagens SMS, webhooks (avisos automáticos enviados por outros sistemas), horários agendados (cron) e pull requests no GitHub.
  4. O próprio modelo configura gatilhos nesse sidecar, por exemplo pedir para revisar o código sempre que chegar um pull request novo.
  5. No Antigravity, as tarefas agendadas já rodam sobre sidecars, e o Google promete publicar a especificação desse protocolo de plug-in para outros desenvolvedores.

Aparece em Get Out of the Model's Way; Building Self-Improving Agent Software Factories

Signal

agente da Arize que agrupa falhas e propõe correções

O Signal é como um supervisor de loja que revê as gravações das câmeras a cada turno, anota os problemas que se repetem e deixa no quadro uma lista de consertos para o gerente aprovar.

  1. Um assistente de IA atende milhares de pessoas por dia, e ninguém consegue reler todas essas conversas. O Signal faz essa leitura no lugar da equipe.
  2. Ele é um agente, ou seja, um programa de IA que age sozinho, e roda dentro do Arize AX, a plataforma de observabilidade da Arize. Por padrão, ele acorda a cada seis horas, e esse intervalo pode ser ajustado.
  3. Em cada rodada, ele lê os traces (registros de cada passo do agente), procura padrões e agrupa as falhas que se repetem. Na demo, ele achou restrição de idade inventada, resposta a pedido perigoso e obediência a instrução aleatória.
  4. Para cada problema, ele oferece caminhos. Pode abrir uma issue (chamado de tarefa) no GitHub, guardar o trace em um dataset (conjunto de exemplos) para rodar evals ou criar um evaluator (avaliador) para aquele erro.
  5. Com o repositório conectado, ele lê o código e abre um pull request (proposta de mudança no código) com a correção. O humano só aprova ou rejeita, e isso fecha o ciclo de melhoria sem alguém pedir a análise.

Aparece em From Vibes to Production: Evaluating and Shipping AI Agents That Work 201; Building Self-Learning Loops for Your Agent

Sim-to-real gap

distância entre simulação e mundo real

O sim-to-real gap é como a diferença entre treinar direção num simulador de autoescola e dirigir no trânsito de verdade, onde aparecem buracos, chuva e motoristas que o simulador nunca mostrou.

  1. Antes de soltar um sistema no mundo real, a equipe costuma testá-lo num ambiente de mentira, mais barato e mais seguro.
  2. O sim-to-real gap (distância entre simulação e mundo real) é a queda de desempenho que aparece quando o sistema sai do teste e encontra a situação real.
  3. A queda acontece porque a simulação deixa de fora detalhes do mundo real, e o sistema aprende a ir bem só no cenário simplificado.
  4. Com agentes de IA, o teste offline (fora do produto, com tarefas preparadas) faz o papel da simulação, e o uso por clientes faz o papel do mundo real.
  5. No talk, a Weights & Biases reduz essa distância rodando o mesmo código nos dois lados, sincronizando a cada 4 horas e levando traces (registros passo a passo) de produção para dentro dos testes.

Aparece em How We Built an Agent That Improves Itself; World Models Need Causality, Not Pretty Pixels

Skill

habilidade, julgamento institucional escrito para o agente executar

Aparece em Scale the Judgment, Not the Model; No, That's Not a Software Factory; Building Self-Improving Agent Software Factories; The Chief AI Officer: Scientist, Architect, Coach; Why 99% Accurate Browser Agents Still Fail; Dashboards Are Dead; How VS Code Went from Monthly to Weekly Releases with AI; From 36% to 100%: How Self-Improving Agents Write Their Own Skills; How a Remote Company Builds AI Fluency; Agents in Orbit: Workflows, Not Autopilot; We Let Our Financial Planners Write the Agents; Build a Research Agent with Claude Managed Agents (Part 2 of 4); The Next Trillion Internet Users Still Don’t Have an Identity; The Autonomous Computer: Infrastructure for Computer Use Agents; Hill-Climbing Skills: Improve Agents Without Changing the Model; Build with Perception Agents; Let Your Agent Cook: Using Skills to Evaluate and Improve Your App; Continuously Improving Agents with Langfuse; How to Build Quality Gates into Agentic Coding Workflows; The Cost of Accessibility in AI; Memory-Aware Agent Harnesses for Anti-Money Laundering

Skill loop

loop de melhoria de habilidades

O skill loop é como um técnico de futebol que assiste ao jogo, anota os erros dos jogadores e ajusta o treino da semana seguinte.

  1. Um agente repete a mesma tarefa muitas vezes, como revisar código, e às vezes erra do mesmo jeito.
  2. Uma skill (habilidade) é o conjunto de instruções que ensina o agente a fazer essa tarefa.
  3. No skill loop (loop de melhoria de habilidades), um segundo agente, o observador, acompanha como a skill foi usada e onde falhou.
  4. Exemplo de Lloyd. Um engenheiro sênior corrige os comentários do agente de code review, e o observador usa essas correções para reescrever a skill.
  5. Na rodada seguinte, o agente já trabalha com a skill melhorada, e a fábrica fica melhor a cada volta sem alguém reescrever tudo à mão.

Aparece em Software Engineering Is Becoming Factory Engineering

Skills

instruções empacotadas que ensinam o agente de código a usar uma ferramenta

Aparece em From Vibes to Production: Evaluating and Shipping AI Agents That Work 201; Why AI Agents Should Have Their Own Sandbox; Harness Engineering: How to Build a Software Factory; Let Anyone at Your Company Ship Internal Apps with AI; Why Your Company Needs a Context Graph (and How to Build It); Designing CLIs for Agents, Not Humans; Stop Prompting; AI Security Engineer Foundations + Certificate; Building Self-Learning Loops for Your Agent; Agent Speedrun

Sleep-time compute

processamento de memória fora da execução ativa

Sleep-time compute é como o professor que corrige as provas e prepara a próxima aula à noite, para chegar à sala no dia seguinte já com tudo organizado.

  1. Um agente de IA trabalha em rodadas. Entre uma rodada e outra, ele fica parado esperando a próxima tarefa.
  2. Sleep-time compute (processamento em tempo de sono) aproveita esse intervalo para trabalhar na memória do agente. Alguns chamam isso de dreaming (sonhar).
  3. Nesse intervalo, um processo lê o trace (registro da execução) das rodadas anteriores e separa o que vale guardar do que fica só como histórico.
  4. As lições escolhidas entram na memória de longo prazo, como regras, skills (habilidades em arquivo) ou preferências do usuário.
  5. Na rodada seguinte, o agente carrega essa memória já organizada. Assim ele não gasta tempo da tarefa ativa para rever o passado e evita repetir erros.

Aparece em Giving AI Agents Memory That Learns

Slopsquatting

registro malicioso de pacote alucinado

Slopsquatting é como um GPS que inventa uma rua que não existe, e um golpista corre para abrir uma loja falsa exatamente nesse endereço antes que você chegue lá.

  1. Programas usam pacotes, que são peças de código prontas baixadas da internet pelo nome.
  2. Quando a IA escreve código, às vezes ela inventa o nome de um pacote que não existe. Isso se chama alucinação.
  3. Slopsquatting (registro malicioso de pacote alucinado) acontece quando um atacante percebe esses nomes inventados e publica um pacote real com esse nome, cheio de código malicioso.
  4. Antes, instalar o pacote inventado dava erro. Depois do registro, a instalação funciona e o código do atacante roda na sua máquina. Por isso o palestrante chama de primo do typosquatting (registro de nomes com erro de digitação) e de ataque de tempo.
  5. A defesa é conferir se cada pacote sugerido pela IA existe e é legítimo, manter um SBOM (lista de componentes do software) por projeto e quebrar o build quando surgir dependência fora da lista.

Aparece em AI Security Engineer Foundations + Certificate

Slurm

agendador de jobs para clusters de computação

O Slurm é como o controlador de uma quadra esportiva que recebe os pedidos de horário, organiza a fila e libera a quadra para cada time na sua vez.

  1. Laboratórios têm muitas máquinas potentes e muitas pessoas querendo usá-las. Alguém precisa organizar quem usa o quê e quando.
  2. O Slurm é um agendador de jobs (tarefas de computação). O pesquisador escreve um script, envia com o comando sbatch, e o job entra numa fila.
  3. Quando há máquinas livres, o Slurm reserva os nós, inicia o job e acompanha até o fim.
  4. Ele nasceu há mais de 20 anos para supercomputação e traz gang scheduling, noção da topologia da rede e scripts de checagem antes e depois do job.
  5. As limitações apontadas no talk são partições estáticas, detecção e dreno de nós ruins por conta do operador, e pouca explicação sobre por que um job falhou.

Aparece em GPU Died. Training Didn't: Self-Healing Training at Scale

Software factory

fábrica de software

Aparece em Software Engineering Is Becoming Factory Engineering; No, That's Not a Software Factory; What It Actually Takes to Build a Software Factory; I Turned Coding Agents Into a Strategy Game; Building Self-Improving Agent Software Factories; Fixing the PR Bottleneck; The Software Factory: From Bug Report to Production Code; Redesigning How Software Gets Built With AI Agents; Harness Engineering: How to Build a Software Factory; The Highest Loop; AI Engineer NYC: OpenAI, Blackstone, Ramp, Coinbase, Apollo, Citadel, Basis, Runway, Compute Trading; Rebuilding CI for AI-Scale Commit Volume

Sparse attention

atenção esparsa, que calcula a atenção só em parte dos tokens

Sparse attention é como estudar para a prova lendo só os capítulos que o professor marcou como importantes, em vez de reler o livro inteiro.

  1. Para escrever cada palavra, o modelo consulta o que já leu antes. Esse ato de consultar e pesar o texto anterior se chama attention (atenção).
  2. Na atenção completa, cada token (pedaço de palavra) é comparado com todos os outros. Com 1 milhão de tokens, o número de comparações fica enorme e lento.
  3. A sparse attention (atenção esparsa) compara cada token só com uma parte do texto. O desafio é escolher bem essa parte para não perder informação importante.
  4. Na MSA, da MiniMax, um ramo indexador leve faz uma atenção barata e dá notas aos trechos. Ele aprende a imitar as notas do ramo principal durante o treino.
  5. O ramo esparso calcula a atenção de verdade só nos blocos que o indexador escolheu. A MiniMax afirma ganhos de 9 vezes na leitura do prompt e 15 vezes na geração.

Aparece em How MiniMax M3 Was Built: Sparse Attention and Native Multimodality

Speculative decoding

decodificação especulativa

Speculative decoding é como um estagiário que escreve o rascunho de um e-mail e o chefe só lê e aprova, corrigindo apenas a primeira frase que estiver errada.

  1. Um modelo de linguagem escreve a resposta um pedaço por vez. Cada pedaço se chama token (fragmento de palavra), e modelos grandes demoram para gerar cada um.
  2. Speculative decoding (decodificação especulativa) coloca um modelo pequeno e rápido para chutar os próximos tokens, vários de uma vez.
  3. O modelo grande confere todos esses chutes numa única passada. Conferir vários tokens juntos custa quase o mesmo que gerar um só.
  4. O modelo grande aceita os chutes até o primeiro erro. No ponto do erro, ele coloca o token que ele mesmo escolheria e o ciclo recomeça dali.
  5. A resposta final sai igual à que o modelo grande daria sozinho. O ganho de velocidade depende de quantos chutes o modelo pequeno acerta.

Aparece em What Makes Open Models Fast in Production; What Is an Inference Engine, Anyway?; Is Speculative Decoding Worth It? Profiling vLLM on NVIDIA Blackwell; How Inference Keeps Up with Our Insatiable Need for Tokens; Stop Renting Intelligence: The Train-to-Deploy Loop for Specialized AI; Same Model, Different Speed: Why Your Inference Provider Matters; Agents That Own Their Inference

Speedrun

corrida para atingir uma perda-alvo

O speedrun é como uma prova de corrida com percurso fixo, em que todos seguem as mesmas regras e vence quem chega primeiro.

  1. Um speedrun (corrida de velocidade) é um desafio com meta fixa e regras claras, e vence quem chega mais rápido.
  2. Aqui a meta é treinar um modelo até a perda (loss) do GPT-2, sinal de desempenho equivalente.
  3. No NanoGPT speedrun quase tudo pode mudar, e a comunidade levou o treino de 90 minutos para menos de 2.
  4. No Optimizer Speedrun só o otimizador muda, vence quem chega à perda-alvo em menos passos e cada rodada leva de 15 a 20 minutos.
  5. Um recorde só vale se passar um limiar estatístico. Esse resultado verificável serve de recompensa (reward) para avaliar e treinar modelos.

Aparece em We Let Claude Code and Codex Race Human Researchers

SPF, DKIM e DMARC

registros de DNS que verificam quem pode enviar e-mail por um domínio

SPF, DKIM e DMARC são como a portaria de um prédio que confere a lista de entregadores autorizados, verifica se o lacre do pacote está intacto e segue a regra do síndico sobre o que fazer com quem não passa.

  1. Qualquer pessoa pode escrever um e-mail e colocar um remetente falso, como quem escreve qualquer endereço no verso de uma carta. Essas três regras ajudam quem recebe a descobrir se a mensagem veio mesmo de quem diz.
  2. As três ficam publicadas no DNS (Domain Name System, a lista telefônica da internet), como registros de texto ligados ao domínio, por exemplo empresa.com.
  3. O SPF (Sender Policy Framework, política de remetente) lista quais servidores podem enviar e-mail em nome do domínio. O servidor que recebe confere se a mensagem saiu de um servidor da lista.
  4. O DKIM (DomainKeys Identified Mail, e-mail identificado por chave) coloca uma assinatura digital em cada mensagem. Quem recebe busca a chave pública no DNS e confirma que o texto não foi alterado no caminho.
  5. O DMARC (autenticação, relatório e conformidade de mensagens por domínio) diz o que fazer quando SPF ou DKIM falham: entregar, mandar para spam ou rejeitar. Ele também envia relatórios ao dono do domínio. No talk, isso faz parte da confiança que o e-mail já traz pronta.

Aparece em The Next Trillion Internet Users Still Don’t Have an Identity

Split key custody

custódia de chave dividida

Split key custody é como o cofre de um banco que só abre quando dois funcionários giram suas chaves ao mesmo tempo.

  1. Para proteger um dado, a empresa o embaralha com uma chave secreta. Sem a chave, o dado vira texto ilegível.
  2. Na custódia de chave dividida (split key custody), essa chave fica separada em duas metades guardadas em lugares diferentes.
  3. Para decifrar o dado, o sistema precisa juntar as duas metades. Quem rouba só uma metade continua sem acesso.
  4. A própria equipe também não abre os dados sozinha. Se a conta de um funcionário for invadida, o atacante ainda fica sem a outra metade.
  5. No talk, a Venice guarda resultados de geração de vídeo assim, criptografados em um enclave, com uma metade de leitura e outra de escrita.

Aparece em How Secrets Leak Through AI Agents (and How to Stop It)

State Space Model (SSM)

modelo de espaço de estados

Um SSM é como um aluno que lê um livro longo e anota só um resumo num caderninho, atualizando esse resumo a cada página em vez de reler tudo desde o começo.

  1. Um modelo de linguagem lê o texto em pedaços pequenos chamados tokens (fichas), um depois do outro.
  2. O SSM (State Space Model, modelo de espaço de estados) guarda um único estado, uma espécie de memória resumida do que já leu.
  3. A cada novo token, o modelo mistura a informação nova com esse estado e produz um estado atualizado.
  4. Como o tamanho do estado nunca muda, a memória fica constante e o custo cresce só em linha reta com o tamanho do texto.
  5. O preço é uma memória com alguma perda de detalhe, e a Sarvam compensa isso lendo a página em blocos curtos.

Aparece em From Scratch to SOTA: Training a 3B State-Space Vision Model

Steering

direcionamento da resposta por um agente revisor

Aparece em Agent Speedrun

Steps data model

modelo de dados em passos

O steps data model é como o extrato do banco, em que cada linha diz se foi depósito, saque ou tarifa, e você não precisa adivinhar o que aconteceu.

  1. Quando você pede algo a um agente, ele faz várias coisas antes da resposta final.
  2. Ele pode pensar, chamar ferramentas, consultar a internet e gerar texto, imagem ou áudio.
  3. A API antiga juntava tudo num array (lista) de outputs, com objetos aninhados difíceis de ler.
  4. O steps data model (modelo de dados em passos) registra cada etapa como um passo com tipo explícito, chamado discriminador. Os tipos incluem raciocínio, chamada de função e conteúdo.
  5. O código só confere o tipo de cada passo e trata cada caso, o que facilita fluxos com ferramentas assíncronas e várias mídias.

Aparece em An Interaction Is All You Need; Why AI Agents Should Have Their Own Sandbox

Synthetic data flywheel

ciclo de dados sintéticos

O ciclo de dados sintéticos é como um professor que cria exercícios, corrige as provas e usa os erros da turma para montar a próxima lista de exercícios.

  1. Para aprender, um modelo precisa de muitos exemplos. Dai diz que exemplos de raciocínio visual quase não existem na internet.
  2. Dados sintéticos são exemplos gerados por computador, em vez de coletados do mundo real. Por exemplo, imagens com perguntas e respostas criadas por um programa.
  3. Flywheel (volante de inércia) é um ciclo que ganha velocidade a cada volta. Aqui, o modelo treinado ajuda a gerar e filtrar os próximos dados.
  4. Na Elorian, agents (agentes) produzem exemplos, evals (avaliações) apontam onde o modelo erra, e o treino com SFT e RL corrige esses pontos.
  5. A cada volta, o modelo melhor gera dados melhores, e os dados melhores treinam um modelo ainda melhor.

Aparece em The Best Models Still Reason Like Toddlers

Tailnet e tsnet

rede privada Tailscale e sua biblioteca em Go

Uma tailnet é como o crachá de um prédio de escritórios, em que cada porta já sabe quem você é e de qual equipe faz parte, e o tsnet é como entregar um crachá próprio a um programa.

  1. A Tailscale cria uma rede privada que liga só os seus aparelhos, como notebooks, servidores e contêineres, mesmo que eles estejam em lugares diferentes. Essa rede privada se chama tailnet.
  2. Você instala o agente da Tailscale em cada máquina. A partir daí, as máquinas conversam direto entre si numa rede em malha (mesh network), por cima do WireGuard, um protocolo de conexão criptografada.
  3. Cada conexão dentro da tailnet chega com a identidade de quem está do outro lado. Pode ser um usuário, uma máquina marcada com uma etiqueta (tag), como um robô que revisa código, e os grupos sincronizados do Entra ou do Okta.
  4. O tsnet é uma biblioteca open source (de código aberto) em Go que coloca um programa dentro da tailnet como se ele fosse mais uma máquina. Assim o programa consegue ler a identidade de cada conexão que recebe.
  5. A Tailscale construiu o gateway Aperture com o tsnet. Por isso o gateway sabe quem faz cada chamada ao modelo e aplica acesso e orçamento sem criar chaves de API novas para cada pessoa.

Aparece em An AI Future Without the Lock-In

Taint analysis

análise de contaminação de dados

Taint analysis é como pingar corante na água de uma cozinha para ver por quais canos ela passa até chegar à panela.

  1. Todo dado que vem de fora do programa, como o texto que alguém digita, é tratado como suspeito. A ferramenta marca esse dado como contaminado (tainted).
  2. A análise segue esse dado marcado enquanto ele passa de variável em variável, de função em função e até de um arquivo para outro.
  3. O ponto onde o dado entra se chama fonte (source). O ponto perigoso onde ele é usado se chama destino (sink), por exemplo o comando que executa uma consulta no banco.
  4. Se o dado chega ao destino sem passar por uma limpeza ou proteção, a ferramenta aponta a falha. No exemplo do vídeo, um argumento de sys.argv vai direto para uma f-string executada no banco, o que abre caminho para SQL injection.
  5. O SonarQube faz isso lendo o código sem executá-lo, com análise estática e execução simbólica (symbolic execution), e mostra no painel o caminho completo da fonte até o destino.

Aparece em SonarQube + OpenAI: Agentic Development

Thought signatures

assinaturas de raciocínio

Thought signatures são como o caderno de passagem de turno de um plantão, e se o colega perde uma folha ele recomeça sem saber o que já foi pensado.

  1. Antes de responder, alguns modelos pensam em etapas, como quem faz contas num rascunho.
  2. O Gemini resume esse rascunho num código fechado, a thought signature (assinatura de raciocínio), que nenhuma pessoa consegue ler.
  3. A cada resposta ou chamada de função, o modelo devolve essas assinaturas junto com o texto.
  4. No turno seguinte, o programa precisa reenviar as assinaturas intactas. Um espaço a mais já pode quebrar o cache, e sem elas o desempenho do modelo cai.
  5. Com a Interactions API, o servidor guarda as assinaturas. Você só devolve o interaction ID no campo previous_interaction_id.

Aparece em An Interaction Is All You Need

Time to first token (TTFT)

Tempo até o primeiro token

O TTFT é como o tempo entre fazer o pedido no restaurante e o garçom trazer o primeiro prato à mesa.

  1. Quando você manda uma pergunta para um chatbot, existe uma espera até a primeira palavra aparecer na tela. Essa espera tem nome, time to first token (tempo até o primeiro token).
  2. Nesse intervalo o motor lê o prompt inteiro de uma vez. Essa fase se chama prefill (pré-preenchimento) e termina com o primeiro token pronto.
  3. Prompts longos pedem mais conta no prefill e aumentam o TTFT. Reaproveitar um prefixo já calculado no KV cache encurta essa etapa.
  4. O TTFT anda junto com a inter-token latency (tempo entre tokens), que mede a velocidade das palavras seguintes. As duas formam o orçamento de latência do deploy.
  5. Para um chatbot com pessoas, Frye fala em poucas centenas de milissegundos no máximo. Um agente em segundo plano tolera minutos.

Aparece em What Is an Inference Engine, Anyway?; Decoupling the Brain from the Hands: Claude Managed Agents (Part 1 of 4); Taming the AI Hardware Cambrian Explosion; Same Model, Different Speed: Why Your Inference Provider Matters; Agents That Own Their Inference; Latency Is a Budget. Humanlike Is the Goal.

Token exchange

troca de tokens (extensão do OAuth 2)

A troca de tokens é como trocar o crachá de visitante na portaria por uma pulseira que só abre uma sala e vence no fim da tarde.

  1. Um token é um comprovante digital que diz quem você é e o que pode fazer, como um crachá.
  2. Quando você faz login, o servidor de autorização (authorization server) entrega ao agente um token com só parte das suas permissões, chamadas escopos (scopes).
  3. Na hora de usar uma ferramenta, o agente envia esse token, chamado subject token (token do sujeito), e pede outro bem mais restrito.
  4. O pedido vai a um serviço de tokens de segurança, que devolve um token novo válido para uma única chamada e por poucos minutos.
  5. O padrão token exchange saiu em 2020 como extensão do OAuth 2 (RFC 8693). O token novo mantém a identidade do usuário, o que permite auditar quem agiu.

Aparece em Your Agent Is a Lethal Trifecta (And What to Do About It)

Tool poisoning

envenenamento de ferramenta: instruções ocultas na definição da ferramenta

Tool poisoning é como um manual de instruções de uma impressora nova que diz, no meio dos passos, para você mandar uma cópia de todo documento para um endereço estranho, e você obedece porque confia no manual.

  1. Assistentes de IA podem usar ferramentas, como buscar num banco de dados ou enviar uma mensagem. Cada ferramenta vem com um texto que explica para o modelo como usá-la.
  2. O modelo lê esse texto e segue o que está escrito, porque ele não tem outra fonte para saber como a ferramenta funciona.
  3. Tool poisoning (envenenamento de ferramenta) acontece quando quem criou a ferramenta esconde ordens maliciosas nessa descrição. Um exemplo do talk é uma busca que pede para incluir a chave SSH (a senha de acesso do computador) na consulta.
  4. Esse ataque vem de um servidor MCP (o programa que liga o modelo a ferramentas externas) feito de propósito para enganar o agente. Como o agente tem o mesmo acesso que o desenvolvedor, ele pode vazar segredos ou desviar ações sem que ninguém perceba.
  5. A defesa é tratar o servidor MCP como código de terceiros. Leia as descrições das ferramentas e rode um scanner, como o agent scan da Snyk, que procura prompt injection (injeção de prompt) nessas definições.

Aparece em AI Security Engineer Foundations + Certificate; AI Security Engineer Foundations + Certificate

Topics e facets

agrupamento de padrões nos traces por facet

Topics e facets é como uma professora que lê todas as redações da turma e separa em pilhas por assunto, pelo humor do aluno e pelo tipo de erro, sem ter decidido as pilhas antes.

  1. Um agente em produção gera milhares de conversas, e ninguém consegue ler todas. Topics lê esses registros, agrupa os parecidos e mostra com que frequência cada padrão aparece.
  2. Uma facet (faceta, ou ângulo de leitura) define o que observar em cada conversa. As prontas são tarefa (o que o usuário quer), sentimento (como ele se sente) e problemas (onde o agente falhou). Você também pode criar a sua com um prompt próprio.
  3. Primeiro, um pré-processador (preprocessor) enxuga o trace, o registro passo a passo da execução, numa conversa curta entre usuário, assistente e chamadas de ferramenta. Depois um modelo resume essa conversa pelo ângulo da facet.
  4. Cada resumo vira um embedding (vetor de números que representa o significado). Resumos parecidos ficam próximos, e isso forma um topic map (mapa de tópicos) que rotula e classifica cada trace.
  5. Com os rótulos, você filtra o volume e acha falhas que seus evals não testavam, além de pedidos de funcionalidade novos. A Braintrust roda o pipeline em modelo próprio, a US$ 0,06 por milhão de tokens de entrada e US$ 0,40 de saída.

Aparece em Advanced Workshop: Mastering AI Observability

Trace

registro estruturado da execução

Aparece em Long-Horizon Agents Need Experiments, Not Just Prompts; How We Built an Agent That Improves Itself; An AI Research Agent That Runs Your Experiments; Your Coding Agent Is 6 Months Out of Date; Advanced Workshop: Mastering AI Observability; From Vibes to Production: Evaluating and Shipping AI Agents That Work 201; From Vibes to Production: Evaluating and Shipping AI Agents That Work 101; The Transcript Looked Fine. The Call Wasn't.; Agentic Search vs Vector Search for Coding Agents: We Ran the Eval; Agent Memory Is Solved. Agent Learning Isn't.; From 36% to 100%: How Self-Improving Agents Write Their Own Skills; Why Building an Eval Platform Is Harder Than It Looks; The Self-Improving OSS Agent Stack; Giving AI Agents Memory That Learns; Let Your Agent Cook: Using Skills to Evaluate and Improve Your App; Continuously Improving Agents with Langfuse; Build a Platform and Watch It Burn; From Zero to Leaderboard: Agent Evaluation; Building Self-Learning Loops for Your Agent; The Data Context Layer for Agents; How to Actually Tokenmaxx and Save Millions; How to Know If Your AI Agent Is Any Good: Evals With Phoenix & Claude; Evals for High-Stakes AI Agents

Trusted execution environment (TEE)

ambiente de execução confiável

Um TEE é como uma sala de provas lacrada na escola, onde ninguém de fora vê o que o aluno escreve e o fiscal entrega um recibo confirmando que a prova foi feita ali.

  1. Quando você manda uma pergunta para uma IA, ela roda em um computador de outra empresa. Em geral, quem controla esse computador pode espiar.
  2. Um ambiente de execução confiável (trusted execution environment, TEE) é uma área isolada dentro do próprio chip do processador.
  3. O que roda ali fica protegido pelo hardware. Nem o sistema operacional nem o dono do servidor conseguem ler os dados durante o processamento.
  4. Junto com a resposta, o serviço devolve uma atestação (attestation), um comprovante assinado que diz onde a inferência rodou.
  5. O usuário confere essa atestação em um verificador. Assim ele tem prova criptográfica de que o pedido rodou em um processo privado.

Aparece em How Secrets Leak Through AI Agents (and How to Stop It)

Vision transformer (ViT)

transformer que converte imagens em tokens visuais

Um ViT é como montar um quebra-cabeça ao contrário, em que você corta a foto em peças, descreve cada peça e depois compara as peças entre si para entender a cena.

  1. Um modelo de linguagem só entende tokens. Para ele ler uma imagem, alguém precisa traduzir a imagem em tokens.
  2. O ViT (vision transformer, ou transformer de visão) corta a imagem em pequenos quadrados, chamados patches, e transforma cada um numa lista de números.
  3. Dentro do ViT, os patches trocam informação entre si pela atenção. No fim, ele entrega tokens visuais que o modelo de linguagem consegue ler junto com o texto.
  4. No MiniMax M3, esses tokens visuais entram no lugar de marcadores de imagem dentro do texto, e o modelo processa tudo junto.
  5. Em vídeo, um ViT comum olha cada quadro separado. A MiniMax usou atenção 3D, em que patches de quatro quadros seguidos se enxergam, o que melhorou vídeo e imagem.

Aparece em How MiniMax M3 Was Built: Sparse Attention and Native Multimodality

Visual chain of thought

cadeia de raciocínio visual

Cadeia de raciocínio visual é como contar os carros vermelhos de um estacionamento marcando cada carro com o dedo na foto antes de dar o número.

  1. Quando uma pergunta sobre uma imagem é difícil, uma pessoa marca, circula e risca partes da figura até chegar à resposta.
  2. Chain of thought (cadeia de raciocínio) é quando o modelo escreve etapas intermediárias antes de responder, em vez de responder direto.
  3. Os modelos de ponta atuais fazem essas etapas só em texto. Eles olham a imagem uma vez e passam a pensar em palavras.
  4. Na versão visual, cada etapa acontece dentro da própria imagem. Para achar hotéis vermelhos, o modelo desenha caixas em todos os hotéis e depois fica só com os vermelhos.
  5. Segundo Dai, isso reduz o erro de completar a cena de memória, porque o modelo passa a conferir cada item marcado na figura.

Aparece em The Best Models Still Reason Like Toddlers

Vitess e VSchema

Sistema de sharding para MySQL e seu arquivo JSON de configuração

Vitess com VSchema é como uma agência dos correios que separa as cartas por CEP, seguindo uma tabela simples que diz qual carteiro atende cada bairro.

  1. Quando um banco de dados fica grande demais para um só computador, você divide os dados entre vários servidores. Cada pedaço se chama shard (fatia).
  2. O Vitess é um software livre (open source) que faz essa divisão para o MySQL, um banco de dados muito usado. Cada shard continua sendo um banco MySQL comum.
  3. Na frente das fatias fica o VTGate, um intermediário (proxy). Ele lê cada consulta SQL, descobre em qual shard está o dado e encaminha o pedido para lá.
  4. Para dizer como dividir, você escreve o VSchema, um arquivo JSON (texto organizado em campos e valores). Nele você escolhe a coluna que define a fatia, o método de divisão e quais tabelas ficam em quais shards.
  5. Agentes de IA lidam bem com JSON. Você entrega o schema (a estrutura das tabelas) e pede um rascunho de VSchema. Depois a plataforma aplica a mudança por deploy, API ou linha de comando (CLI).

Aparece em Move Fast and Don't Break Things: Scaling Databases for the AI Era

VLA

modelo de visão, linguagem e ação

Um VLA é como um garçom que ouve o pedido, olha a mesa e já estende a mão para pegar o prato certo, sem precisar que alguém traduza o pedido em movimentos.

  1. Um VLM (modelo de visão e linguagem) recebe imagem e texto e responde em texto, como um chat que enxerga fotos.
  2. Um VLA (vision-language-action, modelo de visão, linguagem e ação) usa a mesma base, mas responde também com ações.
  3. Essas ações são comandos para um robô, como posição do braço ou abrir e fechar a garra, escritos como tokens de controle.
  4. Para aprender, o VLA costuma usar dados de teleop (robô guiado por um humano), que custam caro, na ordem de US$ 100 por hora.
  5. O palestrante diz que um VLA puro também melhora com mais dados, mas ganha menos do que um modelo que treina percepção, raciocínio e controle juntos.

Aparece em From VLM/VLA's to Embodied Agents

VLM

modelo de visão e linguagem

Um VLM é como um secretário que olha a foto de um recibo e já digita o que está escrito nele, juntando olhos e leitura no mesmo trabalho.

  1. Um VLM (vision language model, modelo de visão e linguagem) recebe uma imagem e responde em texto.
  2. Uma parte do modelo transforma a imagem em tokens visuais, pedaços que representam regiões da figura.
  3. Esses tokens visuais entram no modelo de linguagem junto com o texto, e ele gera a resposta palavra por palavra.
  4. O VLM da Sarvam tem 3 bilhões de parâmetros, cabe em uma GPU e usa um SSM no lugar do transformer como modelo de linguagem.
  5. Ele lê a página bloco por bloco, guiado por um módulo que detecta o layout e outro que define a ordem de leitura.

Aparece em One Operator, Many Drones: Inside Skydio's Autonomy Stack; From Scratch to SOTA: Training a 3B State-Space Vision Model; From VLM/VLA's to Embodied Agents; From Ingestion to Agents: How AI Teams Build on Document Intelligence; Modality Misalignment and Originality Attribution in Short-Form Video; Skill issue: stop deploying vision language models, use them with Skills; Building the Document Context Layer for AI Agents; The Autonomous Computer: Infrastructure for Computer Use Agents; Parsing the Epstein Files for JMail

Wait-time ratio

razão de tempo de espera

A wait-time ratio é como medir quanto tempo um cozinheiro fica parado esperando os ingredientes chegarem, em relação ao tempo total do turno.

  1. Uma GPU (placa que faz as contas do treino) custa caro e precisa estar sempre ocupada. Quando fica parada, o dinheiro é desperdiçado.
  2. A wait-time ratio (razão de tempo de espera) mostra quanto do tempo ela passa esperando dados em vez de treinar.
  3. A conta no talk é o tempo para preparar e transportar os dados, dividido pelo tempo total do pipeline, que inclui o treino.
  4. No baseline, a razão era de 85%. Buscar um lote levava mais de 100 s e treinar levava 15 a 20 s.
  5. Depois das otimizações, a razão caiu para 20%. Medir esse número antes de mexer evita otimizar a parte errada.

Aparece em From 15% to 90% GPU Utilization: Fix the Data Pipeline, Not the Model

World action model

modelo de mundo e ação

Um world action model é como as mãos de um cozinheiro experiente, que ajustam o corte a cada segundo prevendo como o alimento vai ceder, enquanto o chefe só decide qual prato sai agora.

  1. Para fazer uma tarefa física, o robô precisa entender o que fazer e também mover braços e dedos com precisão. A Dyna separa esses dois trabalhos em duas partes do modelo.
  2. A parte de cima é um modelo de raciocínio (reasoning model). Ela olha a cena, entende a tarefa e decide o próximo passo, como pegar o guardanapo de cima da pilha.
  3. A parte de baixo é o world action model (modelo de mundo e ação). Ela recebe esse objetivo e gera os movimentos finos das mãos, muitas vezes por segundo.
  4. Em geral, o nome junta duas ideias. Um world model (modelo de mundo) aprende a prever como as coisas mudam após um gesto, e o lado de ação transforma essa previsão em comandos para os motores.
  5. A alta frequência importa porque um tecido muda de forma a cada toque. O robô corrige o gesto em frações de segundo, e o modelo de raciocínio seria lento demais para esse ajuste.

Aparece em Robot Demos Are Easy. Reliability Is Hard

World model

modelo do mundo, aqui um mapa que a frota atualiza

Um world model é como o motorista que, antes de frear, já imagina onde o carro da frente vai estar daqui a dois segundos.

  1. Um world model (modelo de mundo) é um programa que tenta prever o que vai acontecer em seguida numa cena.
  2. Ele recebe imagens ou vídeo do momento atual e, às vezes, a ação que alguém vai fazer, como mover um braço robótico.
  3. Com isso, ele gera os próximos quadros do vídeo, mostrando como a cena deve mudar depois daquela ação.
  4. Para acertar a previsão, o modelo precisa aprender regras físicas, como gravidade, contato e objetos que ficam escondidos atrás de outros.
  5. A variante chamada semantic world model (modelo de mundo semântico) pula o vídeo e guarda só uma representação interna útil para prever o futuro.

Aparece em One Operator, Many Drones: Inside Skydio's Autonomy Stack; Physical AI's Next Bottleneck Is Finding the Right Video; World Models Need Causality, Not Pretty Pixels; From VLM/VLA's to Embodied Agents; AI Engineer NYC: OpenAI, Blackstone, Ramp, Coinbase, Apollo, Citadel, Basis, Runway, Compute Trading

XGBoost

modelo de árvores com gradient boosting para dados tabulares

O XGBoost é como uma fila de revisores numa redação de escola, em que cada revisor corrige só os erros que os anteriores deixaram passar.

  1. O XGBoost é um programa que aprende a dar uma nota a cada linha de uma tabela, como a chance de uma transação ser fraude.
  2. Ele usa árvores de decisão, que são sequências de perguntas simples do tipo "o valor passa de 500 reais?".
  3. Ele monta as árvores uma depois da outra. Cada árvore nova foca nos casos que as anteriores erraram. Essa técnica se chama gradient boosting (reforço por gradiente).
  4. A nota final é a soma das respostas de todas as árvores. O modelo funciona muito bem com dados de tabela, mas enxerga uma linha de cada vez.
  5. No talk, o time manteve o XGBoost e acrescentou os embeddings da GNN como colunas novas, para que ele também enxergue as conexões.

Aparece em Judge a Transaction by the Company It Keeps

XID 79

código de erro da NVIDIA para GPU que saiu do barramento e ficou inutilizável

XID 79 é como a luz do painel do carro avisando que o motor parou de vez, sem chance de seguir viagem.

  1. Placas de vídeo da NVIDIA (GPUs) registram problemas usando códigos numéricos, chamados XID.
  2. Cada número indica um tipo de falha. Alguns são leves, outros são graves.
  3. O XID 79 significa que a GPU "caiu do barramento": o computador perdeu a conexão com ela e a placa ficou inutilizável.
  4. Esse erro não se resolve sozinho. O job que usava a GPU para, e a máquina precisa de reinício ou troca.
  5. Na Crusoe, o sistema AutoClusters vigia esse código e, ao vê-lo, dispara a troca automática do nó e a retomada do treino.

Aparece em GPU Died. Training Didn't: Self-Healing Training at Scale

Zero-shot transfer

transferência sem treino adicional

Zero-shot transfer é como um motorista experiente que aluga um carro que nunca dirigiu, numa cidade que não conhece, e sai dirigindo bem sem nenhuma aula extra.

  1. Zero-shot transfer (transferência sem treino adicional) quer dizer colocar um modelo numa situação nova e ele funcionar sem receber nenhum exemplo novo antes.
  2. O caminho comum é outro. Um robô treinado numa sala costuma precisar de mais exemplos para funcionar em outra sala, com outro piso, outra luz e outros objetos.
  3. No zero-shot, o modelo aprendeu padrões gerais durante o treino, com dados muito variados. Por isso ele reconhece o que importa mesmo num cenário que nunca viu.
  4. No talk, Pathak mostra robôs de empresas e hardwares diferentes, todos controlados pelo mesmo cérebro da Skild AI, colocados em cenários novos e resistindo a empurrões sem treino extra.
  5. O teste separa decorar de generalizar. Um modelo que só decorou os exemplos falha no primeiro cenário diferente, e um modelo que generaliza continua funcionando.

Aparece em Robotics Has Been Stuck for 70 Years