Agentes fora do demo: segurança, custo e verificação

Delegation chain (cadeia de delegação humano → agente). Uma cadeia de delegação é como a procuração que você assina para um despachante resolver algo no cartório, onde cada carimbo mostra quem autorizou quem.

1. Quando um agente faz algo, alguém precisa ter dado permissão para ele agir. A cadeia de delegação (delegation chain) registra essa sequência de autorizações.
2. O primeiro elo é sempre uma pessoa. Ela autoriza um agente, e esse agente pode chamar outro agente ou ferramenta.
3. Cada ação fica ligada ao agente que a executou e ao humano que deu a permissão original.
4. Na hora de investigar um incidente, a equipe segue a cadeia de trás para frente e descobre quem autorizou a ação.
5. A Docker planeja juntar isso à identidade própria de cada agente no sbx. No talk, o recurso aparece como roadmap, ainda sem demonstração.

Ajuda saber antes: Agente de IA, Identidade de agente, Audit trail

Cedar policy (linguagem de políticas de acesso). Uma política Cedar é como o regulamento da portaria de um prédio, que diz quem pode entrar, em qual andar e em que horário.

1. Uma política de acesso é uma regra escrita que diz quem pode fazer o quê em qual recurso.
2. Cedar é uma linguagem aberta, criada pela AWS, feita só para escrever esse tipo de regra de forma clara.
3. Cada regra combina três partes. Ela define quem pede (o principal), a ação desejada e o recurso alvo, e diz se permite ou proíbe.
4. Um motor lê as regras a cada pedido e decide na hora. Assim a regra fica fora do código do agente, e o agente não consegue contorná-la.
5. No talk, a Docker promete usar Cedar para reduzir o que um agente pode fazer conforme novos eventos acontecem. Isso ainda está no roadmap.

Ajuda saber antes: Controle de acesso, Delegation chain, Sandbox

HNSW (índice em grafo para busca vetorial aproximada). HNSW é como chegar a um endereço numa cidade grande, em que você pega primeiro a rodovia, depois a avenida do bairro e só no fim entra nas ruas pequenas até a porta certa.

1. Uma memória de IA guarda milhares de itens. Para achar os mais parecidos com uma pergunta, comparar a pergunta com cada item, um por um, fica lento demais.
2. HNSW (Hierarchical Navigable Small World, ou mundo pequeno navegável em camadas) organiza os itens como uma rede, em que cada item fica ligado aos vizinhos mais parecidos com ele.
3. Essa rede tem andares. O andar de cima tem poucos itens com ligações longas, e os de baixo têm todos os itens com ligações curtas.
4. A busca começa no topo, pula para o vizinho mais próximo da pergunta e desce de andar a cada etapa, refinando até chegar aos itens mais parecidos.
5. O resultado é aproximado, porque pode deixar passar algum vizinho, mas sai em frações de milissegundo. O palestrante cita o HNSW, de 2016, como prova de que a tecnologia de memória já existia havia anos.

Ajuda saber antes: Embedding, Busca vetorial, Grafo

Code Mode (tratar ferramentas MCP como código que o modelo escreve e navega). Code Mode é como dar ao cozinheiro um livro de receitas com índice para ele consultar quando precisar, em vez de ler todas as receitas em voz alta antes de ele começar a cozinhar.

1. Um agente de IA usa ferramentas para agir, como buscar dados ou mandar um e-mail. Em geral, ele recebe a descrição de todas as ferramentas antes de começar o trabalho.
2. No Code Mode, ideia lançada pela Cloudflare, as ferramentas MCP (Model Context Protocol, o padrão que liga agentes a ferramentas) viram código, organizado como os arquivos de um programa.
3. O modelo procura nesse código só o que precisa. Ele usa buscas como o grep (comando que acha texto em arquivos) e lê apenas a definição da ferramenta certa.
4. Depois o modelo escreve um pequeno programa que chama as ferramentas. Assim, a janela de contexto (a memória de trabalho do modelo) recebe menos texto e gasta menos tokens.
5. A ideia funciona porque os modelos viram muito código no treino. O tool calling (chamada de ferramentas) é uma habilidade artificial, ensinada com dados sintéticos.

Ajuda saber antes: MCP, Tool calling, Janela de contexto, Progressive tool discovery

Production world model (modelo do mundo da produção). Um modelo do mundo da produção é como o mapa de metrô de uma cidade, que mostra quais estações se ligam a quais e permite seguir o caminho de um atraso até a estação onde ele começou.

1. Uma empresa grande roda centenas de sistemas que dependem uns dos outros. Quando um quebra, o defeito pode aparecer em outro, bem longe dali.
2. O modelo do mundo da produção é um mapa dessas dependências. Ele registra que o checkout chama o serviço de pagamento, que usa um banco de dados, que depende de um certificado.
3. Para montar o mapa, o agente lê logs (registros de eventos), métricas, traces (rastros de uma requisição entre serviços) e repositórios de código, e liga cada peça às outras.
4. Na Traversal, esse mapa fica no meio da pilha. Embaixo está a coleta dos dados sem estourar custo. Em cima está a entrega ao time, em alertas priorizados ou análises no Slack.
5. Com o mapa pronto, a causal search engine (motor de busca causal) percorre as ligações em vários saltos e chega à causa raiz em minutos. O mapa se atualiza sozinho, sem arquivos de documentação mantidos à mão.

Ajuda saber antes: Observability, Root cause analysis (RCA), Microsserviços, Grafo de dependências

Rephrasing (reescrita de documentos reais por um LLM). Rephrasing é como pedir a um professor que reescreva uma boa redação de aluno com outras palavras, mantendo as ideias originais.

1. Rephrasing (reescrita) é pedir a um modelo de linguagem que reescreva um texto existente de outra forma.
2. Quando você pede ao modelo um exemplo inventado do zero, ele tende a repetir os padrões mais comuns do que já aprendeu.
3. Usar um documento real como semente mantém a variedade de temas e estilos do conjunto original.
4. A DatologyAI escolhe os documentos de maior qualidade do cliente e pede ao LLM para reescrever ou reestruturar cada um.
5. Na prática, o pipeline junta um prompt a cada documento e distribui milhões desses pares por várias GPUs.

Ajuda saber antes: Dados sintéticos, LLM (modelo de linguagem), Prompt

Checkpointing (salvar o progresso para retomar após falha). Checkpointing é como salvar o videogame antes de cada fase difícil, para não voltar ao começo quando você perde.

1. Checkpointing é salvar o progresso de uma tarefa longa de tempos em tempos.
2. Se a máquina cai, a tarefa recomeça do último ponto salvo e não do início.
3. Em geração de dados sintéticos, uma GPU com defeito pode derrubar um job de oito horas nos últimos minutos.
4. A DatologyAI salva checkpoints periódicos no S3 e também diminuiu o tamanho de cada partição (pedaço) dos dados.
5. Com as duas medidas, uma falha custa poucos minutos e o retry automático termina o trabalho.

Ajuda saber antes: GPU, Partição de dados, Armazenamento em S3

Idempotência (repetir a operação sem mudar o resultado final). Idempotência é como apertar várias vezes o botão do elevador, que mesmo assim vem uma vez só.

1. Uma operação idempotente dá o mesmo resultado final se você fizer uma vez ou dez vezes.
2. Isso importa quando uma tarefa falha no meio e o sistema precisa tentar de novo sem saber o que já foi feito.
3. No pipeline da DatologyAI, cada checkpoint grava sempre no mesmo arquivo no S3 e substitui a versão anterior.
4. Assim, uma nova tentativa (retry) depois de uma falha não duplica dados nem deixa arquivos pela metade.
5. Idempotência, checkpoints e retentativa automática juntos permitem retomar um job longo sem intervenção manual.

Ajuda saber antes: Checkpointing, Retry automático, Armazenamento em S3

Bin packing (encaixar jobs nos recursos disponíveis). Bin packing é como arrumar o porta-malas antes de uma viagem, encaixando malas de tamanhos diferentes para caber tudo sem sobrar espaço vazio.

1. Bin packing (encaixe de caixas) é o problema de colocar itens de tamanhos diferentes no menor número de espaços possível.
2. Em computação, os itens são os jobs e os espaços são as máquinas com CPU e GPU livres.
3. Um job de geração com Ray precisa de CPU num cluster e de GPU em outro cluster ao mesmo tempo.
4. Se o agendador reserva só a CPU e a GPU está ocupada, o job trava e segura recursos que outros poderiam usar.
5. A DatologyAI criou pools dedicados por tipo de recurso e passou a reservar CPU e GPU juntas, de forma atômica (tudo ou nada).

Ajuda saber antes: Cluster de computadores, CPU e GPU, Agendador de jobs, Ray

Batch inference (inferência em lote, fora do uso em tempo real). Batch inference é como uma cozinha industrial que prepara mil marmitas de uma vez, em vez de cozinhar cada prato só quando o cliente pede.

1. Inferência é o momento em que um modelo já treinado recebe uma entrada e produz uma resposta.
2. No uso comum, como num chat, cada pedido chega sozinho e precisa de resposta rápida, o que se chama inferência online.
3. Batch inference (inferência em lote) processa uma pilha enorme de entradas de uma vez, sem ninguém esperando na tela.
4. O objetivo passa a ser vazão (throughput), ou seja, quantos tokens a GPU gera por hora.
5. A DatologyAI ajustou parâmetros do vLLM, como tamanho do lote e speculative decoding (decodificação especulativa), e ganhou cerca de 40% de vazão.

Ajuda saber antes: Inferência, GPU, vLLM, Token