Quando o usuário vira agente: interface, memória e infraestrutura

Cypher (linguagem de consulta do Neo4j). Cypher é como pedir ao bibliotecário um caminho desenhado num papel, do tipo "autor escreveu livro", e receber de volta todos os livros que se encaixam nesse desenho.

1. Para tirar informação de um banco de dados, você precisa fazer uma pergunta numa língua que ele entende. Cypher é a língua usada para conversar com o Neo4j, um banco de dados em grafo.
2. Num grafo, os dados ficam guardados como pontos (nós) ligados por setas (relações). Uma pergunta em Cypher descreve o desenho que você procura, como "pessoa atuou em filme".
3. O desenho vira texto com parênteses para os nós e setas para as relações. Por exemplo, MATCH (p:Pessoa)-[:ATUOU_EM]->(f:Filme) RETURN f busca todos os filmes ligados a uma pessoa pela relação ATUOU_EM.
4. Os comandos principais são MATCH (encontrar um padrão), CREATE (criar nós e relações) e RETURN (devolver o resultado). No talk, Jeremy usa um cypher-shell, um programa de linha de comando, para listar os expositores gravados no Neo4j que roda no Raspberry Pi.
5. Um agente de IA também pode escrever a query (consulta) em Cypher sozinho. Ele recebe a pergunta em linguagem comum, monta a consulta e envia ao banco por uma ferramenta como o MCP.

Ajuda saber antes: Banco de dados em grafo, Nós e relações, Neo4j

Drift (deriva dos dados ao longo do tempo). Drift é como um GPS com mapa antigo, que funcionou bem no começo mas erra mais a cada rua nova que a prefeitura abre.

1. Um modelo aprende com exemplos de uma época. O mundo continua mudando depois disso.
2. Drift (deriva) é a distância que cresce entre o que o modelo aprendeu e o que acontece hoje. As respostas pioram aos poucos, sem nenhum aviso.
3. No talk, o time usa fine-tuning (ajuste fino) no centro estável de um problema, como moderação de conteúdo, onde as correções humanas já pararam de mudar.
4. Esse centro também pode se mover. Novas regras, novos produtos ou novos casos fazem os humanos voltarem a corrigir o modelo.
5. Por isso o time monitora a taxa de correções humanas e a qualidade das respostas. Quando elas pioram, o time revisa os dados e treina o modelo de novo.

Ajuda saber antes: Fine-tuning, Dados de treino, Avaliação de modelos

Thought signatures (assinaturas de raciocínio). Thought signatures são como o caderno de passagem de turno de um plantão, e se o colega perde uma folha ele recomeça sem saber o que já foi pensado.

1. Antes de responder, alguns modelos pensam em etapas, como quem faz contas num rascunho.
2. O Gemini resume esse rascunho num código fechado, a thought signature (assinatura de raciocínio), que nenhuma pessoa consegue ler.
3. A cada resposta ou chamada de função, o modelo devolve essas assinaturas junto com o texto.
4. No turno seguinte, o programa precisa reenviar as assinaturas intactas. Um espaço a mais já pode quebrar o cache, e sem elas o desempenho do modelo cai.
5. Com a Interactions API, o servidor guarda as assinaturas. Você só devolve o interaction ID no campo previous_interaction_id.

Ajuda saber antes: Modelo de raciocínio, Janela de contexto, Cache de prompt, Interaction ID

Steps data model (modelo de dados em passos). O steps data model é como o extrato do banco, em que cada linha diz se foi depósito, saque ou tarifa, e você não precisa adivinhar o que aconteceu.

1. Quando você pede algo a um agente, ele faz várias coisas antes da resposta final.
2. Ele pode pensar, chamar ferramentas, consultar a internet e gerar texto, imagem ou áudio.
3. A API antiga juntava tudo num array (lista) de outputs, com objetos aninhados difíceis de ler.
4. O steps data model (modelo de dados em passos) registra cada etapa como um passo com tipo explícito, chamado discriminador. Os tipos incluem raciocínio, chamada de função e conteúdo.
5. O código só confere o tipo de cada passo e trata cada caso, o que facilita fluxos com ferramentas assíncronas e várias mídias.

Ajuda saber antes: Function calling, JSON, Thought signatures

Proxy man-in-the-middle (proxy intermediário que injeta credenciais). O proxy man-in-the-middle é como a portaria de um prédio que recebe a encomenda do estagiário e coloca a assinatura do chefe antes de entregar, sem que o estagiário veja a assinatura.

1. Um agente de IA às vezes precisa acessar serviços externos, como baixar um repositório privado do GitHub.
2. Para isso ele precisaria de um token, uma senha de acesso. Se o token fica com o agente, um ataque pode fazê-lo vazar a senha.
3. Um proxy (intermediário) fica no caminho entre o agente e a internet e vê toda chamada que sai.
4. Na técnica man-in-the-middle (homem no meio), o proxy lê o cabeçalho da chamada e insere o token ali, depois que ela sai do agente.
5. Mesmo sob prompt injection (instrução maliciosa escondida no texto), o modelo não tem o token para entregar. Ele ainda pode usar o acesso de forma indevida.

Ajuda saber antes: API, Token de acesso, Prompt injection, Sandbox

KV cache (cache de chaves e valores da atenção). O KV cache é como as anotações que um aluno faz na margem do livro para não precisar reler o capítulo inteiro toda vez que responde uma nova questão.

1. A IA escreve a resposta um token (pedaço de texto) por vez. Para escolher cada novo token, ela olha para todo o texto anterior.
2. Sem cache, o modelo refaria os cálculos de todo o texto anterior a cada novo token. Isso desperdiça tempo, porque o texto anterior não muda.
3. O KV cache (cache de chaves e valores) guarda o resultado desses cálculos para cada token já lido. No próximo passo, o modelo só consulta o que guardou.
4. No talk, a Nebius cita ganhos de 5 a 10 vezes em velocidade. O custo é memória, que cresce com o tamanho do prompt.
5. Como a memória da GPU é cara, a plataforma move o cache para a memória comum do servidor e o traz de volta quando o mesmo contexto aparece de novo.

Ajuda saber antes: Token, Mecanismo de atenção, GPU

Speculative decoding (decodificação especulativa). Speculative decoding é como um estagiário que escreve o rascunho de um e-mail e o chefe só lê e aprova, corrigindo apenas a primeira frase que estiver errada.

1. Um modelo de linguagem escreve a resposta um pedaço por vez. Cada pedaço se chama token (fragmento de palavra), e modelos grandes demoram para gerar cada um.
2. Speculative decoding (decodificação especulativa) coloca um modelo pequeno e rápido para chutar os próximos tokens, vários de uma vez.
3. O modelo grande confere todos esses chutes numa única passada. Conferir vários tokens juntos custa quase o mesmo que gerar um só.
4. O modelo grande aceita os chutes até o primeiro erro. No ponto do erro, ele coloca o token que ele mesmo escolheria e o ciclo recomeça dali.
5. A resposta final sai igual à que o modelo grande daria sozinho. O ganho de velocidade depende de quantos chutes o modelo pequeno acerta.

Ajuda saber antes: Token, Draft model, Inferência

Draft model (modelo rascunho). O draft model é como o auxiliar de cozinha que já deixa os pratos montados para o chef só conferir e finalizar.

1. Draft model (modelo rascunho) é um modelo de IA pequeno que trabalha junto com um modelo grande.
2. A função dele é adivinhar os próximos tokens (pedaços de texto) bem rápido, para o modelo grande apenas conferir.
3. Ele precisa usar o mesmo vocabulário de tokens do modelo grande. Assim os dois falam a mesma língua na hora da conferência.
4. Quanto mais o rascunho acerta, mais tempo o sistema economiza. No talk, um rascunho treinado com dados genéricos rendeu até 30% de ganho.
5. Treinar o rascunho com o tráfego real do cliente aumenta a taxa de acerto, porque ele aprende o estilo de pedido daquele uso específico.

Ajuda saber antes: Speculative decoding, Token, Fine-tuning

Prefill e decode (leitura do contexto e geração de tokens). Prefill e decode são como uma prova em que o aluno primeiro lê o enunciado inteiro de uma vez e depois escreve a resposta palavra por palavra.

1. Quando você manda uma pergunta para a IA, ela trabalha em duas etapas. Primeiro lê tudo o que você enviou e depois escreve a resposta.
2. A primeira etapa se chama prefill (pré-preenchimento). O modelo processa todos os tokens do prompt ao mesmo tempo, o que exige muito cálculo da GPU (placa de processamento).
3. A segunda etapa se chama decode (decodificação). O modelo gera um token por vez e, a cada passo, precisa reler muitos dados da memória. Aqui o gargalo é a memória.
4. Na mesma GPU, as duas etapas disputam recursos e uma atrasa a outra. Por isso a Nebius usa um grupo de GPUs só para prefill e outro só para decode.
5. O grupo de prefill entrega ao grupo de decode o KV cache, que guarda o que já foi calculado sobre o prompt. Assim o decode começa sem refazer a leitura.

Ajuda saber antes: Token, GPU, KV cache

NVFP4 (formato de ponto flutuante de 4 bits da NVIDIA). NVFP4 é como anotar as medidas de uma receita com números arredondados e escrever no topo de cada grupo de ingredientes a escala certa para voltar ao tamanho real.

1. Um modelo de IA é feito de bilhões de números. Guardar cada número com muita precisão ocupa memória e deixa o modelo lento.
2. NVFP4 é um formato da NVIDIA que guarda cada número em só 4 bits, em ponto flutuante (número com vírgula). Isso reduz bastante o espaço ocupado.
3. Com 4 bits sobram poucos valores possíveis. Para compensar, o formato agrupa os números em blocos pequenos e cada bloco ganha um fator de escala próprio.
4. Os chips mais novos da NVIDIA, da linha Blackwell, calculam direto nesse formato. O modelo roda mais rápido e cabe em menos memória.
5. A troca é perder um pouco de precisão. Por isso vale testar a qualidade do modelo depois de converter para NVFP4.

Ajuda saber antes: Quantization, GPU, Bit

Slurm (agendador de jobs para clusters de computação). O Slurm é como o controlador de uma quadra esportiva que recebe os pedidos de horário, organiza a fila e libera a quadra para cada time na sua vez.

1. Laboratórios têm muitas máquinas potentes e muitas pessoas querendo usá-las. Alguém precisa organizar quem usa o quê e quando.
2. O Slurm é um agendador de jobs (tarefas de computação). O pesquisador escreve um script, envia com o comando sbatch, e o job entra numa fila.
3. Quando há máquinas livres, o Slurm reserva os nós, inicia o job e acompanha até o fim.
4. Ele nasceu há mais de 20 anos para supercomputação e traz gang scheduling, noção da topologia da rede e scripts de checagem antes e depois do job.
5. As limitações apontadas no talk são partições estáticas, detecção e dreno de nós ruins por conta do operador, e pouca explicação sobre por que um job falhou.

Ajuda saber antes: Cluster de computação, Job, Fila de tarefas

Kubernetes (orquestrador de contêineres e serviços). O Kubernetes é como o gerente de um restaurante que garante sempre o número certo de cozinheiros nas bancadas e chama um substituto quando alguém sai.

1. Empresas rodam muitos programas ao mesmo tempo em muitas máquinas, e alguém precisa decidir onde cada um roda.
2. O Kubernetes é um orquestrador de contêineres (pacotes que levam o programa com tudo de que ele precisa). Você diz o que quer rodando, e ele distribui pelas máquinas.
3. Ele compara o tempo todo o estado desejado com o real. Se um programa cai, ele sobe outro sozinho, recurso chamado self-healing (autocura).
4. Também faz balanceamento de carga e autoscaling (ajuste automático de capacidade), e tem um ecossistema grande de extensões para rede, segurança e observabilidade.
5. No talk, o Slurm vira apenas mais uma carga dentro do Kubernetes. Assim treino e inferência dividem as mesmas GPUs e a mesma operação.

Ajuda saber antes: Contêiner, Nó de computação, Cluster de computação

Gang scheduling (agendamento em grupo: todos os nós do job iniciam juntos). Gang scheduling é como um time de remo que só sai da margem quando os oito remadores estão sentados no barco.

1. Um treino grande de IA usa vários computadores ao mesmo tempo, e cada um faz uma parte do trabalho.
2. Essas partes conversam o tempo todo. Se uma máquina começa e a outra ainda não chegou, a primeira fica parada esperando.
3. Gang scheduling (agendamento em grupo) resolve isso. O agendador só libera o job quando todos os nós pedidos estão livres, e então inicia todos juntos.
4. Sem isso, nós ficam reservados e ociosos à espera dos colegas, e dois jobs podem travar um ao outro segurando metade das máquinas cada um.
5. O Slurm traz esse recurso de fábrica, e por isso se encaixa bem em treinos com comunicação coletiva entre GPUs.

Ajuda saber antes: Nó de computação, Job de treino distribuído, Agendador de jobs

XID 79 (código de erro da NVIDIA para GPU que saiu do barramento e ficou inutilizável). XID 79 é como a luz do painel do carro avisando que o motor parou de vez, sem chance de seguir viagem.

1. Placas de vídeo da NVIDIA (GPUs) registram problemas usando códigos numéricos, chamados XID.
2. Cada número indica um tipo de falha. Alguns são leves, outros são graves.
3. O XID 79 significa que a GPU "caiu do barramento": o computador perdeu a conexão com ela e a placa ficou inutilizável.
4. Esse erro não se resolve sozinho. O job que usava a GPU para, e a máquina precisa de reinício ou troca.
5. Na Crusoe, o sistema AutoClusters vigia esse código e, ao vê-lo, dispara a troca automática do nó e a retomada do treino.

Ajuda saber antes: GPU, Nó de computação, Monitoramento

Cordon e drain de nó (isolar o nó e remover dele as cargas de trabalho). Cordon e drain é como fechar um caixa do supermercado com a plaquinha "caixa fechado" e atender os últimos clientes da fila antes de desligar.

1. Num cluster, cada máquina (nó) recebe tarefas para executar. Às vezes uma máquina precisa sair de serviço.
2. Cordon (isolar) é o primeiro passo. O Kubernetes marca o nó para não receber nenhuma tarefa nova.
3. Drain (drenar) vem em seguida. O Kubernetes retira as tarefas que ainda rodam no nó e as recoloca em outras máquinas.
4. Com o nó vazio, dá para removê-lo e colocar outro no lugar sem pegar nenhuma tarefa no meio do caminho.
5. Na Crusoe, o AutoClusters faz isso sozinho após um XID 79, mas antes confere se algum pod tem um rótulo que proíbe a troca automática.

Ajuda saber antes: Kubernetes, Nó de computação, Pod