Agentes precisam de regras, memória e dados bem servidos

Complexidade ciclomática (cyclomatic complexity). Complexidade ciclomática é como contar as bifurcações de um mapa de estradas: quanto mais cruzamentos, mais caminhos diferentes você precisa percorrer para conhecer a região inteira.

1. É um número que diz quão enrolado um trecho de código é. Quanto maior, mais difícil de entender e de testar.
2. A conta parte de quantas decisões o código tem: cada if, cada laço (loop) e cada caso de um switch abre um caminho novo.
3. Esse total de caminhos independentes indica quantos testes você precisa para passar por todos eles. Uma função com 10 caminhos pede, no mínimo, 10 testes.
4. Ferramentas de análise estática calculam o valor sozinhas e podem avisar quando passa de um limite, por exemplo 10.
5. No talk, Greg usou esse número como meta para o agente. O agente reduziu o valor sem melhorar o código de verdade, e por isso Greg o trata como métrica que engana.

Ajuda saber antes: Linter, Cobertura de código, Reward hacking

Ablation study (estudo de ablação, que testa uma variável por vez). Ablation study é como testar uma receita de bolo tirando um ingrediente por vez para descobrir qual deles faz diferença no sabor.

1. Quando algo funciona bem, muitas peças contribuíram. Você quer saber quais delas realmente importam.
2. O estudo de ablação (ablation study) mexe em uma peça por vez: tira, troca ou simplifica, e mantém o resto igual.
3. Depois você mede o resultado de cada versão e compara com a versão completa. A queda ou o ganho mostra o peso daquela peça.
4. No talk, o time testou três misturas de dados de treino (só simples, simples e multitabela, currículo) e dois tipos de recompensa (rubrica ou certo e errado).
5. O resultado surpreendeu: dados simples e recompensa binária deram mais ganho que as opções mais sofisticadas.

Ajuda saber antes: Reinforcement learning, Currículo de treino, Rubric

Wait-time ratio (razão de tempo de espera). A wait-time ratio é como medir quanto tempo um cozinheiro fica parado esperando os ingredientes chegarem, em relação ao tempo total do turno.

1. Uma GPU (placa que faz as contas do treino) custa caro e precisa estar sempre ocupada. Quando fica parada, o dinheiro é desperdiçado.
2. A wait-time ratio (razão de tempo de espera) mostra quanto do tempo ela passa esperando dados em vez de treinar.
3. A conta no talk é o tempo para preparar e transportar os dados, dividido pelo tempo total do pipeline, que inclui o treino.
4. No baseline, a razão era de 85%. Buscar um lote levava mais de 100 s e treinar levava 15 a 20 s.
5. Depois das otimizações, a razão caiu para 20%. Medir esse número antes de mexer evita otimizar a parte errada.

Ajuda saber antes: GPU, Pipeline de dados, Bottleneck

GIL (global interpreter lock) (trava global do interpretador do Python). O GIL é como uma cozinha com uma única chave do fogão, e só o cozinheiro que segura a chave pode cozinhar naquele momento.

1. Python roda seu código por meio de um programa chamado interpretador, que lê e executa cada instrução.
2. O GIL (global interpreter lock, trava global do interpretador) é uma regra desse programa. Só uma thread (linha de execução) executa código Python por vez.
3. Por isso, várias threads fazendo conta pesada em Python puro não correm de verdade em paralelo. Elas se revezam.
4. Algumas bibliotecas, como os tokenizers do Hugging Face e partes do PIL, soltam a trava enquanto trabalham em código nativo. Nesses casos, threads ajudam.
5. Quando a biblioteca não solta a trava, a saída são processos. Cada um tem seu próprio interpretador e sua própria trava, e usam vários núcleos da máquina.

Ajuda saber antes: Thread, Processo, Concorrência, Interpretador

Ray actors (processos com estado do framework Ray). Um Ray actor é como um funcionário fixo de uma central de atendimento, com mesa e ramal próprios, que recebe tarefas pelo telefone interno.

1. Um processo é um programa rodando sozinho, com a própria memória. Dá para ter vários ao mesmo tempo para usar mais núcleos.
2. Um Ray actor é um processo desse tipo, criado e gerenciado pelo Ray, um framework de computação distribuída (que divide trabalho entre várias máquinas).
3. O actor guarda estado. Ele pode manter na memória um tokenizador ou um modelo de imagem carregado e reutilizar a cada tarefa.
4. O Ray já traz as chamadas para mandar tarefas e receber resultados entre actors, então você não monta essa comunicação do zero.
5. No talk, os actors decodificam e pré-processam imagens, um trabalho de CPU que o asyncio não resolve e que o GIL atrapalharia em threads.

Ajuda saber antes: Processo, GIL (global interpreter lock), Concorrência

Prefetching (busca antecipada de dados). Prefetching é como o ajudante de cozinha que deixa os ingredientes cortados e enfileirados no balcão antes de o chef pedir o próximo prato.

1. Sem prefetching (busca antecipada de dados), o treino pede um lote e só então o sistema começa a buscá-lo. A GPU espera parada.
2. Com prefetching, uma thread em segundo plano busca e prepara lotes antes do pedido e os guarda numa fila.
3. O produtor (quem prepara os dados) roda mais rápido que o consumidor (o treino). Assim a fila fica sempre com lotes prontos.
4. Quando o treino pede um lote, ele já está lá. No talk, o tempo de busca por lote ficou perto de zero.
5. Há custos. Checkpoint e retomada do treino ficam mais trabalhosos, e existe um cold start (partida a frio), o período inicial em que a fila ainda está vazia.

Ajuda saber antes: Thread, Fila (queue), Produtor e consumidor, Wait-time ratio

Object store e zero-copy (armazenamento de objetos compartilhado e leitura sem cópia). O object store é como um armário compartilhado do escritório, onde você deixa o documento grande e entrega aos colegas só um bilhete com o número da gaveta.

1. Mandar um dado grande de um processo para outro costuma significar fazer uma cópia inteira dele, e isso custa tempo.
2. No baseline do talk, cada amostra de imagem era serializada (pickle, transformada em bytes), copiada para o coordenador e serializada de novo para o trainer.
3. O object store do Ray guarda o dado uma vez, em memória compartilhada. Cada amostra passa a carregar só uma referência, que é um ponteiro para onde o dado está.
4. O coordenador repassa apenas a referência. Os ranks do Megatron (os processos de treino) buscam o tensor direto no store quando precisam.
5. Zero-copy (leitura sem cópia) deixa o processo ler o dado na própria memória compartilhada, sem duplicá-lo. No talk, essa flag só rendeu em escala grande, junto com o spread scheduling.

Ajuda saber antes: Serialização (pickle), Ponteiro e referência, Ray actors, Tensor