Agentes que melhoram a si mesmos

Multi-armed bandit (bandit de múltiplos braços (teste A/B adaptativo)). Um multi-armed bandit é como um restaurante que coloca dois pratos novos no cardápio, passa a oferecer mais o que os clientes elogiam e continua servindo o outro de vez em quando para ter certeza.

1. Imagine uma fileira de máquinas caça-níqueis e você não sabe qual paga mais. Cada máquina é um braço, e cada puxada ensina algo sobre aquela máquina.
2. O desafio é dividir as tentativas entre explorar, testando máquinas pouco usadas, e aproveitar, jogando na que parece melhor até agora.
3. No agente, cada braço é uma versão da receita. Cada usuário real recebe uma versão, e o resultado dele conta como acerto ou falha daquela versão.
4. Um teste A/B comum divide os usuários meio a meio até o fim. O bandit desloca mais usuários para a versão que está ganhando enquanto o teste ainda roda, com métodos como Thompson sampling (amostragem de Thompson).
5. Quando uma versão vence com folga, ela vira a nova receita padrão. Assim menos usuários ficam expostos à versão pior durante o teste.

Ajuda saber antes: Teste A/B, Agent recipe, Eval

Policy surface (superfície de política editável). A superfície de política é como a parte da receita que o cozinheiro novo pode ajustar, o tempero e o tempo de forno, enquanto o fogão, os ingredientes e o júri do concurso ficam fixos.

1. Quando um sistema automático tenta melhorar um agente sozinho, ele precisa de limites claros sobre o que pode mudar.
2. Policy surface (superfície de política) é essa lista curta de regras editáveis. No talk, ela inclui escrita de memória, recuperação de memória, regras de confiança, atribuição de fonte e gatilhos de replanejamento.
3. O resto fica congelado. O harness (a estrutura que roda os testes), os cenários e as métricas ficam fora do alcance do loop de melhoria.
4. Congelar a avaliação impede que o loop trapaceie. Se pudesse mexer nas métricas, ele subiria a nota sem melhorar o agente de verdade.
5. Cada ajuste é pequeno, como marcar se um fato veio de primeira ou de segunda mão. Mesmo assim, ele muda o comportamento da vila inteira, e o placar decide se a mudança fica ou é desfeita.

Ajuda saber antes: Autoresearch, Balanced scorecard, Rollback, Prompt de sistema

Hiperparâmetro (ajuste de treino definido antes de treinar). Hiperparâmetro é como a temperatura do forno e o tempo de assar que você escolhe antes de pôr o bolo, enquanto o bolo cresce sozinho lá dentro.

1. Treinar um modelo de IA é deixar o computador aprender com exemplos. Antes de começar, alguém precisa escolher algumas regras de como esse aprendizado vai acontecer.
2. Essas regras escolhidas antes do treino se chamam hiperparâmetros. O modelo não aprende esses valores sozinho; a pessoa ou um agente define cada um.
3. Dois exemplos comuns são a learning rate (taxa de aprendizado), que diz o tamanho de cada passo de correção, e o batch size (tamanho do lote), que diz quantos exemplos o modelo vê de uma vez.
4. Para achar bons valores, a equipe roda vários treinos com combinações diferentes, compara uma métrica como a loss (erro do modelo) e guarda a melhor combinação.
5. No talk, o agente ARIA evita mudar a arquitetura do modelo, ajusta só hiperparâmetros e lança os treinos em GPUs. Nos resultados, ele percebe que o batch size pesa muito no desempenho.

Ajuda saber antes: Treinamento de modelo, Função de perda (loss), Arquitetura de modelo

Sim-to-real gap (distância entre simulação e mundo real). O sim-to-real gap é como a diferença entre treinar direção num simulador de autoescola e dirigir no trânsito de verdade, onde aparecem buracos, chuva e motoristas que o simulador nunca mostrou.

1. Antes de soltar um sistema no mundo real, a equipe costuma testá-lo num ambiente de mentira, mais barato e mais seguro.
2. O sim-to-real gap (distância entre simulação e mundo real) é a queda de desempenho que aparece quando o sistema sai do teste e encontra a situação real.
3. A queda acontece porque a simulação deixa de fora detalhes do mundo real, e o sistema aprende a ir bem só no cenário simplificado.
4. Com agentes de IA, o teste offline (fora do produto, com tarefas preparadas) faz o papel da simulação, e o uso por clientes faz o papel do mundo real.
5. No talk, a Weights & Biases reduz essa distância rodando o mesmo código nos dois lados, sincronizando a cada 4 horas e levando traces (registros passo a passo) de produção para dentro dos testes.

Ajuda saber antes: Eval, Trace, Ambiente de produção, Simulação

Reinforcement learning (aprendizado por reforço). Reinforcement learning é como ensinar um cachorro com petisco, em que ele tenta várias coisas e repete mais as que renderam recompensa.

1. Reinforcement learning (aprendizado por reforço) ensina por tentativa e erro, sem mostrar a resposta certa antes.
2. O modelo tenta a tarefa, e cada tentativa completa se chama rollout (execução completa da tarefa).
3. Ao fim de cada rollout, uma regra dá uma recompensa, como 1 para resposta correta e 0 para errada.
4. Um algoritmo como o GRPO usa essas recompensas para ajustar os pesos do modelo e favorecer o que deu certo.
5. Em tarefas longas ou caras, como agentes que rodam por horas, o método fica inviável porque exige centenas de milhares de rollouts.

Ajuda saber antes: Rollout, Pesos do modelo

GRPO (algoritmo de RL que transforma notas de várias execuções em ajuste de pesos). GRPO é como um técnico que vê o time cobrar vários pênaltis, compara cada chute com a média do grupo e só diz "mais disso" ou "menos disso", sem comentar o que aconteceu em cada cobrança.

1. O modelo recebe uma tarefa e tenta resolvê-la várias vezes seguidas, gerando um grupo de respostas diferentes.
2. Cada resposta ganha uma nota no final, em geral 0 (errou) ou 1 (acertou), dada por um verificador automático.
3. O GRPO (Group Relative Policy Optimization, otimização de política relativa ao grupo) compara cada nota com a média do grupo e marca quem ficou acima e quem ficou abaixo.
4. Essa comparação vira gradiente (direção de ajuste) e altera um pouco os pesos do modelo para repetir mais as respostas acima da média.
5. O raciocínio, as chamadas de ferramenta e as mensagens de erro ficam de fora, por isso o método precisa de milhares de rollouts para aprender algo.

Ajuda saber antes: Reinforcement learning, Rollout, Pesos do modelo, Gradiente

Otimização de prompt (ajuste automático do texto de instrução do modelo). Otimização de prompt é como revisar a receita escrita depois de provar o prato, anotando "menos sal" e "forno mais baixo" em vez de trocar o cozinheiro.

1. O prompt é o texto de instrução que o modelo lê antes de trabalhar, e mudar esse texto muda o comportamento.
2. Trocar uma palavra, como pedir resumo de 10 linhas em vez de 1, altera a saída mais do que milhares de pequenos ajustes nos pesos.
3. Na otimização de prompt, o sistema roda em alguns exemplos e guarda o rastro completo, com raciocínio, chamadas de ferramenta, erros e nota.
4. Outro LLM (modelo de linguagem) lê esse rastro, entende o que falhou e escreve uma versão melhor do prompt.
5. O GEPA repete esse ciclo e guarda os candidatos que vencem em pelo menos um exemplo, chegando a prompts que descrevem a tarefa em detalhe.

Ajuda saber antes: Prompt, Rollout, LLM

Recursive self-improvement (autoaperfeiçoamento recursivo). O autoaperfeiçoamento recursivo é como um aluno que escreve a própria apostila, estuda por ela e depois escreve uma apostila melhor, sem professor.

1. Hoje, pessoas fazem a pesquisa e treinam os modelos de IA.
2. No autoaperfeiçoamento recursivo (recursive self-improvement), modelos pesquisam e treinam novos modelos sem intervenção humana.
3. Se cada geração melhora a seguinte, o progresso pode acelerar sozinho.
4. Grandes laboratórios dizem que isso está perto, mas faltam testes independentes para medir.
5. A Prime Intellect usa o speedrun como teste aberto para medir se agentes já fazem pesquisa de IA.

Ajuda saber antes: Treino de modelos, Agente de IA, Benchmark

Optimizer (otimizador (ex.: Adam)). O otimizador é como o técnico que olha o resultado de cada treino do atleta e decide quanto e em que direção mudar a rotina.

1. Um modelo de IA aprende ajustando milhões de números internos, chamados pesos, até errar menos.
2. A cada passo de treino, o modelo mede o próprio erro, a perda (loss), e calcula em que direção cada peso deveria mudar.
3. O otimizador (optimizer) decide o tamanho e a direção de cada ajuste. Adam e Shampoo são exemplos conhecidos.
4. Um otimizador melhor chega à mesma perda em menos passos, e isso economiza tempo e GPU.
5. No Optimizer Speedrun, os agentes só podiam trocar o otimizador. Arquitetura e dados ficavam fixos.

Ajuda saber antes: Pesos do modelo, Função de perda (loss), Passo de treino

Speedrun (corrida para atingir uma perda-alvo). O speedrun é como uma prova de corrida com percurso fixo, em que todos seguem as mesmas regras e vence quem chega primeiro.

1. Um speedrun (corrida de velocidade) é um desafio com meta fixa e regras claras, e vence quem chega mais rápido.
2. Aqui a meta é treinar um modelo até a perda (loss) do GPT-2, sinal de desempenho equivalente.
3. No NanoGPT speedrun quase tudo pode mudar, e a comunidade levou o treino de 90 minutos para menos de 2.
4. No Optimizer Speedrun só o otimizador muda, vence quem chega à perda-alvo em menos passos e cada rodada leva de 15 a 20 minutos.
5. Um recorde só vale se passar um limiar estatístico. Esse resultado verificável serve de recompensa (reward) para avaliar e treinar modelos.

Ajuda saber antes: Função de perda (loss), Optimizer, GPT-2, Recompensa (reward)

Preemptible job (tarefa interrompível por quem tem prioridade). Uma tarefa interrompível é como usar a sala de reunião vazia até quem reservou chegar e pedir a sala de volta.

1. Em um cluster, um grupo de computadores com GPUs, várias pessoas disputam as mesmas máquinas.
2. Uma tarefa interrompível (preemptible job) roda nas máquinas ociosas com prioridade baixa.
3. Se alguém com prioridade precisa da máquina, o sistema cancela a tarefa na hora.
4. Os agentes enviavam treinos com o comando sbatch do gerenciador Slurm, sempre sob essa permissão.
5. Assim os agentes aproveitavam GPU livre sem atrapalhar a equipe, mas um treino podia ser cortado no meio.

Ajuda saber antes: Cluster de GPUs, Fila de tarefas, Prioridade de uso

AlphaEvolve (laço evolutivo de geração e avaliação de ideias). O AlphaEvolve é como um concurso de receitas em que vários cozinheiros propõem pratos, um jurado prova e só os melhores entram no cardápio do restaurante grande.

1. AlphaEvolve é um sistema do Google que busca soluções novas propondo muitas versões e guardando as melhores.
2. Na versão da Prime Intellect, vários modelos geradores, fechados e abertos, sugerem ideias de otimizador.
3. Cada ideia roda no speedrun, que devolve uma recompensa (reward) objetiva.
4. Um juiz, que pode ser um modelo ou uma pessoa, avalia se o método é bom e tem potencial.
5. As ideias aprovadas sobem de escala, com mais parâmetros e mais dados, para ver se continuam funcionando.

Ajuda saber antes: Speedrun, Recompensa (reward), Sistema multiagente, Algoritmo evolutivo

Autoresearch (pesquisa automática por loop de agente). O autoresearch é como um aluno que testa um ajuste na receita do bolo, prova o resultado e só guarda a mudança se o bolo ficou melhor.

1. Você define um objetivo claro, como deixar um trecho de código mais rápido sem errar a conta.
2. Autoresearch (pesquisa automática) coloca um agente de IA para propor uma mudança por vez.
3. Um teste automático mede se a mudança continua correta e se ficou mais rápida.
4. Se passou, a mudança fica; se piorou, ela volta atrás, e o ciclo se repete até atingir a meta.
5. O método funciona bem em GPU kernels porque correção e velocidade são fáceis de medir, mas a ideia grande ainda vem do humano.

Ajuda saber antes: Agente de IA, Benchmark, GPU kernel

GPU kernel (operador de baixo nível executado na GPU). Um GPU kernel é como uma receita curta que mil cozinheiros seguem ao mesmo tempo, cada um picando a sua parte dos legumes.

1. A GPU (placa de vídeo) é um chip com milhares de pequenos núcleos que trabalham juntos.
2. Um kernel (núcleo de código) é um programa pequeno que diz o que cada núcleo faz com o seu pedaço dos dados.
3. Exemplos comuns em IA são a multiplicação de matrizes e o cálculo de cada especialista de um modelo.
4. Na GPU da NVIDIA esse programa se chama CUDA kernel e roda milhões de vezes em paralelo.
5. Um kernel mais rápido acelera o modelo inteiro, e dá para medir se ele está correto e quanto tempo leva.

Ajuda saber antes: GPU, Multiplicação de matrizes, Processamento paralelo

Profiler (ferramenta que mostra onde o tempo é gasto). Um profiler é como o cronômetro que o técnico usa em cada trecho da corrida para ver em qual curva o atleta perde tempo.

1. Um programa lento tem partes que gastam muito tempo e partes que gastam pouco.
2. O profiler (medidor de desempenho) registra quanto tempo cada parte leva enquanto o programa roda.
3. Ele mostra se o gargalo está no cálculo, na memória ou no excesso de pequenas tarefas disparadas.
4. Na NVIDIA a ferramenta é o Nsight Systems, que desenha uma linha do tempo com cada kernel da GPU.
5. O humano lê esse gráfico, acha o desperdício e decide a ideia de melhoria que o agente vai ajustar.

Ajuda saber antes: GPU kernel, Bottleneck

CUDA graphs (recurso da NVIDIA que reduz o custo de lançar kernels). CUDA graphs é como entregar ao garçom o pedido da mesa inteira de uma vez, em vez de chamá-lo a cada prato.

1. Um modelo de IA dispara centenas de pequenas tarefas na GPU a cada passo.
2. Cada disparo tem um custo fixo de preparação, e somados eles viram atraso.
3. CUDA graphs (grafos CUDA) grava essa sequência de tarefas uma vez e depois a repete inteira com um só comando.
4. Isso corta o custo de disparo e deixa a GPU ocupada com trabalho útil.
5. Um agente pode desligar esse recurso para o seu kernel parecer mais rápido, e o modelo completo fica até 20 vezes mais lento.

Ajuda saber antes: GPU kernel, Bottleneck

MFU (uso máximo teórico da GPU). O MFU é como a lotação de um ônibus, que mostra quantos lugares estão ocupados em relação ao total que ele comporta.

1. Toda GPU tem um limite de contas que consegue fazer por segundo, informado pelo fabricante.
2. Na prática o modelo usa só uma parte desse limite, porque perde tempo esperando memória ou tarefas.
3. MFU (Model FLOPs Utilization, uso de operações do modelo) é a razão entre as contas feitas e o máximo teórico.
4. Cada kernel melhor aumenta essa razão, e os ganhos se somam.
5. Quando o MFU chega perto do teto do hardware, novos kernels trazem pouco ganho.

Ajuda saber antes: GPU, GPU kernel, FLOPs