Recomendação e revisão na era dos LLMs

Deep module (módulo profundo). Um módulo profundo é como um micro-ondas: você aperta um botão só, e toda a parte elétrica complicada fica escondida dentro da caixa.

1. Todo programa é dividido em partes. Cada parte tem uma porta de entrada, a interface, que diz o que você pode pedir a ela.
2. Um módulo profundo (deep module) tem uma interface pequena, com poucas funções, e muito trabalho escondido atrás dela. Um módulo raso tem muitas funções, e cada uma faz pouco.
3. A ideia vem de John Ousterhout, no livro A Philosophy of Software Design. Quem usa o módulo recebe muito valor com uma chamada simples, o que Pocock chama de alavancagem (leverage).
4. Quando o agente testa só pela interface pequena, o teste confere o resultado e ignora os detalhes internos. Assim ele quebra menos quando alguém reorganiza o código por dentro.
5. Por isso Pocock obriga o agente a testar pela interface e usa uma skill que aponta onde aprofundar módulos, juntando funções rasas e duplicadas num módulo só, fácil de testar.

Ajuda saber antes: Módulo e interface, Teste automatizado, Teste preso à estrutura do código

Aprendizado contrastivo de duas torres (Two-tower contrastive learning). Aprendizado contrastivo de duas torres é como dois tradutores de um mercado, um para os pedidos dos clientes e outro para as etiquetas dos produtos, que treinam juntos até cada pedido cair ao lado do produto certo.

1. O sistema transforma cada busca e cada produto em uma lista de números, chamada vetor (embedding, representação numérica). Vetores próximos indicam coisas parecidas.
2. Duas torres (two towers) são dois modelos separados. Uma torre lê a busca do cliente, a outra lê o produto, e as duas geram vetores no mesmo espaço.
3. O treino contrastivo (contrastive learning, aprendizado por comparação) mostra pares certos e errados. Ele aproxima a busca dos itens relevantes e afasta a busca dos irrelevantes.
4. No DoorDash, os rótulos de 0 a 2 gerados pelo LLM guiam uma perda em vários níveis (multi-level supervised contrastive loss). Assim, um substituto fica mais perto que um item sem relação e mais longe que o item exato.
5. Os vetores dos produtos são calculados antes, em lote. Em produção, o sistema só calcula o vetor da busca e procura os vizinhos mais próximos, o que mantém a resposta rápida e barata.

Ajuda saber antes: Embeddings, Similaridade entre vetores, LLM como rotulador, Relevância graduada

Hard negatives (Negativos difíceis). Hard negatives é como ensinar um aprendiz de cozinha a separar salsinha de coentro, porque separar salsinha de cenoura ele já sabe.

1. Para aprender, o modelo precisa ver exemplos errados, chamados negativos. Um negativo é um item que não serve para aquela busca.
2. Negativos fáceis, como ração de cachorro para quem busca macarrão, ensinam pouco. O modelo já acerta esses casos.
3. Hard negatives (negativos difíceis) são os itens que o modelo confunde. Por exemplo, um espaguete comum no alto da lista para quem pediu macarrão sem glúten, ou um item certo jogado lá para baixo.
4. No DoorDash, o primeiro estágio treina um modelo base. Esse modelo então garimpa (mining) os casos confusos, e esses itens recebem um novo rótulo.
5. O segundo estágio faz um treino em currículo (curriculum training) com esses exemplos. Depois dele, itens relevantes e moderadamente relevantes deixam de se sobrepor, e o NDCG de relevância subiu 2,3%.

Ajuda saber antes: Aprendizado contrastivo de duas torres, Relevância graduada, NDCG

Semantic ID (identificador semântico). Um semantic ID é como o código de localização de um livro na biblioteca, em que livros de assuntos parecidos recebem códigos parecidos e ficam na mesma estante.

1. O modelo de linguagem conhece palavras, mas não conhece cada música ou podcast do catálogo. Ele precisa de um nome curto para cada item.
2. O Spotify já tem um embedding (vetor de números que resume o conteúdo) para cada episódio ou faixa. Itens parecidos têm vetores próximos.
3. Um algoritmo de quantization (quantização, que arredonda valores contínuos para poucas opções) transforma cada vetor em uma sequência curta de códigos fixos.
4. Esses códigos viram tokens (pedaços que o modelo lê e escreve) especiais, adicionados ao vocabulário de um LLM aberto como o Qwen.
5. Depois do treino, o modelo recebe o histórico do usuário nesses códigos e responde com o código do item recomendado junto de uma explicação em texto.

Ajuda saber antes: Embedding, Token, Vocabulário de um LLM, Quantização

Domain grounding (ancoragem de domínio). O domain grounding é como um funcionário experiente que só decora o nome dos produtos novos da loja, sem mudar o jeito de atender o cliente.

1. Os tokens novos chegam ao modelo sem significado. O modelo precisa aprender o que cada um quer dizer.
2. Nesta etapa, o modelo treina em pares que ligam semantic ID a texto e texto a semantic ID, nos dois sentidos e em combinações.
3. O backbone (corpo principal do modelo, com seus pesos originais) fica congelado. Só os embeddings dos tokens novos mudam.
4. Assim, cada token novo passa a ocupar um lugar coerente no mesmo espaço onde o modelo já guarda o significado das palavras.
5. No talk, essa é a segunda etapa do NEO. Ela vem antes do ajuste por instruções, quando o modelo inteiro é descongelado.

Ajuda saber antes: Semantic ID, Embedding, Fine-tuning, Pesos de um modelo

Catastrophic forgetting (esquecimento catastrófico). O catastrophic forgetting é como um estudante que passa o mês só decorando fórmulas de química e volta sem conseguir escrever uma redação.

1. Quando você treina um modelo em um assunto novo, ele pode perder o que já sabia fazer bem.
2. Isso acontece porque o treino novo ajusta os mesmos pesos que guardavam as habilidades antigas, como gramática e conhecimento geral.
3. No teste do Spotify, o continued pre-training (pré-treino continuado em dados do domínio) levou a habilidade de linguagem do modelo para perto de zero.
4. Congelar o backbone e treinar só os tokens novos manteve a linguagem intacta. O time repetiu o resultado com Qwen e com Llama.

Ajuda saber antes: Pesos de um modelo, Fine-tuning, Pré-treino

Beam search (busca em feixe). O beam search é como planejar uma viagem guardando as três melhores rotas a cada cidade, em vez de seguir sempre a estrada que parece melhor na primeira placa.

1. O modelo gera a resposta um token por vez, e em cada passo existem muitas opções possíveis.
2. A escolha gulosa pega só a opção mais provável em cada passo e pode terminar em um caminho ruim no total.
3. O beam search mantém um número fixo de sequências candidatas, o feixe, e a cada passo estende todas e guarda as melhores.
4. No fim, ele entrega a sequência com a maior probabilidade somada. Isso custa mais tempo de resposta.
5. O Spotify comparou com top-p sampling (sorteio entre as opções mais prováveis) e viu queda clara de acerto, então aceitou a latência maior do beam search.

Ajuda saber antes: Token, Probabilidade do próximo token, Latência

Constrained decoding (decodificação restrita). O constrained decoding é como um cardápio de restaurante, em que o cliente escolhe à vontade, mas só entre os pratos que a cozinha sabe fazer.

1. Um modelo pode inventar um código que não corresponde a nenhum item real do catálogo.
2. O constrained decoding (decodificação restrita) bloqueia, a cada passo, os tokens que levariam a um código inexistente.
3. Para isso, o sistema consulta a lista de semantic IDs válidos e só deixa o modelo escolher continuações que existem nela.
4. No Spotify, o modelo acertou códigos válidos em 98% dos casos sem essa trava. A restrição adiciona um pouco de latência.
5. Ela ajuda quando você quer limitar o tipo de item, por exemplo recomendar só conteúdo novo para o usuário.

Ajuda saber antes: Semantic ID, Token, Beam search