Visão e documentos: o que o modelo realmente enxerga

Ortomosaico de drone (drone orthomosaic map (mapa montado com fotos aéreas)). Um ortomosaico de drone é como montar um quebra-cabeça com várias fotos tiradas de cima de uma mesa, até formar uma única imagem da mesa inteira vista de cima.

1. Um drone voa sobre o pasto e tira centenas de fotos, uma ao lado da outra, com uma parte de cada foto repetida na seguinte.
2. Um programa acha os pontos repetidos entre as fotos e costura todas elas numa única imagem grande da área.
3. O programa também corrige a inclinação da câmera e o relevo do terreno, para que cada ponto apareça como se fosse visto bem de cima. Essa correção se chama ortorretificação (orthorectification).
4. O resultado funciona como um mapa (orthomosaic map, ou mapa ortomosaico) com escala uniforme, em que dá para medir distâncias e áreas com precisão.
5. No pasto, esse mapa de alta resolução mostra onde o capim está alto ou baixo. O obstáculo citado no talk é que o voo exige piloto treinado e nenhuma jurisdição aprova drones autônomos para esse uso.

Ajuda saber antes: Fotografia aérea, Coordenadas GPS, Resolução de imagem

Agentic OCR (OCR agêntico com correção por token). Agentic OCR é como um revisor de prova que só troca a letra errada com caneta vermelha, sem reescrever a redação do aluno nem corrigir as contas dele.

1. Um programa lê a imagem de um documento e transforma em texto, mas às vezes confunde símbolos parecidos, como a letra O e o número zero.
2. Antes, uma equipe humana revisava esse texto e corrigia os erros. No Agentic OCR (OCR agêntico), um modelo de visão faz esse papel de revisor dentro do fluxo.
3. Primeiro, detectores pequenos marcam onde estão texto, tabela e letra de mão, e o VLM (modelo de linguagem com visão) lê as partes difíceis.
4. Depois, uma camada de verificação compara o texto com a imagem e aplica só correções pontuais por token (pedaço de texto), como ponto no lugar de vírgula.
5. Pedir ao modelo que reescreva tudo cria erros novos, porque ele tende a consertar o documento, por exemplo somando uma coluna e trocando um total que estava errado no original.

Ajuda saber antes: OCR, VLM, Token

Visual chain of thought (cadeia de raciocínio visual). Cadeia de raciocínio visual é como contar os carros vermelhos de um estacionamento marcando cada carro com o dedo na foto antes de dar o número.

1. Quando uma pergunta sobre uma imagem é difícil, uma pessoa marca, circula e risca partes da figura até chegar à resposta.
2. Chain of thought (cadeia de raciocínio) é quando o modelo escreve etapas intermediárias antes de responder, em vez de responder direto.
3. Os modelos de ponta atuais fazem essas etapas só em texto. Eles olham a imagem uma vez e passam a pensar em palavras.
4. Na versão visual, cada etapa acontece dentro da própria imagem. Para achar hotéis vermelhos, o modelo desenha caixas em todos os hotéis e depois fica só com os vermelhos.
5. Segundo Dai, isso reduz o erro de completar a cena de memória, porque o modelo passa a conferir cada item marcado na figura.

Ajuda saber antes: Chain of thought, Modelo multimodal, Visual reasoning

Synthetic data flywheel (ciclo de dados sintéticos). O ciclo de dados sintéticos é como um professor que cria exercícios, corrige as provas e usa os erros da turma para montar a próxima lista de exercícios.

1. Para aprender, um modelo precisa de muitos exemplos. Dai diz que exemplos de raciocínio visual quase não existem na internet.
2. Dados sintéticos são exemplos gerados por computador, em vez de coletados do mundo real. Por exemplo, imagens com perguntas e respostas criadas por um programa.
3. Flywheel (volante de inércia) é um ciclo que ganha velocidade a cada volta. Aqui, o modelo treinado ajuda a gerar e filtrar os próximos dados.
4. Na Elorian, agents (agentes) produzem exemplos, evals (avaliações) apontam onde o modelo erra, e o treino com SFT e RL corrige esses pontos.
5. A cada volta, o modelo melhor gera dados melhores, e os dados melhores treinam um modelo ainda melhor.

Ajuda saber antes: Dados de treino, Evals, SFT e RL

SFT e RL (ajuste fino supervisionado e aprendizado por reforço). SFT e RL são como aprender a cozinhar primeiro copiando receitas prontas e depois ajustando os pratos conforme a nota que os clientes dão.

1. Depois que um modelo aprende o básico, ele passa por treinos extras para ficar bom numa tarefa específica.
2. SFT, supervised fine-tuning (ajuste fino supervisionado), mostra ao modelo pares de pergunta e resposta certa. Ele aprende a imitar essas respostas.
3. RL, reinforcement learning (aprendizado por reforço), deixa o modelo tentar sozinho e dá uma nota para cada tentativa. As tentativas com nota alta ficam mais prováveis.
4. O SFT ensina o formato e o jeito de responder. O RL empurra o modelo a acertar mais, inclusive em casos que não estavam nos exemplos.
5. O RL funciona melhor quando existe um jeito automático de conferir a resposta, como contar itens numa imagem gerada ou rodar um simulador.

Ajuda saber antes: Pré-treinamento, Fine-tuning, Função de recompensa

Object detection (detecção de objetos). A detecção de objetos é como um fiscal de trânsito que olha a rua, aponta cada placa e cada carro e diz o nome de cada um.

1. A detecção de objetos (object detection) responde a duas perguntas sobre uma imagem. O que aparece nela e onde está.
2. Para cada objeto, o modelo desenha um retângulo em volta, chamado caixa delimitadora (bounding box), e dá um nome de classe, como placa ou assinatura.
3. Um detector pequeno, como o RF-DETR, aprende só as classes da sua tarefa a partir de imagens rotuladas.
4. Por ser pequeno e focado, ele roda de 30 a 40 quadros por segundo em hardware simples. Um VLM grande chamado a cada quadro não chega a esse tempo real.

Ajuda saber antes: Bounding box, VLM, Treino de modelo

LLM-as-a-judge (modelo que avalia a saída de outro modelo). Usar um modelo como juiz é como pedir a um colega de escritório que revise a planilha de outro antes de ela seguir para o chefe.

1. Um modelo de IA pode revisar o trabalho de outro modelo e dizer se está bom.
2. No LLM-as-a-judge (modelo como juiz), você entrega a saída de um modelo a outro, junto com critérios, e pede um veredito.
3. No talk, um VLM rotula imagens e dois VLMs menores julgam cada rótulo. Merve desenha a caixa sobre a imagem e pergunta ao juiz se ela corresponde à descrição do rótulo.
4. Ela pede aprova ou rejeita em vez de uma nota, porque notas numéricas funcionam mal, sobretudo com juízes de tamanhos diferentes.
5. Os prompts dos juízes são gerados pelo agente de código, mas um humano ainda precisa aprovar esses prompts antes de rodar.

Ajuda saber antes: VLM, Pseudo-labeling, Prompt

Acordo mínimo versus consenso (aceitar se ao menos um juiz aprovar, ou só se todos aprovarem). Acordo mínimo é como uma banca de dois professores em que basta um deles aprovar o trabalho, e consenso é como exigir a assinatura dos dois.

1. Quando dois avaliadores olham o mesmo item, alguém precisa decidir o que fazer quando eles discordam.
2. No acordo mínimo (minimum agreement), o item entra se pelo menos um avaliador aprovar. No consenso (consensus), o item só entra se todos aprovarem.
3. No pipeline da Merve, dois VLMs juízes olham cada rótulo gerado. Um deles, o LFM, rejeita muito mais que o outro.
4. Com consenso, o juiz mais rígido derrubaria quase tudo e sobrariam poucos exemplos para treinar. Com poucos exemplos, o detector generaliza mal.
5. Por isso ela usou acordo mínimo, que guarda mais dados e aceita mais erro. Com um conjunto grande, o consenso passa a ser uma opção, porque ainda sobram exemplos depois do filtro.

Ajuda saber antes: LLM-as-a-judge, Pseudo-labeling, Precisão e recall

mAP (precisão média em detecção, nota de qualidade do detector). O mAP é como a média geral do boletim de um aluno, que junta a nota de cada matéria e a nota de cada prova num número só.

1. O mAP (mean Average Precision, precisão média) é uma nota que diz quão bem um detector acha e localiza objetos numa imagem.
2. Para cada caixa prevista, o cálculo verifica se ela se sobrepõe o bastante à caixa verdadeira. Essa sobreposição se chama IoU (intersection over union, interseção sobre união).
3. Com isso o cálculo mede a precisão, quantas caixas previstas estavam certas, e o recall, quantos objetos reais o detector achou.
4. A precisão média resume essa troca entre precisão e recall para uma classe, como placa de pare. O mAP tira a média de todas as classes.
5. No talk, o detector treinado com rótulos gerados passou de 50 de mAP numa escala de 0 a 100, contra rótulos reais de um conjunto de teste.

Ajuda saber antes: Object detection, Bounding box, Precisão e recall

Image-guided detection (detecção guiada por imagem de exemplo). A detecção guiada por imagem é como mostrar a foto de uma peça ao balconista da loja de ferragens e pedir todas as iguais, em vez de tentar descrever a peça com palavras.

1. Às vezes fica difícil descrever em palavras o objeto que você quer achar numa foto.
2. Na detecção guiada por imagem (image-guided detection), você entrega ao modelo uma imagem de exemplo do objeto em vez de uma descrição em texto.
3. O modelo compara esse exemplo com as outras imagens e marca com caixas os objetos parecidos.
4. Merve cita isso como plano futuro para a indústria, onde há peças e defeitos sem nome claro, e a linguagem natural não serve bem como porta de entrada.

Ajuda saber antes: Object detection, VLM

Multi-agent system (sistema multiagente). Um sistema multiagente é como uma redação de jornal, com um editor que coordena, um repórter que apura o fato e um arquivista que busca matérias parecidas no acervo.

1. Em vez de um único programa fazer tudo, o trabalho é dividido entre vários ajudantes, cada um com uma tarefa.
2. Cada ajudante é um agente, um modelo de IA com ferramentas próprias que decide o que fazer dentro do seu papel.
3. No talk, o reviewer (revisor) orquestra, o perceiver (percebedor) quebra o vídeo em clipes e descreve cada um, e o retriever (recuperador) busca clipes e autores parecidos.
4. O reviewer junta tudo, analisa e pode pedir mais dados ao retriever antes de decidir.
5. O palestrante defende dividir só quando um único modelo não resolve, porque cada agente a mais traz custo e mais pontos de falha.

Ajuda saber antes: Agente de IA, VLM, Embeddings, Orquestração

Modality misalignment (desalinhamento de modalidades). Desalinhamento de modalidades é como um jogo de futebol na TV que de repente mostra meio segundo de propaganda política no meio do lance.

1. Um vídeo mistura vários tipos de informação, como imagem, áudio e texto na tela. Cada tipo é uma modalidade.
2. Modality misalignment (desalinhamento de modalidades) acontece quando uma parte do vídeo não combina com o resto ou com o que o vídeo promete.
3. Comparar imagem com texto já tem solução pronta, com modelos como o CLIP que medem a semelhança entre embeddings (vetores numéricos).
4. O caso difícil é achar um trecho curto fora do tema dentro do próprio vídeo, o que exige olhar clipe por clipe ao longo do tempo.
5. No exemplo do talk, o vídeo fala de esportes até os 6 segundos e vira política até 6,5 segundos. O reviewer acha isso lendo só os metadados de cada clipe.

Ajuda saber antes: Modalidade, Embeddings, Similaridade de cosseno

DPO (otimização direta de preferências). DPO é como um treinador que mostra ao atleta dois lances lado a lado, um bom e um ruim, e pede para ele repetir mais o primeiro e menos o segundo.

1. O modelo já funciona, mas erra em alguns casos. A ideia é corrigir esses erros mostrando exemplos de acerto e de erro.
2. Para cada caso, o time monta um par com uma resposta boa (positiva) e uma resposta ruim (negativa) para a mesma pergunta.
3. DPO (Direct Preference Optimization, otimização direta de preferências) ajusta o modelo para aumentar a chance da resposta boa e diminuir a chance da ruim.
4. O ajuste é comparado com uma cópia congelada do modelo original. Isso evita que ele mude demais e esqueça o que já sabia.
5. No talk, os pares vêm de falhas de produção achadas por um LLM juiz e por revisores humanos, e o retreino acontece em ciclo contínuo.

Ajuda saber antes: Fine-tuning, LLM as a judge, Human in the loop

Knowledge distillation (destilação de conhecimento). Destilação de conhecimento é como um chef experiente que ensina um cozinheiro novo a fazer só os pratos do cardápio da casa, sem passar por toda a gastronomia.

1. Existe um modelo grande que acerta bastante, mas custa caro para rodar em milhões de vídeos.
2. Knowledge distillation (destilação de conhecimento) treina um modelo menor, o aluno, para imitar as respostas do modelo grande, o professor.
3. O aluno aprende com as probabilidades que o professor dá a cada resposta. Esse sinal carrega mais informação do que um simples certo ou errado.
4. Na versão off-policy, o aluno imita respostas já geradas pelo professor. Na versão on-policy, o aluno gera as próprias respostas e o professor corrige.
5. O palestrante usa as duas versões porque só precisa do modelo bom no domínio dele, e aceita que o aluno não saiba programar, por exemplo.

Ajuda saber antes: VLM, Inferência, Fine-tuning

Quantization (quantização). Quantização é como arredondar os preços da lista de compras para o real mais próximo, o que deixa a conta mais rápida e quase não muda o total.

1. Um modelo de IA guarda bilhões de números. Cada número ocupa espaço na memória e tempo de cálculo.
2. Quantization (quantização) guarda esses números com menos precisão, usando menos bits por número.
3. Formatos comuns são bfloat16 (16 bits) e 4 bits. Menos bits significa modelo menor, mais rápido e mais barato de servir.
4. O arredondamento pode derrubar a qualidade, então o time testa cada formato e compara o desempenho.
5. No talk, o time monta uma tabela cruzando tamanhos de destilação e níveis de quantização para achar o ponto de equilíbrio entre acerto e custo.

Ajuda saber antes: Parâmetros de um modelo, Inferência, Knowledge distillation

State Space Model (SSM) (modelo de espaço de estados). Um SSM é como um aluno que lê um livro longo e anota só um resumo num caderninho, atualizando esse resumo a cada página em vez de reler tudo desde o começo.

1. Um modelo de linguagem lê o texto em pedaços pequenos chamados tokens (fichas), um depois do outro.
2. O SSM (State Space Model, modelo de espaço de estados) guarda um único estado, uma espécie de memória resumida do que já leu.
3. A cada novo token, o modelo mistura a informação nova com esse estado e produz um estado atualizado.
4. Como o tamanho do estado nunca muda, a memória fica constante e o custo cresce só em linha reta com o tamanho do texto.
5. O preço é uma memória com alguma perda de detalhe, e a Sarvam compensa isso lendo a página em blocos curtos.

Ajuda saber antes: Token, Transformer, Complexidade quadrática da atenção

Complexidade quadrática da atenção (custo que cresce com o quadrado do tamanho do texto). A complexidade quadrática é como uma festa em que cada convidado precisa cumprimentar todos os outros, e dobrar o número de convidados quadruplica o número de apertos de mão.

1. Quanto maior o texto que um modelo lê, mais trabalho ele tem para processar.
2. No transformer, o mecanismo de atenção (attention) faz cada token olhar para todos os outros tokens da sequência.
3. Com L tokens, isso gera L vezes L comparações, então o custo cresce com o quadrado do tamanho.
4. Uma página de documento pode virar de 5 a 10 mil tokens visuais, o que deixa a inferência (uso do modelo pronto) cara em processamento e memória.
5. Por isso a Sarvam trocou o transformer por um SSM, cujo custo cresce de forma linear.

Ajuda saber antes: Token, Transformer, Inferência

VLM (modelo de visão e linguagem). Um VLM é como um secretário que olha a foto de um recibo e já digita o que está escrito nele, juntando olhos e leitura no mesmo trabalho.

1. Um VLM (vision language model, modelo de visão e linguagem) recebe uma imagem e responde em texto.
2. Uma parte do modelo transforma a imagem em tokens visuais, pedaços que representam regiões da figura.
3. Esses tokens visuais entram no modelo de linguagem junto com o texto, e ele gera a resposta palavra por palavra.
4. O VLM da Sarvam tem 3 bilhões de parâmetros, cabe em uma GPU e usa um SSM no lugar do transformer como modelo de linguagem.
5. Ele lê a página bloco por bloco, guiado por um módulo que detecta o layout e outro que define a ordem de leitura.

Ajuda saber antes: Modelo de linguagem, Token, OCR

Currículo de treino (treino em etapas que se somam). Um currículo de treino é como a escola, onde a criança primeiro aprende a falar, depois a reconhecer letras, depois a ler textos e só no fim faz provas corrigidas.

1. Em vez de ensinar tudo de uma vez, o modelo aprende em etapas, e cada etapa se apoia na anterior.
2. Na etapa 1, o modelo lê só texto, 13 trilhões de tokens em inglês, línguas indianas, matemática e código, e ganha uma base forte de língua.
3. Na etapa 2, ele vê 300 milhões de pares de imagem e texto e aprende a interpretar pixels.
4. Na etapa 3, o ajuste supervisionado (supervised fine-tuning) usa 100 milhões de exemplos de OCR com tabelas, equações e escrita à mão.
5. Na etapa 4, o aprendizado por reforço (reinforcement learning) empurra o modelo além do limite que a etapa 3 alcança.

Ajuda saber antes: Pré-treino, Ajuste supervisionado, Aprendizado por reforço, VLM

RLVR (aprendizado por reforço com recompensas verificáveis). O RLVR é como um treino de tabuada com gabarito, em que o aluno responde várias vezes, o professor confere cada resposta na hora e elogia as tentativas melhores que a média da turma.

1. No aprendizado por reforço (reinforcement learning), o modelo tenta, recebe uma nota e passa a repetir mais o que deu nota alta.
2. O RLVR (reinforcement learning with verifiable rewards, aprendizado por reforço com recompensas verificáveis) usa notas que um programa calcula sozinho, sem um humano julgar.
3. Em OCR isso funciona bem, porque dá para medir a taxa de erro por caractere, conferir a estrutura de uma tabela ou checar regras de gramática.
4. O modelo gera um grupo de respostas para a mesma imagem, os testes dão nota a cada uma e o treino reforça as que ficam acima da média do grupo.
5. Como a nota sai de testes automáticos, o processo fica barato de repetir em escala.

Ajuda saber antes: Aprendizado por reforço, OCR, Taxa de erro por caractere

VLA (modelo de visão, linguagem e ação). Um VLA é como um garçom que ouve o pedido, olha a mesa e já estende a mão para pegar o prato certo, sem precisar que alguém traduza o pedido em movimentos.

1. Um VLM (modelo de visão e linguagem) recebe imagem e texto e responde em texto, como um chat que enxerga fotos.
2. Um VLA (vision-language-action, modelo de visão, linguagem e ação) usa a mesma base, mas responde também com ações.
3. Essas ações são comandos para um robô, como posição do braço ou abrir e fechar a garra, escritos como tokens de controle.
4. Para aprender, o VLA costuma usar dados de teleop (robô guiado por um humano), que custam caro, na ordem de US$ 100 por hora.
5. O palestrante diz que um VLA puro também melhora com mais dados, mas ganha menos do que um modelo que treina percepção, raciocínio e controle juntos.

Ajuda saber antes: VLM, Token, Teleop

World model (modelo de mundo que prevê vídeo futuro). Um world model é como o motorista que, antes de frear, já imagina onde o carro da frente vai estar daqui a dois segundos.

1. Um world model (modelo de mundo) é um programa que tenta prever o que vai acontecer em seguida numa cena.
2. Ele recebe imagens ou vídeo do momento atual e, às vezes, a ação que alguém vai fazer, como mover um braço robótico.
3. Com isso, ele gera os próximos quadros do vídeo, mostrando como a cena deve mudar depois daquela ação.
4. Para acertar a previsão, o modelo precisa aprender regras físicas, como gravidade, contato e objetos que ficam escondidos atrás de outros.
5. A variante chamada semantic world model (modelo de mundo semântico) pula o vídeo e guarda só uma representação interna útil para prever o futuro.

Ajuda saber antes: Token, Modelo multimodal, Previsão do próximo quadro

Early fusion (fusão precoce de modalidades). Early fusion é como uma cozinheira que mistura todos os ingredientes na mesma panela desde o início, em vez de cozinhar cada um separado e juntar só no prato.

1. Um modelo multimodal trabalha com vários tipos de dado ao mesmo tempo, como texto, imagem, vídeo e som.
2. Na late fusion (fusão tardia), cada tipo passa por um sistema próprio, e os resultados só se encontram no final.
3. Na early fusion (fusão precoce), todos os tipos viram tokens logo na entrada e seguem juntos pela mesma rede.
4. Assim, o modelo aprende relações entre palavras e pixels desde as primeiras camadas, e também pode responder em mais de um formato.
5. O ponto difícil é escolher como representar cada tipo de dado, porque vídeo gera muito mais tokens do que texto para a mesma informação.

Ajuda saber antes: Token, Modelo multimodal, Camadas de uma rede neural

Embodied reasoning (raciocínio espacial e físico). Embodied reasoning é como o chefe de cozinha que olha a bancada, entende onde está cada coisa e divide o preparo do café em etapas para o ajudante executar.

1. Embodied reasoning (raciocínio incorporado) é a capacidade de pensar sobre o mundo físico, como posição, distância e ordem das tarefas.
2. Um modelo com esse raciocínio responde perguntas como o que está à esquerda de quê, ou marca pontos exatos numa imagem.
3. Em robótica, um modelo de embodied reasoning pode agir como orquestrador, quebrando uma tarefa longa em subtarefas menores.
4. Cada subtarefa vai para uma política de controle, o modelo que de fato move o robô, e existe um espectro entre separar esses papéis ou juntá-los num só modelo.
5. O palestrante diz que dados da internet raramente descrevem esquerda, direita ou abaixo, e que por isso é preciso planejar esses dados desde o pré-treino.

Ajuda saber antes: VLM, VLA, Política de controle

Mixture of experts (mistura de especialistas com roteador). Mixture of experts é como a recepção de um hospital que olha cada paciente e manda só para o especialista certo, deixando os outros médicos livres.

1. Um modelo de IA grande gasta muito cálculo se toda parte dele processar toda informação que chega.
2. Na mixture of experts (mistura de especialistas), o modelo tem vários blocos menores, chamados experts, e cada um se especializa em um tipo de padrão.
3. Um router (roteador) olha cada token e decide quais experts vão trabalhar nele, e os outros ficam parados.
4. A versão da Perceptron, chamada data sparse mixture of experts, usa o roteador para decidir em cada camada que tokens processar e quais pular.
5. Sem regra fixa, o modelo aprende sozinho a gastar mais cálculo no que importa para a tarefa, como as frutas de uma foto quando o pedido é achar frutas.

Ajuda saber antes: Token, Camadas de uma rede neural, Janela de contexto