Robôs no mundo real: dados, corpo e confiabilidade

End-to-end learning (aprendizado de ponta a ponta, do sensor à ação). Aprendizado de ponta a ponta é como um cozinheiro que aprende a fazer o prato só provando o resultado final, sem receita escrita nem etapas separadas que alguém possa conferir no meio.

1. Um sistema tradicional divide a tarefa em etapas separadas, como enxergar, planejar e agir, e pessoas escrevem regras para cada uma.
2. No end-to-end learning (aprendizado de ponta a ponta), um único modelo recebe o dado bruto do sensor, como a imagem da câmera, e devolve direto a ação, como para onde o drone vai.
3. O modelo aprende sozinho com muitos exemplos ou por reinforcement learning (aprendizado por reforço), em que ganha recompensa quando acerta e ajusta o próprio comportamento.
4. O problema em máquinas físicas é a observabilidade: quando algo dá errado, fica difícil saber em qual parte interna do modelo o erro nasceu.
5. Por isso a Skydio migra por partes, trocando primeiro os trechos cheios de regras escritas à mão, como a busca e resgate, por agentes com ferramentas de alto nível.

Ajuda saber antes: Rede neural, Aprendizado por reforço, Sistema modular, Observabilidade

World action model (modelo de mundo e ação). Um world action model é como as mãos de um cozinheiro experiente, que ajustam o corte a cada segundo prevendo como o alimento vai ceder, enquanto o chefe só decide qual prato sai agora.

1. Para fazer uma tarefa física, o robô precisa entender o que fazer e também mover braços e dedos com precisão. A Dyna separa esses dois trabalhos em duas partes do modelo.
2. A parte de cima é um modelo de raciocínio (reasoning model). Ela olha a cena, entende a tarefa e decide o próximo passo, como pegar o guardanapo de cima da pilha.
3. A parte de baixo é o world action model (modelo de mundo e ação). Ela recebe esse objetivo e gera os movimentos finos das mãos, muitas vezes por segundo.
4. Em geral, o nome junta duas ideias. Um world model (modelo de mundo) aprende a prever como as coisas mudam após um gesto, e o lado de ação transforma essa previsão em comandos para os motores.
5. A alta frequência importa porque um tecido muda de forma a cada toque. O robô corrige o gesto em frações de segundo, e o modelo de raciocínio seria lento demais para esse ajuste.

Ajuda saber antes: Foundation model de robótica, World model (modelo de mundo), Política de controle de robô

Zero-shot transfer (transferência sem treino adicional). Zero-shot transfer é como um motorista experiente que aluga um carro que nunca dirigiu, numa cidade que não conhece, e sai dirigindo bem sem nenhuma aula extra.

1. Zero-shot transfer (transferência sem treino adicional) quer dizer colocar um modelo numa situação nova e ele funcionar sem receber nenhum exemplo novo antes.
2. O caminho comum é outro. Um robô treinado numa sala costuma precisar de mais exemplos para funcionar em outra sala, com outro piso, outra luz e outros objetos.
3. No zero-shot, o modelo aprendeu padrões gerais durante o treino, com dados muito variados. Por isso ele reconhece o que importa mesmo num cenário que nunca viu.
4. No talk, Pathak mostra robôs de empresas e hardwares diferentes, todos controlados pelo mesmo cérebro da Skild AI, colocados em cenários novos e resistindo a empurrões sem treino extra.
5. O teste separa decorar de generalizar. Um modelo que só decorou os exemplos falha no primeiro cenário diferente, e um modelo que generaliza continua funcionando.

Ajuda saber antes: Generalização, Pre-training e post-training, Omni-bodied brain, Dados de treino variados

Action-conditioned world model (modelo de mundo condicionado a ações). Um modelo de mundo condicionado a ações é como um motorista experiente que, antes de virar o volante, já imagina onde o carro vai parar.

1. Pense em empurrar um copo na beira da mesa. Você prevê a queda sem precisar empurrar de verdade.
2. Um world model (modelo de mundo) faz isso para uma máquina. Ele guarda por dentro uma descrição resumida de como o mundo está agora, chamada estado.
3. A versão condicionada a ações recebe duas entradas, o estado atual e uma ação, e prevê qual novo estado vai surgir depois dessa ação.
4. Com essa previsão, o robô testa várias ações na cabeça e escolhe a melhor antes de agir. A ideia vem do reinforcement learning (aprendizado por reforço).
5. Manning critica geradores de vídeo como o Genie 3 porque eles preveem só a imagem. Sem objetos e regras por baixo, a previsão não serve de base para planejar.

Ajuda saber antes: World model, Reinforcement learning, Estado e ação, Planejamento

Neuro-simbólico (rede neural combinada com representação simbólica, como código). Um sistema neuro-simbólico é como uma reforma em que o arquiteto desenha a planta com medidas exatas e o decorador escolhe cores e texturas à vontade.

1. Uma máquina pode guardar conhecimento de dois jeitos. Um usa regras escritas que qualquer pessoa lê. O outro aprende padrões com exemplos, sem regras explícitas.
2. O jeito com regras escritas se chama simbólico, como código ou lógica. O jeito que aprende com exemplos se chama neural, feito com redes neurais.
3. Um sistema neuro-simbólico junta os dois. Na Moonlake, o código descreve os objetos que podem ser movidos, e um modelo de difusão (gerador de imagens) cria as texturas.
4. Um loop renderiza a cena, compara com a realidade, mede os desvios e revisa o código, no mesmo padrão de agentes de programação como o Claude Code.
5. Manning destaca que a parte simbólica fica fácil de ler, controlar, editar e manter por humanos, algo difícil de fazer numa rede neural pura.

Ajuda saber antes: Rede neural, Modelo de difusão, World model