Gerar código ficou fácil, o gargalo mudou de lugar

AI gateway (camada que governa chamadas a modelos). Um AI gateway é como a portaria de um prédio comercial, onde todo visitante se identifica, é registrado e só sobe ao andar permitido.

1. Empresas usam modelos de IA por meio de chamadas pela internet. Sem controle, cada time chama o modelo que quiser, do jeito que quiser.
2. O AI gateway (portal de entrada para IA) é um ponto único por onde passam todas as chamadas a modelos. Os aplicativos falam com ele, e ele fala com o modelo.
3. Nesse ponto, a empresa define regras: quem pode usar qual modelo, quanto pode gastar, quais dados podem sair e o que fica registrado.
4. Na WSO2, a palestrante explica que chamadas a modelos são APIs (interfaces de programação), mas exigem gestão diferente. Por isso a empresa pôs um gateway de IA dentro da plataforma de APIs que já tinha.

Ajuda saber antes: API, LLM, Token, Gerenciamento de APIs

Runtime binding (ligação de IDs entre frameworks em tempo de execução). Runtime binding é como a recepção de um prédio com vários andares, que guarda qual crachá de visitante corresponde a qual funcionário para cada pessoa achar o destino certo.

1. Cada ferramenta de agente numera suas conversas do seu jeito. Uma chama de thread ID, outra de conversation ID, outra de execution ID.
2. Quando dois agentes de ferramentas diferentes precisam conversar, nenhum entende o número do outro. Eles falam da mesma conversa com nomes distintos.
3. O runtime binding (ligação em tempo de execução) cria uma tabela que liga esses números. Ela diz que o thread X de um lado é o execution Y do outro.
4. Essa ligação acontece enquanto os agentes rodam, não na hora de programar. Assim, um agente novo entra na conversa sem ninguém reescrever código.
5. Luzin lista isso como uma das camadas que a rede de agentes precisa resolver para os frameworks interagirem.

Ajuda saber antes: Agente de IA, Framework de agentes, ID de conversa, Sistema distribuído

Rehydration (reidratação, retomada do estado de um agente após queda). Rehydration é como salvar o jogo antes de a luz acabar: ao voltar, você carrega o save e continua do mesmo ponto, sem recomeçar a fase.

1. Programas às vezes caem. O computador reinicia, o servidor falha, a máquina virtual some. O que estava na memória se perde.
2. Um agente que cai no meio de uma tarefa esquece o que fez e com quem falava. Sem proteção, o trabalho recomeça do zero.
3. Para evitar isso, o estado do agente fica guardado fora dele, em um armazenamento durável. Estado é o histórico da conversa e o ponto da tarefa.
4. Rehydration (reidratação) é ler esse estado guardado e entregar a um agente novo. Ele retoma de onde o anterior parou.
5. Luzin chama essa necessidade de continuidade. Agentes rodam em pods e containers Docker, que caem com frequência.

Ajuda saber antes: Estado de um agente, Container (Docker), Persistência de dados