IA em finanças: gerar ficou fácil, verificar virou o trabalho

É uma abertura de conferência, então boa parte é pitch do próprio evento: curva de ingressos, convite para comprar cedo e busca de parceiros pagantes para summits. A pilha de loops é uma metáfora útil, mas ele não mostra caso real, métrica ou critério para decidir quando subir ou descer. A afirmação de que agentes estão generalizando para outras áreas não vem com evidência no vídeo. swyx organiza a conferência, o que cria interesse em valorizar o tema.

O caso do banco é hipotético e o próprio Gayle diz que não houve entrega nem garantia de aprovação. Não há dado de projeto real, taxa de sucesso ou comparação com outros métodos. A pontuação do checklist é uma heurística dele, sem validação. Ele também escreve um livro sobre forward deployed engineering, então tem interesse em valorizar esse papel.

É um framework de gestão, sem demo nem dado real. A própria descrição avisa que valores e exemplos são ilustrativos, não resultado de implantação concluída. Grant vende consultoria e conteúdo de liderança, então o pitch favorece a necessidade de governança. Faltam evidências de que o modelo reduz incidentes. O caso das horas liberadas (80 por semana) é uma conta hipotética.

Os números vêm de terceiros e a palestrante os apresenta com ressalvas, o que é honesto. Faros é telemetria observacional e não prova causa. O estudo da Meta aparece em uma frase, sem detalhes de método. O caso pessoal de 10 em 10 saídas é anedota sem amostra. O 55.8% de abertura vem de um teste estreito, um servidor JavaScript com 12 testes. A fonte do cartão e das notas fica em site externo, que o vídeo não mostra. O framework é útil, mas ainda não foi validado em diligências reais.

A conversa é um pitch conjunto. O entrevistador é cofundador da Rowspace e o convidado é cliente, então ninguém contesta o ganho. Os números (2 a 3 dias para minutos) são relatos sem método, sem medida de erro e sem comparação com outras ferramentas. A pergunta sobre ChatGPT e Claude recebe resposta genérica, sem teste comparativo. Também faltam dados sobre custo, falhas e como a validação é mantida quando as fontes mudam. O trecho final admite que a equipe confere os resultados todo dia.

A palestra é uma reflexão pessoal, sem estudo controlado. A prova central é a própria calculadora do autor e relatos de conhecidos que viram algo parecido, sem metodologia. Ele promove uma calculadora open source e um conjunto de termos próprios (mediana, build first reflex, orçamento de novidade). A frase de que 244 calculadoras não cobriam o custo de pesos abertos não traz critério de busca. Afirmações sobre o que modelos fazem com a mediana não têm dados.

O talk é pitch da Spranic, empresa fundada pelo palestrante em junho de 2026 e em colaboração com a Neo4j, fornecedora do banco de grafo. Não há métrica de acerto do reconhecimento de objetos nem teste além de dois exemplos. Os números de seguro são estatísticas de mercado, sem resultado do produto, e o palestrante admite não saber por que 70% dos prédios estão subsegurados. Seguradoras e prêmios menores são só propostas.

O talk vem da Jellyfish, que vende medição de custo por PR e termina com convite para demo. Os dados são observacionais e a própria descrição avisa que não provam que os tokens causaram o ganho. PRs integrados e linhas de código medem volume, não valor para o cliente. Reverts ficam dentro do ruído, então não provam qualidade. O ganho de 26% é de custo alocado, não de caixa economizado. A amostra de empresas e a metodologia do quintil não são detalhadas. O gráfico de PRs maiores aparece sem revisão de código nem tempo de revisão medidos.

A palestrante admite que o experimento foi único e sem controle, então os 58% não servem de evidência geral. Não há detalhe sobre o tamanho da tarefa, o modelo usado nem repetição das rodadas. A skill foi escrita por ela mesma, o que favorece o resultado. A tese de que acessibilidade custa menos soma argumentos de negócio e legais sem dados. A parte mais sólida é o raciocínio sobre elementos nativos. Ela também reconhece que testes manuais continuam necessários.

O talk também é pitch do Gitar, produto da Sonar, e Korlam o cita várias vezes. Os números (10x, 25% ao mês, 13% de PRs com falha) vêm da própria plataforma e de uma equipe pequena, sem metodologia nem comparação. A descrição do vídeo avisa que são exemplos, não garantias. A afirmação de que times com mais de 100 mil devs adotam auto-aprovação não traz fonte.

O talk apresenta o método do próprio autor e promove o write-up, o newsletter e as skills. Os três casos são escolhidos a dedo, sem grupo de comparação e sem taxa de erros que escapam depois da revisão. A estatística de 4 em 10 sessões descreve só as sessões dele, sem definição pública de 'erro relevante'. O custo em tokens aparece, mas o custo de falsos alarmes dos revisores não.

O exemplo da HarborBite é um proxy sintético, e a própria descrição avisa que não prova economia de milhões. Os números de 443 regressões e 2.463 melhorias vêm de um caso hipotético ("let's say"). Os 7% e os 18% são relatados sem tamanho de amostra nem detalhes do método. O palestrante vende a abordagem de uma empresa que opera o sistema, e admite que muitos experimentos de modelo menor não ficaram bons para liberar.

O talk é também um pitch da Coder, que vende workspaces isolados e governança de IA, e o palestrante cita o produto ao fim de vários controles. O caso do banco é de segunda mão e anônimo, como a própria descrição admite, então não há como verificar os detalhes. O incidente da Replit é público, mas Jiang afirma que o agente tinha só uma perna da trifecta sem mostrar evidência. Os números do Nx (4 horas, 2.300 credenciais) vêm sem fonte citada. Ele reconhece que nenhuma camada basta sozinha e que autorização não prova que a ação estava certa.

É relato de arquitetura interna sem código aberto nem dados de produção. As demos mostram registros nas tabelas, não um score de qualidade validado do sistema. A redução de 90% em tokens vem de uma consulta de listagem no Artifactory, sem comparação de qualidade das respostas antes e depois, e sem ROI medido. O filtro de PII é descrito como bloqueio acima de 90% de severidade, sem taxa de erro. O palestrante também promove o próprio livro sobre MCP no fim.

É um workshop de lançamento, dado por funcionários da Anthropic sobre um produto com três dias de vida. A comparação entre agente único e flow não mostra amostra, tarefa nem números, só que o flow acha mais e custa mais. Os palestrantes admitem que não sabem onde mais agentes deixam de ajudar. O sistema operacional de 85 horas ainda rodava, sem resultado verificado. O flow aceita só um nível de aninhamento.

Quase toda palestra é pitch do fornecedor. Sonar vende verificação, Ramp vende gestão de tokens, OpenAI vende ChatGPT para finanças, Compound, Kepler, Rowspace e Basis vendem agentes, e SF Compute e Compute Exchange vendem acesso a GPU. Os ganhos citados (36% de custo, 92% menos problemas, 90% menos tokens no otimizador) vêm de clientes ou demos próprios e não mostram método. O estudo da Jellyfish usa dados reais de muitas empresas, mas a empresa vende essa medição. Previsões para 2027 e os incidentes de segurança citados sem nome ficam sem fonte.

A EXL vende serviços de dados e IA, e o talk funciona como vitrine. Os US$ 65 milhões são captura de fraude anual projetada, sem economia realizada. O talk não diz quem é o cliente nem o tamanho da base. A explicabilidade se apoia em 200 casos por canal. O modelo por aresta, que é o que vai a produção, não tem taxa de verdadeiros positivos mostrada. Há só a expectativa da Nvidia de desempenho equivalente. O ganho com janela móvel e decaimento temporal é citado sem número.