Como funciona uma Fábrica de Software com agentes de IA na prática

Vídeo em Português, publicado pelo canal Rafael Quintanilha – QuantBrasil.

Sobre este conteúdo: O resumo, os principais pontos e os temas abaixo são gerados automaticamente a partir da transcrição do vídeo. Eles refletem o conteúdo, opiniões, afirmações e previsões apresentadas no vídeo e não representam posicionamento, validação ou verificação de fatos pelo IA Dots.

Resumo do vídeo

O vídeo discute o conceito de "fábrica de software" (software factory) e a evolução do desenvolvimento de software auxiliado por inteligência artificial, analisando uma apresentação de Zach Lloyd, fundador e CEO do Warp. São abordados temas como loops agênticos, automação na nuvem, governança, métricas de desempenho e a necessidade de intervenção humana em pontos específicos do processo.

Principais pontos

• O conceito de fábrica de software vai além da geração em massa de código, sendo apresentado como uma infraestrutura complexa e aberta para o desenvolvimento de software na nuvem.
• O desenvolvimento agêntico evoluiu de chats e autocompletes para o uso de prompts interativos e está avançando em direção ao desenvolvimento automatizado.
• Fábricas de software na nuvem oferecem vantagens de centralização, segurança e governança em comparação a agentes locais isolados.
• A engenharia de fábrica (factory engineering) permite medir e otimizar métricas como tempo, custo, assertividade e taxas de regressão nos loops de desenvolvimento.
• O processo de desenvolvimento automatizado mantém pontos críticos de decisão e revisão humana (human-in-the-loop) para ideias de produtos, especificações, revisões de código e validação final.

Temas

Fábrica de softwareDesenvolvimento agênticoInteligência artificialAutomaçãoNuvemEngenharia de promptsGovernança de IAMétricas de desenvolvimento

Transcrição do vídeo

Texto das legendas disponíveis; pode conter erros.

Quase batendo recordes de inteligência, cada vez mais processos que eram feitos por humano hoje são delegados às máquinas. Em alguns casos, o nível de automação é tão alto que deu origem ao termo software factory ou fábrica de software, que é justamente o tema do nosso vídeo de hoje. Eu quero discutir com você de forma sóbria e séria o que que é a fábrica de software, como que ela se diferencia, se é que alguma coisa muda. dos conceitos mais tradicionais de loop engineering e graph engineering, nós vamos discutir também o que impreterivelmente ainda precisa de humano no loop e responder a pergunta: será que a área de desenvolvimento de software está prestes a ser completamente automatizada? Pessoal, no vídeo de hoje eu quero trazer um assunto bem interessante, que é justamente o conceito de software factory. Eu confesso a vocês que a primeira vez que eu ouvi esse termo, eu entendi errado. Eu achei que era alguma coisa mais a nível de como você pode criar 50 landing pages diferentes em 2 minutos para seus clientes e vender de forma massificada. E na verdade não é isso, tá? Eh, a software factory ou o conceito da fábrica de software, ele é bem mais eh elaborado e sofisticado do que isso. E eu realmente acredito que muitas empresas podem se beneficiar disso. Eu sei que muita gente, né, olha para esses termos com certo sinismo, achando que tudo é hype, e eu não culpo vocês, mas eu peço que você fique comigo até o final desse vídeo, porque nós vamos fazer esse vídeo de um formato diferente, tá? Eu vou reagir, né? Eu vou ver junto com vocês aqui esse vídeo, né, do Zack Lloyd, que é fundador e CEO do Warp. Talvez vocês conheçam o Warp como um terminal, né, que vinha com algumas funcionalidades a, mas parece que eles deram uma bela pivotada e agora se denominam uma infraestrutura aberta para fábricas de software na nuvem, tá? Então, construído com o warp, fábricas como código, independente do modelo, independente do harness, com evolvs, né, forma de você medir, né, o resultado ali dos seus agentes, benchmark e também uma forma de você fazer um self improvement, né, do modelo e aprendendo sozinho. Tudo isso já build in, ou seja, dentro ali do warp. Meu objetivo nesse vídeo não é falar do warp necessariamente, mas do conceito por trás das fábricas de software, tá? E aí, claro, né, a gente tá vendo aqui alguém que está vendendo esse produto, falando desse conceito. Nós vamos discutir aqui de forma sóbria, como eu disse aqui na intro, né, o que que é verdade, o que que é rp, o que que talvez esteja só dourando a pílula, mas não tem novidade nenhuma. Mas eu já adianto para vocês que eu gostei bastante do que o Zack Lloyd disse, beleza? E agora eu quero ver isso junto com vocês. Antes da gente começar, porém, eu tenho dois pedidos para você. O primeiro pedido é que você curta esse vídeo, se você ainda não curtiu, e se inscreva nesse canal, claro, né? Aqui nós falamos de inteligência artificial voltada para desenvolvimento de software, criação de apps e engenharia de harness com seriedade. Então não deixa de curtir e se inscrever aqui no canal que nos ajuda bastante. O segundo pedido é o seguinte. Se você quiser aprender mais sobre HES Engineering em particular, que tem muito a ver com o vídeo que nós vamos assistir agora, eu convido você assistir o vídeo por aprender Hesin que eu vou deixar aqui para você assistir depois e também para conhecer o curso Hesim lá na minha plataforma aí. Eu vou falar mais disso ao longo do vídeo, mas se você tiver curiosidade já entra no programa aí com o link que tá na descrição e no comentário fixado, beleza? Bom, pessoal, vou deixar aqui um pouquinho acelerado, vou pausar pra gente poder comentar o que tiver de relevante. Vou pular algumas partes também para não ficar muito longo. Obviamente o vídeo completo eu vou deixar aqui na descrição do vídeo para você assistir também. Então aproveita, entra lá no canal do pessoal do do Warp e dá um like aqui no vídeo. Mas vamos para a apresentação aqui do Zach Lloyd. Hey, I'm Z. I'm the founder of Warp. Warp think about them. I cover Isso aqui é importante, tá pessoal? Ele disse, né? Eu quero cobrir o que é uma fábrica de software, na minha opinião. Então assim aqui pessoal muitos termos que estão surgindo nessa época da IA são termos que não t um um consenso, né, muito grande em torno deles, né? Muitas pessoas chamam de coisas diferentes a mesma coisa. A gente vai ver isso acontecendo um pouco aqui também. Não se desespere por causa disso. A gente tá numa área que ainda está em processo de maturação, então isso vai acontecer. Beleza? with real product which I'll show some of factories but I thinkory scratch que basicamente que eu quero fazer com vocês aqui, né? Então obviamente ele vai ilustrar o conceito de de fábrica de software com o warp, que é o produto dele, mas você não precisa necessariamente tá aqui atrelado ao warp, tá? Você pode criar a sua própria fábrica pelos princípios que nós vamos discutir nesse vídeo. I was a principal engineer Google. >> Então o cara que tem track record, né? Um cara que veio lá do Google, era líder do Google Docs, 20 anos de engenharia e founder do Warp. É, então a evolução aqui do desenvolvimento agêntico, né? Você poderia chamar da programação agêntica. Então a gente começou, né, com o chat, você ia lá no chat GPT, falava o que você queria, copiava, colava de volta. Aí começou a ter algo muito legal, o autocomplite, os modelos que autocompletavam enquanto você escrevia o código. Então você escreviam a parte, apertava tab, ele já completava um monte de coisa. Hoje em dia, então, nós estamos ali na fase do que ele cham do interactive prompting, que é você ir lá e enviando um prompt para o agente, o agente trabalha, você corrige e por aí vai. E ele está dizendo que em sequência nós chegamos ali na fase do desenvolvimento automático ou automatizado, tá? É bom, tem vários nomes para isso, né? a questão do looping engineing, do graph engineing, é alguma vertente disso aqui, mas é fato que nós estamos nessa fase aqui do interactive prompt, embora quem está trabalhando mais na fronteira já viu que você consegue chegar, não vou dizer num desenvolvimento mais automatizado, mas num desenvolvimento que necessite menos desse prompt interativo, ou seja, que você consiga talvez, né, estabelecer ali uma tarefa antes, né, por exemplo, fazendo um SDD. E aí eu deixo aqui também o convite para que você assista o meu vídeo porque aprender SDD. Vou deixar o link aqui. Então você vai lá, prepara a tarefa antes. Você não precisa se preocupar tanto com o prompt se esse for o caso. Ou você vai criar loops ali para trabalharem de forma mais autônoma, que vai ser algo mais próximo do que nós vemos ali no automated development, tá? Inclusive, se você quer conhecer mais sobre essa técnica, eu recomendo que você conheça o curso de programação agêntica, que também faz parte lá do nosso portfólio do programa Aí, e vai te ensinar a desenvolver apps, construir apps utilizando agentes de A, tá? Tanto programação agêntica quanto o HS Engineering se compõe com um curso de fundamentos da engenharia de A, no que eu chamei da trilha do engenheiro de A. Se você quiser conhecer mais sobre a trilha, repito o convite para que você veja no link que está na descrição e no comentário fixado. >> Então aqui ele tá diferenciando bem esse interactive prompt como algo que acontece mais local, né? to get to from talking to a lot of companies and also from how we're working more and more internally at warp is a world of much more automated development and the reasons for this just from a business perspective is like there's this magical new technology um it's really incredible and everyone wants to get the most out of it and we're all kind of learning together like what does that mean how do we deploy agents to get maximum business value to ship stuff that's really useful customers to make sure it's not slly and bad interessante ele e dizer isso, né? Ele até assumir isso. Olha, a tecnologia nova, tá todo mundo meio que tentando entender como que a gente usa ela da melhor forma, né? Então, é, tem a a mente aberta para esse tipo de coisa também, né? Às vezes eu vejo o pessoal nos comentários falando: "Ah, mas é óbvio que tem que fazer tal e tal coisa". Pessoal, tá todo mundo tentando descobrir de uma forma ou de outro que se adequa pro seu caso em particular, tá? E aí ele levanta então aqui os pontos principais de uso interativo e adoc, né? Ou seja, cada pessoa usa da sua forma quando quer. Não tem uma forma sistemática de otimizar custo e qualidade. Isso aqui é bem verdade em particular para empresas, né? Então você tem a IA, você pensa na IA como um recurso, né? Assim como você pensa em gasolina, combustível como um recurso. E você não consegue hoje otimizar de forma sistemática, ou seja, tirando ali e o julgamento talvez subjetivo de uma pessoa. Ó, para esse tipo de tarefa aqui, você vai nesse modelo mais rápido, mais barato. Aqui você precisa de um nível maior de inteligência. Isso mais sistemático e menos dependendo ali, né, do entendimento de cada um, né, tanto para custo quanto para qualidade. E o terceiro ponto, né, não tem um uma camada central para governança e controle, né, que em particular, né, de novo falando para empresas, né, questão de segurança, permissões e coisas do tipo nével agorac É isso. É verdade, né? Então, como que você vai otimizar algo coletivamente se você tá num time e cada um tá fazendo a sua própria forma? É bem difícil de você atingir uma uniformidade aí, né? >> Ele tem uma frase meio forte aqui, né, de que agentes locais são agentes inseguros. Everyone's setting up their own MCPs. If something gets compromised, it's compromised as the loged user. It's hard to govern them and you know the solution here is generally. Então assim, né? Claro, você tá ali trabalhando com um agente local, você precisa se conectar. Aquela conexão, ela ou vai ser feita via uma API ou ou off. De qualquer forma, o que acaba acontecendo é que dentro da sua máquina local, né, qualquer pessoa que tem acesso ali passa a ter acesso como você, né? Então você não tá ali numa sbx, você tem uma certa dificuldade de se blindar se alguma coisa acontecer ali com a sua máquina, né? Você não está rodando ali num ambiente seguro voltado para isso, porque na mesma máquina que você tá trabalhando, talvez você esteja fazendo outra coisa, talvez esteja vendo vídeo YouTube, enfim, tô falando que isso necessariamente é um perigo, mas tô dizendo que não é um ambiente único e exclusivo para desenvolvimento, né? Ali existem outras coisas acontecendo que nunca é ideal, principalmente se você tem agentes que são muito inteligentes e com acesso a ferramentas que podem comprometer ali, né, a sua empresa, comprometer o seu budget, seu orçamento, por aí vai, tá? E aqui então ele chega nesse gráfico muito interessante aqui, que é o gráfico central do vídeo de hoje, que eu acho que tem muita coisa pra gente aprender aqui. Então vamos deixar ele explicar aqui pra gente. Então aqui ele tá fazendo de novo a distinção cloud software factory, né? Então a fábrica de software na nuvem. Então você vai ver aqui que parte forte da tese do nosso amigo Z é que para você ter uma uma fábrica de software, isso tem que estar rodando na nuvem. Eu acredito, tá pessoal, que você consegue chegar em um nível muito interessante aqui, sem necessariamente ter que ir pra nuvem, embora, claro que existem vantagens de ir pra nuvem e às vezes ir pra nuvem pode ser só ter uma VPS rodando um serviço ali, tá? Não precisa ser necessariamente ali você pagar uma assinatura de um serviço caro, tá? Você pode só ter uma estrutura dedicada numa VPS, já seria, né, interessante. Mas vamos seguir aqui. >> Então tá. Então ele diz que é um identic. É um loop agêntico onde humanos e agentes colaboram e é executado na nuvem. Então aqui eu já acho que tem um primeiro ponto a ser destacado aqui, tá? Isso aqui, pessoal, é muito, muito, muito, muito similar ao que nós já falamos de loop engineering e de que eu realmente acho que é uma disciplina bem interessante, tá? Eu já fiz um vídeo sobre looping enging que eu vou deixar aqui para você assistir depois. Então aqui tá meio que pegando o looping de neuring e levando, né, para outro nível. >> Aí aqui ele vai justificar que você não pode ter automações no seu computador local, né, que de fato é verdade, né? Imagina você tá eh você desliga o seu computador e aí o sistema cai, né? Embora assim eh isso pode ser facilmente contornado, tá? Eu tenho várias automações e loops que eu rodo hoje no meu computador local que eu deixo meu computador sempre conectado. Então, dependendo do nível de criticalidade, digamos assim, do que você está querendo automatizar, você ainda consegue chegar bastante longe localmente. Eu entendo, repito, o apelo por fazer na nuvem para ter mais robustez no sistema, mas não deixe isso te afastar do conceito. Você ainda consegue fazer algo muito similar, se não igual a uma fábrica de software, rodando tudo num stack local, sim. Tá? factory engineering. Ótimo, né? Então, ele tá adicionando aqui que em vez de você fazer isso de uma forma e adoc, né, uma forma qualquer, você agora consegue medir o resultado desse seu loop. E aí por isso que dá origem ao termo ali de factory engineering, né? Engenharia de fábrica de software. É basicamente assim, e seria o loop engineering, né? é você otimizar cada etapa desse loop, porque agora você tá trabalhando no ambiente controlado que você consegue medir. Rafael, consigo medir o quê? Consigo medir o tempo, consigo medir o custo, consigo medir a assertividade, consigo medir a regressão, consigo medir diversas outras coisas. Então, a gente incorpora métricas nesse loop que podem ser otimizadas. Sempre que a gente tem números, nós temos métricas, quem é engenheiro sabe, a gente vai lá e otimiza aquelas métricas. Por que que o tempo de desenvolvimento tá longo? Ah, tá longo porque a gente tá usando um agente com reason muito alto que está tomando muitos steps. Vamos então, como tese, vamos reduzir o reasoning. Mas se eu só reduzir o reasoning e eu diminuir a qualidade, não adianta. Então vamos fazer o seguinte, o tempo tá longo, mas vamos medir a qualidade, né? Ou seja, a assertividade, um score, alguma coisa que nos possibilite metrificar isso, né? Algum proxy paraa qualidade. Vamos medir esse proxy de qualidade, vamos reduzir o reason e vamos ver se esse proxy de qualidade cai ou se mantém. Se eu reduzi o reasoning e a qualidade se manteve, beleza? Possivelmente eu diminuí o preço e aumentei a velocidade sem comprometer a qualidade. Então você cria sistemas que podem ser independentemente verificados e medidos e otimiza especificamente esses aspectos. Então tá, né? Então o entry point aqui da fábrica é justamente esse, uma nova ideia de produto ou bug é reportado. E é por isso também que eu sempre bato na tecla aqui, né, de que o engenheiro moderno tem que ter um olho no produto. Porque veja uma dica para você, tá? A gente vai falar aqui, se eu der um zoom out aqui, ó, no vídeo, vocês estão vendo que tem quatro entry points humanos, tá? Quatro entry points humanos. Primeiro, que que a gente vai falar é a ideia, né? O novo produto, o que implementar, a revisão da especificação, a revisão do código e a revisão do produto. Para você que quer trabalhar com software, construir apps nessa era da IA, preste bastante atenção em particular onde tem os humanop, onde que o humano entra, tá? Porque é aí justamente que você vai se distanciar. da máquina. E no caso da ideia de produto, o engenheiro tem que tá próximo do produto justamente para que ele possa ali fazer esse tipo de validação também, né? Então essas ideias do produto podem vir ali de conversar com o cliente, de fazer user interviews, pode vir também de um analytics, como um post da vida, ou claro, um bug sendo reportado. Então tem várias fontes que vão colocando ali ideias do que vai entrar na pipeline de desenvolvimento. >> Então beleza, né? Então agora existe uma triagem que acontece e aí essa triagem pode passar por um classificador, por exemplo, como é o JEV, que eu já trouxe aqui no canal também o vídeo, né, do porque que eu acho que o JEV não é hype, ou no geral decision models, né, modelos de decisão. Olha eles entrando aqui numa triage, né? Então pode entrar aqui os produtos e eu faço uma triagem. Será que isso aqui é mais relevante do que esse? Como que eu classifico a prioridade, né? Se eu executo esse ou não? ou se eu preciso de mais uma informação para colocar ele na esteira de desenvolvimento, isso aqui pode ser automatizado também. E na questão da especificação, nós vimos, né, na aula de SDD, como que você pode fazer isso, né, pessoal que tá lá no curso da programação agêntica já me viu falando extensivamente disso, utilizando inclusive skills de PRD e SDD, tudo isso também pode ser, né, gerado de forma automática. Por quê? Porque depois vai existir aqui a revisão que ele já vai falar. Beleza, né? Então você vai lá e revisa aquela especificação. Eu acho que essa etapa aqui é muito importante, tá? Principalmente a etapa do PRD, onde todo mundo se alinha antes mesmo da implementação. Depois que você está satisfeito, né, com a especificação, você, OK, é isso mesmo que eu quero fazer lá, né? Voltando no vídeo de SDD, eu chamo esse método de método pera, né? Planejar, executar, revisar e acelerar. Aqui a gente tá na fase do planejamento, né? você planeja da forma mais adequada para entrar aqui na fase da execução da implementação, onde tipicamente o agente vai fazer para você sem muitos problemas hoje em dia, né? >> Beleza? Então entra na parte do loop onde vem a verificação, né? Depois da execução você precisa verificar e aí você pode verificar isso de forma muito mais automatizada do que muita gente gostaria de admitir, que foi um tema de um vídeo que eu acabei de fazer do code review na era da IA. Esse vídeo eu acho que você deveria assistir. Eu vou deixar ele aqui também. Mas claro, você vai automatizar bastante coisa nessa verificação até colocar aquilo no ar, né? Computer use >> computer use verification que ele disse, né? Excelente. Hoje em dia, é muito bom você fazer keyway com computer use. >> Então você vai lá, coloca no CICD, chipa, né? Faz o deploy e faz um monitoramento, né? Ah, tá adequado, tá OK? tá funcionando. Então aqui você precisa ter um certo harness engineering para se conectar ali, né, no seu banco de dados, talvez para monitorar ali a performance do servidor para ver ali no analytics se está tudo como planejado. Então você precisa ter isso aí montadinho bonitinho para você poder verificar também, né? >> Eu gostei bastante disso que ele disse aqui, né? Esse loop aqui, dependendo do time, ele vai mudar um pouco, né? Então isso aqui não é escrito em pedra, pessoal, mas é um loop bem legítimo, né? É um loop bem legítimo aqui. E eu gostaria que vocês notassem, olha a quantidade de automação que tem, né? Então, por isso que eu sou bulletish no geral com a ideia de HS engineering, não só porque existem touch points aqui desse sistema com o que o humano precisa fazer, como existe, cara, ó, try, spec, implement verify shiping monitor tudo isso são etapas de automação que precisam ser automatizadas por alguém, que precisam ser mantidas por alguém, precisam ser mensuradas por alguém. Então, tudo isso ainda é muito trabalho que precisa ser feito. Não é dar um prompt e ir pra praia que o negócio vai funcionar. Você tem que criar uma infraestrutura que isso vai acelerar o seu desenvolvimento, mas tem todo um controle dessa infraestrutura que ainda precisa ser feito e otimizado. opinion. I also feel really strongly that the right way to view software factories is like as an infrastructure and that infrastructure should be like as flexible as like GCP or AWS or something like that and specifically like that infrastructure should be opening you should be able to any model any harness and use that beleza? Então aqui ele tá dizendo que você tem que construir a sua fábrica de uma forma que ela seja aberta e não dependente de um modelo e de um hard, tá? Isso aqui, sem dúvida, é interessante e é desejável, ok? Agora, isso não é necessariamente um requisito, tá, pessoal? Você pode construir numa infra de terceiros, como é o caso de você construir, sei lá, no managed agents, na plataforma do cloud, ou você usar ali, né, o agents API do Codex, você pode utilizar essas empresas como serviço. É claro que você vai est de certa forma se prendendo a elas, tá? Mas eh às vezes a gente num fã de tentar fazer tudo super otimizado, acaba ficando para trás e não desenvolvendo o que precisa, tá? Então eu concordo. Eu acho que se você conseguir utilizar qualquer tipo de harness, qualquer tipo de modelo, maravilha. Se você conseguir ter ali a sua factory portável, excelente. Mas não vamos, né, fingir aqui que se você conseguir fazer isso, por exemplo, no stack do cloud code com os melhores modelos que nós temos hoje em dia, que isso vai ser uma coisa ruim. É claro que você tá ali fazendo um compromise, né? Assim como quem entra na WS faz um compromise, quem entra no GCP faz um compromise, quem entra no Railway faz um compromise. Então isso faz parte da rotina de um engenheiro de software, tá? Mas eu concordo com ele. Se você conseguir, né, fazer tudo isso, ainda mantendo a sua fábrica aberta a não ficar preso a um provedor, aí excelente. Composable plugable adaptable. And then real software declare software. Então aqui tem uma decisão de arquitetura dele, né, que você deve ser capaz de construir sua fábrica de forma declarativa, né? Faz como se fosse um Terraform, né? O pessoal que tá acostumado a usar Terraform aí para fazer serviço lá na WS, né? levantar máquinas e tal, é quase como se você conseguisse declarar ali os seus agentes e as conexões, o que obviamente é algo muito interessante, mas repito, isso aqui é feito para escala, isso aqui é feito para ser genérico, ele tá vendendo esse produto, não se esqueçam disso, você pode fazer uma versão muito mais simplificada na sua empresa, no seu time, que ainda vai se beneficiar, tá? Eu gosto dessa ideia de ser versionado. Inclusive os managed agents lá do cloud são versionados. Isso é legal. Let agent self-improve on a factory. This is like the key thing. It's got to be a real declarative system. I also think AI sovereignty really matters. And what I mean by this is like if you're building one of these factories, you should really be trying to keep all the data that is going through it on your own systems. É sempre muito interessante. Eu concordo também, né? Você ter os seus dados. Então aqui de novo ele advoga para você proteger seus dados. Tem o seu comput, sua provedor de inferência, qualquer modelo, qualquer R, né? Claro que tudo isso é legal, né, pessoal? Ah, quero ter o meu compil. Pô, óbvio que isso é muito melhor, né? Mas existe a realidade prática também. Eh, eu entendo isso aqui como um ideal, talvez para ser alcançado. Não vai ser a realidade para ma par das pessoas, né? De novo, ele tem e interesse nisso, né? Again, if you look at Twitter, which I do too much, uh, on any given day, you might have the sense that there's, you know, a new best harness, a new best model, you know, it's hard to tell who has a conflict of interest when they talking about things. The solution here is to just get a system in place where you can measure on your own workfows how coding agents are doing. Isso é muito legal, né, de fato, né, a gente sabe que toda hora tá surgindo uma coisa nova. Eu mesmo veio aqui no canal para falar, para apresentar para vocês, né, para que você pegue aquilo e veja se se encaixa, né, no seu workflow. Eu não tô quando eu venho aqui e faço um review de um Honor de um modelo, necessariamente preconizando que você utilize-os, né? Eu estou ali analisando e aí para algumas pessoas vai fazer sentido, para outras não. E alguns casos modelos são muito bons. O Hannes tem uma atualização muito boa que ganha mercado e outros casos eles começam a perder mercado e a gente discute isso aqui no canal, né? Inclusive, repito o convite para você se inscrever, se você ainda não se inscreveu, mas é evidente que o máximo que você conseguir medir aqui, melhor. Inclusive, muitas empresas já têm seus próprios benchmarks internos, claro, né? Porque em vez de você ficar analisando um benchmark genérico, que une um monte de coisa que talvez não seja o relevante para você, você analisa o benchmark daquilo que tipicamente vai fazer parte do ciclo de desenvolvimento do seu time, tá? Então, ter isso em house, eu acho muito, muito legal. And that means having LMU EVs on all your coding agent sessions, being able to use EV drive a self-improvement loop. >> Então a gente tem essas avaliações com LLM as adjudado ali do deepsek, onde eu coloco o OP 5.5 para julgar a implementação do deepsic, do highqu, do Minimx M3.1 e do Gemn 4 Argumon. E aí, à medida que você tem essas notas sendo também geradas de forma automática, você consegue colocar isso num loop de self improvement, né, onde o próprio, né, ambiente ali vai entendendo onde que as notas estão sendo maiores, vão começar a favorecer aquelas notas. Então, isso é algo que você consegue construir também. actually prove to yourself that um you have the right setup from a like what does this all mean for engineers standpoint? I think this matters a lot. The way that I conceive of this is like there is going to be two kinds of engineering going forward. This is like you are building something for some customer user. Então era justamente aquilo que eu tinha falado, né? a gente tem o producter, o engenheiro de produto, aquela pessoa que tá trabalhando próximo do produto e tá, né, gerando ali as especificações, tá garantindo que aquilo ali tá funcionando, tal, está talvez ali validando o resultado, cada vez mais isso sendo relevante na nossa área. E o factory engineer é o cara que tá ajeitando ali, né, o sistema para que o sistema funcione dessa forma automática e bonitinha. Beleza? Então ele tá dizendo, né, o o product ele acontece dentro da fábrica, né, e aí tem as pessoas que vão ser responsáveis pela construção da fábrica e tem os touch points, onde os humanos vão entrar nesse loop, né? factory performance. >> Então, por exemplo, qual o skill que eu coloco para otimizar esse determinado trabalho? Qual modelo eu utilizo com qual nível de reasoning? Aquele exemplo que a gente falou, será que se eu reduzir aqui o modelo o reasoning, eu consigo aumentar a velocidade sem comprometer a qualidade? E como que eu sei se eu comprometi a qualidade ou não? A gente volta naquele slide anterior, onde ele mostra ali o benchmark, por exemplo, o score. Então, tudo isso é muito interessante, né? Você vai ali tunando o sistema para que as suas métricas sejam otimizadas. Beleza? E agora no vídeo ele faz um demo do warp, né? Eu não vou mostrar tudo aqui que senão ia ficar muito grande. Você depois que tiver interesse assiste o vídeo todo, né? Ele tem aqui uma opinião de que você deve ser capaz de despachar via slack. Eu confesso que eu ainda tenho mixed feelings em relação a isso, tá? Eu não acho que o Slack seja a melhor interface para o engenheiro trabalhar, embora eu consiga entender o apelo de do SLEX ser interessante para outras pessoas de uma empresa trabalhar, né, principalmente quem não é técnico. Mas eu, enquanto uma pessoa técnica, é, eu tenho dificuldade de trabalhar do ficar gerando meus agentes dali, né? Isso aqui é algo que eu não gosto muito. Mas uma coisa que eu gosto é isso aqui, ó. capacidade de você despachar o trabalho de múltiplas frentes, né, múltiplas. Então, por exemplo, aqui ele tá mostrando lá no warp como são as runs, né? Então, é a execução de um determinado agente. Então, ó, teve uma run que foi disparada do SL, gerou esse PR. Teve aqui uma run que é agendada, então ela semanalmente é disparada, é uma que executa aqui em um intervalo, por exemplo, né? Então, esse weekly aqui, ó, primeiro ele vê ali algo que foi feito merge em na terça e na quinta, né? Então isso aqui roda toda terça e quinta, mas tem um intervalo aqui que eu imagino que deva ser a cada tantos minutos vê alguma menção e faz alguma coisa. Aí teve aqui um trabalho que foi disparado do Liner, tá vendo? Isso aqui me interessa bastante. Alguém despachou o trabalho através do MCP da fábrica. Isso aqui é legal. Isso aqui eu gostaria, né? Que é você conseguir ter ali os seus agentes nesse ambiente fechado, nesse loop fechado, só que sendo capazes de serem despachados na sua interface favorita. Aí você pode despachar, por exemplo, de um Grockbot, aí você despacha, né, do seu tablet, do seu celular, você despacha ali do cloud Code, do Codex. Você tá ali trabalhando onde você se sente mais confortável, tem ali um touch point com seu loop e é capaz de despachar. Isso aqui eu gosto bastante, tá? Outra coisa que eu vi aqui, ó, é despachado a parte de orquestração. Então, imagino que isso seja um outro agente despachando outro também. Bem legal. Ó, uma pessoa aqui que despachou pela web, né? Então você possivelmente tem que ter uma interface web ali, tipo um chatgpt.com, cloud.ai que você entra lá e trabalha. Então isso aqui naturalmente já é um pouco mais avançado. Isso já requer que você tenha os seus agentes rodando na nuvem, né? Porque você precisa que várias interfaces triguem isso. E o legal é que você, né, de qualquer lugar, de qualquer computador, de qualquer dispositivo, você consegue ter ali acesso e gerência da fábrica, né, do seu ambiente de desenvolvimento, já que é tudo na nuvem. Então, de fato, isso é muito legal, né? Eu tenho que dar o braço ao Torceu o que ele disse que a fábrica de software na nuvem ela é muito mais poderosa. Isso aí, sem dúvida nenhuma. across all the factories that you're working on. Think of this almost like Google Docs but for your team's coding agents. Um and so like I can see Ben on our team is working on this at diagnostics and cloud agent runs. I can go in here and see it. I can go back and see the original slack thread where this happened. The cool thing is that it's all centraled. So when you central it, not only do you get this real view and tracking all of the things. Então é centralizado, você já tem governança, você consegue ver quanto cada run custou financeiramente, modelos que estão fazendo mais ou menos sentido, tudo começa a ser mais metrificado, né? Não é aquele adoc interactive prompt que ele tava dizendo, né? >> Então tá aqui, ó, a ideia do factory engineering, né? Você tem aqui as métricas que você consegue otimizar. Então, ó, interações por por request, né? Então 21 interações. Isso aqui eu imagino que seja ali conversa, né? Prompt indo e vindo até o público vai ser criado. Mediana de algumas métricas interessantes. Ó, kickof até o merge 15 horas. Kickof até o PR 44 minutos. Aí isso aqui já mostra para vocês, ó, como é fácil gerar código e como é difícil você fazer o merge, né? Porque olha o tempo que tem alguém validando aqui, né? até o primeiro PR você gera aqui em poucos minutos até alguém validar e aquilo ali está pronto para ser mergeado. Então f de 15 horas, né? Então de novo aqui é a etapa do humanop muito presente PR até o primeiro humano precisar revisar 2.6 horas. Isso aqui é bem legal. E aí o tempo depois que o primeiro humano faz o review até o merge, nós temos aqui 27 minutos, né? Então isso aqui é bem interessante também. Você consegue ver ali quantos por request estão sendo abertos e aí você consegue metrificar. Será que eu estou aumentando? a quantidade de trabalho sendo feita e aqui eh total runs também, né? Total número de agentes sendo executados. Então, esses números aqui são muito legais, né? Para quem trabalha numa posição de gestão, como eu faço há muito tempo, eu sempre tive que ficar de olho nesses números aqui, só que esses números não eram gerados por gente, esses números eram gerados por humanos, tá? Então esses números aqui não são novidades. Qualquer um que trabalha com management, né, lidera um time deia, fica de olho, né, em quanto tempo demora para um P request ser criado, quanto tempo demora na etapa de Qway, quanto tempo demora, né, para ele ser mergiado? Qual é a taxa de regressão, qual é a velocity de uma determinada sprint? Todos esses são números que a gente tem que estar sempre de olho para otimizar. Aí adiantando aqui um pouco mais pro final do vídeo, onde ele tá falando de benchmark, você consegue gerar a sua própria curva de Pareto, né? A gente fala bastante disso aqui no canal, trazendo lá do artificial análisis. Aqui ele tá medindo a correctness, ou seja, quantos quanto o modelo acertou, é plotado contra o preço médio, né? E aí você consegue ver, olha aqui, no caso, nesse exemplo que ele mostrou, né? São modelos de versões anteriores aqui, né? Gente, não tem, já estamos no GM 3.8 e no Argon Grock 4.7, GPT 6.1 e Cloud OP 5. Mas para esse conjunto de modelos aqui, o GLM 5.3 possivelmente é muito interessante porque ele custa bem menos do que o quem teve a melhor nota e teve uma perda não tão grande, né? Então é, você pode para as tarefas do seu dia a dia, porque como agora isso é isso é centralizado, você consegue medir, então você consegue chegar com esse score e fazer a medição. E aí uma vez que você tem essa possibilidade de fazer esse eol, você consegue aplicar essa escolha, né? Seja automática. Então, quando uma tarefa for despachada, você vê, hum, essa tarefa é desse tipo e aí olha um classificador, por exemplo, te ajudando aqui. Essa tarefa é desse tipo. Talvez vha a pena usar esse modelo nesse harness, porque aqui foi onde eu notei que tem o melhor custob benefício, né, para esse tipo de tarefa. Então é muito legal o que você consegue fazer com esses números. Beleza, pessoal? Então, pulei aqui pra conclusão do vídeo. Então ele tá dizendo que ele gosta de pensar na fábrica como um stack, né, como uma pirâmide. E aí vamos começar aqui cada camada, né, lá na base tem a ideia da factor as a code, então aquela ideia do terraform, né? Então tem aqui umel onde você define a fábrica, define os agentes, define quais são os repositórios que ele tem acesso, etc., né? And that unlocks just to remind you a way of like versioning, testing, rolling back all of the configuration about how your factories work, which really means like how software development, development works at your company. The second piece above that is a data in context layer. So this is like you should be thinking about what's all the data that's coming into the factory and that's coming in like MCPs could be coming in API. Aqui entra mais ou menos o que a gente chamava antigamente de context engineering, né? É o que que vai entrar ali para que o agente consiga trabalhar. Então tem aqui a memória do agente, que pode ser um banco de dados vetorial, artefatos do próprio agente por requests, né? Attachments, relatórios, MCPs e conhecimento interno, né? Então, MCPs que você consegue se conectar ali a serviços externos, mas também a serviços internos da própria empresa, né? E uma forma de controlar permissões para que quem tem acesso possa ter o dado apenas daquilo que ele pode ler, né? Então isso é bem legal. Então, esses dados são produzidos também né? E aí a terceira camada do computam, né? Então aqui sandbox, né? Aí pode ser qualquer ambiente remoto, uma VPS, como eu disse, né? agent runner que pode estar rodando ali no computador ou até mesmo computer use ali para você ter acesso a vídeo imagem foras. Então, inferência é onde que você quer que a inferência esteja acontecendo, ou seja, o processo de entrar token e sair token, né? Aí ele sugere aqui tanto lá no próprio work, claro, mas você também pode trazer a sua própria inferência ali no badrock, no vertex, open router, né? Por exemplo, aqui no custom model routing ou até ter o seu LLM local, por exemplo, se você tem compute para isso. Feel very strongly about most companies we talk to want to bring their own inference. They want they want the ability to try different models, open models, frontier models. They may want to try a fine tune model that they've built. So having this be a plug layer is very important. Beleza? Então, depois que você fechou o ciclo, né, você tem a definição dos seus agentes, da sua fábrica, você tem o que os agentes precisam para trabalhar, você tem onde eles vão executar e você tem onde a inferência tá rodando. Então, o trabalho vai ser feito. Uma vez que o trabalho é feito, você tem que ser capaz de medi-lo, né? Very important. Então, tão aqui as métricas autonomia, custo, cycle time, as notas que você vai dar, benchmarks para comparar e o próprio self improvement, onde você vai ver o que o agente fez, como aquilo poderia ser melhor de forma automática, tá? Orchestration. I show justchimes, but you know the way that we think about this is like what are the steps or stages that you want your process to go through? Então aqui a fase de orquestração seria aquele loop original que a gente viu, onde tudo isso tá rodando e tem os touch points com os humanos, né? E aí você também vai ver o que que você vai automatizar, onde que as coisas vão ser despachadas, né? Por exemplo, como que as automações vão ser despachadas e coisas do tipo, né? >> Cada etapa ali daquele loop também vai precisar da sua automação, né? Então, a parte de triagem, dificação, implementação, review e verificação, né? >> E por fim ali o acesso, né, que foi o que eu disse. Isso aqui eu acho bem legal mesmo, né? São as interfaces que você vai interagir com a sua fábrica. Então ele menciona aqui o MCP da fábrica, extremamente interessante, alguma plataforma de comunicação do seu time, como Slack ou Teams, você vai ter que ter um TK tracker, um issue tracker, como é o caso do gira, do lí do Azana, algo desse tipo. Você vai ter ali onde o seu código está vivendo, por exemplo, no GitHub. Isso tem que ser acessível em qualquer dispositivo, seja você no computador ou no celular. E também deve ser capaz de ser despachado de forma programática através de uma AP ou de uma SDK. Então, imagino que você pode ter até código que gera código para a sua própria fábrica, né? Muito bem, pessoal. Vou parar por aqui. Novamente eu recomendo que vocês deem uma olhada no vídeo completo que vai est aqui na descrição. Achei esse vídeo muito interessante. Achei a visão aqui da empresa bem legal. É claro que aqui eles estão falando para outro tipo de público, para empresas, né, que talvez estejam maximizando muito o uso da IA, né, não é para todo mundo. Você não precisa começar com todo esse layer que ele colocou aqui. Você não precisa começar com tudo já na nuvem, com benchmark, com orquestração, com múltiplas interfaces. Você não precisa começar com tudo isso, mas alguma coisa disso aqui eu tenho certeza que você consegue trazer paraa sua realidade. Seja uma automação, né, dos loops, seja ali a verificação que você faz, seja ali os benchmark para você poder fazer uma otimização de custo, né? Enfim, existem muitas coisas aqui que podem ser trazidas pra realidade de qualquer empresa ou de qualquer time, independente do tamanho, tá? Se você tem, inclusive interesse de conversar sobre a possibilidade de implementar algo assim, seja na sua empresa ou seja no seu time, eu convido você a entrar no site do quintanilha.com, que é a minha consultoria, tá? Então, se você quer que eu te ajude a implementar alguma parte disso, desse fluxo aqui, ou, né, deixar mais claro para você como a sua empresa poderia se beneficiar de a, porque eu sei que você já sabe que a IA é importante, eu sei que você já sabe que a IA vai te ajudar, mas como nem sempre, é claro, é assim que nós ajudamos lá no Quintanilha AI, beleza? O link para você conhecer o Quintanilha Iai vai tá na descrição também. Ou você entra direto em quintanilha.com, envia uma mensagem pra gente que o nosso time entra em contato com você. Beleza? Mas agora eu quero saber de você o que que você achou desse conceito de software factory? Achou que é hype? Achou que é besteira? Achou que é só mais alguém criando dificuldade para vender solução? Me conta aqui nos comentários. Me conta também se você já implementou algo similar na sua empresa, no seu time. Qual foi sua experiência? O que dessa área mais te anima? Eu quero saber a opinião da comunidade. Repito pela terceira vez o convite para que você se inscreva aqui no canal, curta esse vídeo, compartilhe com seu amigo e sua amiga que gosta de programar com IA, que gosta de usar IA da forma séria para acelerar a eficiência do seu trabalho. Se você também quer aprender a usar melhor as ferramentas de A, eu recomendo que você entre lá no programa aí, conheça a trilha do Engenheiro de A, faça a formação completa se você puder. Se não, olhe ali os cursos individuais também são excelentes. particular porque nós conversamos hoje, tanto o curso de programação agênica quanto de HS Engineering são muito bons e vão te ajudar a dar um kickst nessa jornada da possível factory engineering, da fábrica de solta, beleza? Agradeço imensamente a você por estar assistindo esse vídeo comigo até agora e até a próxima.

Assistir ao vídeo original no YouTube

Assuntos: Agentes de IA. Publicado no YouTube em 2026-10-27.

Seleção automática por assunto e idioma. O vídeo pertence ao canal de origem.