MONTEI UM PC PARA RODAR INTELIGÊNCIA ARTIFICIAL LOCAL

Vídeo em Português, publicado pelo canal Reset.

Sobre este conteúdo: O resumo, os principais pontos e os temas abaixo são gerados automaticamente a partir da transcrição do vídeo. Eles refletem o conteúdo, opiniões, afirmações e previsões apresentadas no vídeo e não representam posicionamento, validação ou verificação de fatos pelo IA Dots.

Resumo do vídeo

O vídeo simula um servidor de inteligência artificial local utilizando um computador de alto desempenho com uma placa de vídeo RTX 5090 e 64 GB de memória RAM. O autor demonstra a instalação de modelos de linguagem, geração de texto, imagens e vídeos localmente por meio de softwares como Ollama, Open Web UI e ComfyUI, além de analisar os custos e benefícios de manter uma infraestrutura própria em comparação com o uso de serviços em nuvem.

Principais pontos

• Montagem de um computador de alto desempenho com uma placa de vídeo RTX 5090 e 64 GB de memória RAM DDR5 dedicado a testes de inteligência artificial local.
• Explicação sobre os parâmetros de modelos de IA (como 8B, 14B, 32B e 70B) e a importância da memória VRAM da placa de vídeo para agilizar o processamento das respostas.
• Demonstração do uso de ferramentas como o Ollama para gerenciar modelos e o Open Web UI para fornecer uma interface gráfica semelhante ao ChatGPT.
• Teste comparativo de velocidade utilizando apenas a placa de vídeo versus utilizando apenas o processador e a memória RAM, evidenciando a lentidão do hardware secundário.
• Experimentos com geração e modificação de imagens e vídeos locais utilizando o ComfyUI e diferentes modelos de parâmetros.
• Análise de viabilidade financeira e de segurança de dados para o uso de IA local, concluindo que o investimento compensa mais para empresas de grande porte do que para usuários individuais.

Temas

Inteligência Artificial LocalHardware para IAPlaca de Vídeo RTX 5090Modelos de ParâmetrosOllama e Open Web UIGeração de Imagens e VídeosSegurança de DadosCusto-benefício de Servidores

Transcrição do vídeo

Texto das legendas disponíveis; pode conter erros.

Quando a gente utiliza inteligência artificial, que hoje tá ficando muito normal, todo mundo usa, a gente faz uma solicitação e uma pergunta pro cloud ou pro chat EPT. E a nossa pergunta não é processada no nosso computador, é enviado pros grandes servidores da Openi ou da Antropic, processa a resposta e ela retorna pra gente. A grande questão é que eles ficam sabendo que eu perguntei. E o que eu queria nesse vídeo é justamente tentar simular os servidores da Open aqui dentro do meu estúdio, minho um único computador com poder computacional bruto. E será que eu consigo fazer e a rodar local e ver se o meu hardware vai fritar ou se é capaz de gerar vídeos, imagens e responder as minhas perguntas com exatidão? E quando eu falo isso, eu tô disposto a usar todo o poder computacional que eu tinha disponível para fazer essa belezinha funcionar. Uma coisa importantíssima, eu não vou criar uma inteligência artificial do zero aqui, apesar que eu acho que seria legal o Gustavão. Ai, o que eu vou fazer é pegar modelos que já foram treinados por computadores extremamente robustos que talvez tenha o tamanho dessa sala. Vou pegar esses modelos, vou fazer o download e rodar eles localmente no meu computador. E existem modelos de todos os tamanhos para eu fazer download na internet. Pequeno, grande, médio, gigantesco. E normalmente eles são reconhecidos como 8B, 14B, 32B, 70B. E esses Bs significam os bilhões de parâmetros que tem ali disponíveis, como se fossem valores, para se dizer assim. tudo que ele aprendeu. Para vocês terem ideia, o GPT3 tinha 175 bilhões de parâmetros. Estamos no GPT6. A Open não disponibiliza quantos bilhões de parâmetros tem no GPT6 ou trilhões. Não sei se eles não querem divulgar ou eles já perderam o controle. Mas a grande verdade é, vamos utilizar esses parâmetros no meu computador local. Mas agora deixa eu explicar que hardware que eu vou usar. Talvez se eu tivesse montando um PC gamer, o que eu estaria atrás agora é de FPS. Quanto eu posso extrair de FPS? Só que aqui não é isso que a gente vai falar. Eu preciso saber o quanto de operações matemáticas e de cálculos e de tudo que envolve inteligência artificial eu consigo fazer. Quanto mais operações e mais rápido for, melhor. E bom, o que eu tenho aqui na minha bancada? Vamos começar pelo que vai resolver boa parte desses problemas. A placa de vídeo. Essa é uma RTX 5090, modelo HOG astral da Asus. Isso é o supraumo que tem hoje para jogos. É a placa de vídeo mais poderosa de todas. Porém, eu não estou atrás de FPSs aqui. Ela tem algo muito interessante que vai me ajudar muito na parte de inteligência artificial, que é a memória da placa de vídeo. A memória que tem dentro dela, que é a V RAM. Isso é extremamente importante. Ela conta com 32 GB de V RAM. Essa memória da placa de vídeo é muito mais rápida, tem muito mais largura de banda do que a memória RAM do computador. Chega a ser 19 vezes mais rápida do que uma memória DDR5. Só que não significa que eu não preciso de um hardware muito poderoso além da placa de vídeo. Eu tenho nesse computador 64 GB de memória DDR5. Isso é pouco, pode parecer muito, mas para IA não é. Inclusive tem um site da própria Asus que está participando desse vídeo e contribuindo com todo o hardware pra gente poder trazer isso aqui para vocês, que chama Agent Computer. E é voltado para quem quer montar uma IA local. E lá eles falam os hardwares que são necessários pro tipo de uso de A que você quer. E ele fala que com uma RTX 5090 e 128 GB de memória, eu consigo rodar um modelo de 32 milhões de parâmetros. Aqui eu tenho 64 GB, tenho metade disso de memória RAM. Eu precisaria demais, só que vocês sabem que memória está muito salgada. Para vocês terem ideia, 128 GB de memória hoje tá custando em torno de R$ 30.000, justamente porque todo mundo tá usando memória pra inteligência artificial em grande escala. Então meu budget acabou e aí não deu para conseguir 128. No momento temos 64. O processador também é muito importante, mas não é o principal. Aqui nós temos umas set, um Intel 265K. Vai ajudar no trabalho processar as coisas. Porém o principal aqui é a placa de vídeo e a memória RAM. Mas enfim, vocês já sabem o hardware, agora vamos pôr elas para girar, vamos ligar e vamos ver o que vai dar. Galera, o PC tá montado ali. Vamos começar os processos agora de ligação das coisas. Mas por que fazer um servidor local de A e por que fazer modelos de A rodar em local? Primeiro deles é o custo. Vamos dizer, galera, que você utiliza inteligência artificial o seu dia a dia ali e hoje todo mundo utiliza. Você paga algumas assinaturas, seja do chat GPT, do cloud, eu já nem sei mais quantas IAS passam no cartão. Chega uma hora que começa a ter um monte, aí você começa a procurar, pô, essa eu tinha assinado, tinha esquecido. Eu sou uma empresa pequena. Você imagina uma empresa grande, gigante, onde muitas pessoas utilizam de inteligência artificial, onde até saiu uma informação legal, uma notícia de uma empresa que não divulgou o nome, mas eles tiveram que pagar 500 milhões de dólares porque disponibilizou a inteligência artificial para todo mundo utilizar sem limitação. Numa empresa como essa, você teria a local faz muito sentido, porque você não precisa pagar assinatura. Num uso de uma empresa onde o nível de uso é muito grande, ter computadores locais vale a pena. Mas tem algo muito importante que eu ainda não comentei, que é a questão de segurança dos seus dados aí. Tudo que você tá compartilhando de uma forma ou de outra é utilizado pela IA e vira uma base ali de conhecimento, vamos se dizer assim. Porém, são dados muitas vezes pessoais. Tem programas que você divulga o código fonte numa inteligência artificial e isso acaba saindo um pouco do seu controle. às vezes utilizar uma inteligência artificial local vai resolver isso porque todos os seus dados vão estar sob o seu controle, vai est instalado no seu servidor e tudo que você fez tá ali. Então é uma vantagem que muita gente tem que levar em consideração. Então por isso que eu tô rodando o local. Vou usar todo dia aqui no estúdio? Talvez não. Aqui é para experimentar pro vídeo para vocês. Mas vamos ver como que ele vai se sair aqui, né? Sair a local. Agora falta eu colocar as Ias aqui dentro do computador. Eu vou usar o Ubunto como sistema operacional. É Linux. Eu poderia fazer muita coisa parecida no Windows, mas eu escolhi o buar esse computador como workstation de A. Não tem ambiente gráfico, é só uma workstation mesmo. E dentro do Ubunto eu vou instalar o OLAM. O Ohama também não é uma inteligência artificial, ele é basicamente um programa, um gerenciador. É como se fosse uma espécie de uma Steam só que de modelos de A. O OLAM é a plataforma e o modelo que eu baixar é o jogo que tá ali instalado. Apesar do Olha gerenciar todos esses modelos, a gente quer um ambiente gráfico muito parecido com o chat EPT, onde você manda o prompt e vem a resposta numa tela bonitinha. E é aí que a gente vai instalar o Open Web UI, que é uma interface de chat. Então, com qualquer computador acessando a rede, eu acesso o meu servidor remotamente e eu consigo fazer interação com o ambiente gráfico. Vai ficar muito bom pra gente. [música] [música] O servidor tá ali ligado, galera. Mas esse monitor não tá no servidor. O servidor ele basicamente fica ligado, mas não aparece nada na tela. Eu tô acessando o servidor remotamente com o meu notebook e pode ser feito com qualquer computador aqui na rede local ou externo utilizando VPN e tudo mais. Então aqui é vocês estão vendo na minha tela o Gustavo @ai Server significa que eu tô dentro do servidor pelo meu notebook. Beleza? Eu também tô tendo, vai entrar uma tela aí para vocês, com o monitoramento tanto de placa de vídeo quanto de processador e memória do servidor. Então eu tô monitorando isso em tempo real para ver o que tá acontecendo. Quando a gente começar a subir os parâmetros, vocês vão ver que as coisas vão começar a utilizar ali de memória e tudo mais. Primeira coisa que eu vou fazer é baixar um modelo. Basicamente para fazer um modelo, o download do modelo de A, eu vou lá no servidor e vou escrever Olhama Pool Quen 38B, que eu tô pedindo pro Olhama fazer o download, vamos se dizer assim, buscar e instalar o modelo Quen 3 de 8 bilhões de parâmetros. Então, quando eu escrevo Olhama Pul Quen 38B, significa que ele tá fazendo download, galera, lá no meu servidor e não no meu PC. Vocês estão vendo a barrinha carregar ali, ó. Tá fazendo download de 5 GB. Esse modelo ele é pequeno, p apenas 5.2 GB. Já tá acabando aqui. A lá fez o download e agora a gente pode abrir a ferramenta e começar a executar. Uma coisa importante que a gente tem que levar em consideração é uma unidade de medida de velocidade para isso daqui que seria de tokens por segundo. É meio que a quantidade de pedacinhos do texto ali por segundo que a gente tá conseguindo gerar e analisar ali. Então quando eu coloco aqui, por exemplo, o lama run 38B, a gente vai rodar e a gente já pode escrever o prompt aqui, porque ele vai inicializar. Ele alocou todo esse Quen 3 na Vran da minha placa de vídeo. Então vocês estão vendo o uso subir ali da VRAM da placa de vídeo no gráfico. E agora ele tá perguntando que prompt que eu quero gerar. Só basicamente eu escrever o prompt aqui. Então vou colar aqui um prompt que eu já tinha como padrão, que é estou montando um computador exclusivo para rodar inteligência. Vamos rodar isso aqui e vamos ver o que vai dar. Olha aí, Rafa, já deu a resposta. Foi muito rápido, mano. Muito rápido mesmo. Uso de placa de vídeo subiu, pensou e depois caiu e deu a resposta. É como se a gente tivesse jogado no chat GPT ali, bateu lá no servidor da Openai e voltou a resposta. Só que aqui meu servidor tá do meu lado. A grande questão que a gente tá limitado nesse poder computacional e o da Openai é gigante. Ele deu as principais diferenças entre um PC comum e um para usar IA local. Tá aqui, tá bonitinho e tá rodando local já com 8 milhões de parâmetros. Mas como eu tinha dito para vocês, a gente tem uma questão muito importante aqui que eu não quero ficar tendo que abrir esse prompt, mano. É muito tosco ficar lendo no texto e tal. Então, por isso, galera, eu já tenho o Open, o Web e o Y, que é a mesma coisa, só com interface gráfica. É muito parecido com chat EPT. A diferença é que eu não tenho os modelos do chat EPT, mas eu tenho todos os meus modelos que estão instalados. Olha o que acontece quando eu subo um de 14 bilhões. E eu vou mandar o mesmo prompt com Quen 3, só que de 14 bilhões. O Ohama vai fazer o gerenciamento, ele vai tirar o o de 8B e vai colocar o de 14B, que é um de mais parâmetros. E olha lá no gráfico, vocês já estão vendo aí na tela o gráfico de Verran subindo muito, porque ele alocou parâmetro mais pesado, né, na memória da placa de vídeo. E ele tá pensando, ó, já me deu a resposta. Já me deu a resposta. Vamos lá, ó. E ele explicou aqui um pouco mais elaborado do que o de 8 bilhões. O de 8 bilhões ele me deu alguns resultados, porém aqui a gente teve um resultado um pouquinho mais elaborado. No primeiro ele fala um pouquinho aqui, mas ele não dá nenhum detalhe. No outro de 14 bilhões, ele já fala um pouco sobre modelo de placa de vídeo. Então tem uma diferença de acordo com o modelo que a gente coloca. E lembra que eu tinha falado a velocidade? Olha a velocidade que ele deu aqui, ó. Nesse de 14 milhões, ele falou que a velocidade de execução ele dá 128 tokens por segundo, que é um tempo muito bom para essa quantidade de parâmetros. Isso testando com 14 bilhões de parâmetros. Agora vou mostrar um teste para vocês da importância da placa de vídeo na inteligência artificial. Eu vou eliminar a placa de vídeo do teste. Vou usar a memória RAM e processador. Como eu vou fazer isso? Primeiro vou iniciar aqui um Quen 3 de 14 bilhões e vou pedir para ele me dar os detalhes em tokens por segundo pra gente poder comparar. Beleza, ele subiu. Vocês estão vendo que ele já alocou isso na minha placa de vídeo. Vou fazer o primeiro teste com a placa de vídeo. Beleza? Então vocês viram aí que a memória, a VRAM já subiu. Então vamos jogar um prompt aqui, ó. Explique resumidamente como sea o motor a combustão. Cara, em segundos já pensou, já tá escrevendo aqui sem parar. Cara, que bizarro, que bizarro. O uso da placa de vídeo agora tá alto pra caramba. A VRAM tá alocada ali com 45%, mas o uso da placa de vídeo está em muito alto. Subiu completamente, ele tá quase 100%. Bom, já deu o resultado. Pelo que dá para entender aqui, foram 139 tokens por segundo. Agora vamos fazer uma coisa interessante. Vamos finalizar esse prompt. Vamos subir o olhama de novo de 14 bilhões. Porém agora eu vou colocar pr ele usar 0% da placa de vídeo e vamos jogar o mesmo prompt e aí a gente compara depois o gráfico. Agora vocês estão vendo que caiu totalmente o uso de placa de vídeo e o uso de V RAM, que é a memória da placa de vídeo. Só que alocou isso na memória RAM do computador. Tá usando 17 GB 16.26 GB de memória RAM. E o processador, alguns núcleos está em 100%. E olha a diferença, a lentidão que tá para escrever. Ele tá aqui escrevendo, pensando, carregando um pouquinho. Vocês viram que a placa de vídeo foi a milhão. Então, bom, vamos esperar para poder sair o resultado no final de tokens por segundo pra gente poder comparar. Mas já dá na prática para ver que é bem lento, então precisa de uma placa de vídeo bruta aqui. >> Alguns momentos depois, >> vamos comparar então, galera. Terminou. Demorou, hein? Demorou uns 10 minutos, eu acho. Ah, não. Aí, ó, 14 minutos. 14 minutos. O outro tinha demorado, olha só, 21 segundos. Os resultados são de 139 tokens por segundo para 3.74 tokens por segundo. E eu tenho mais memória RAM. Eu tenho 64 de memória RAM e eu tenho 32 de VAM. E mesmo assim demorou muito mais porque a velocidade é o que importa, tá? Agora vamos para o ambiente gráfico de novo, que é o Open Web UI, e vamos fazer um teste de uma mais complexa, uma de 32 bilhões de parâmetros e uma talvez maior. Uma coisa importante é que quando a gente fala de 70 bilhões de parâmetros, a gente tem a tal da quant que seria isso? O modelo ele é muito pesado, então a gente faz esse processo de quantização diminuindo precisão para ele ser um pouco mais leve. Como que isso funciona? O computador ele entende números, vamos se dizer assim. A quantização, por exemplo, de 16 bits, é como se você tivesse 16 blocos dentro de um bloco maior. E esses 16 blocos, eles são várias combinações, permitem milhares de combinações. O que a quantização faz é dentro desse mesmo bloco maior, em vez de você ter 16, é diminuir para, por exemplo, quatro. você vai ter um nível de combinações menor, então vai ser mais rápido de ser executado e o modelo fica mais leve, porém ele fica menos preciso. Quando você diminui o número de combinações que a máquina consegue fazer para te dar uma resposta, você tem agilidade, mas você tem menos precisão. Então assim, galera, vocês vão testar, ver o que que encaixa, o que que funciona, o que que o computador consegue rodar para poder ter uma base legal de funcionamento. Vamos agora fazer um teste comparativo, galera. Será que um modelo mais elaborado é mais rápido, melhor? pensa melhor do que um mais simples. Então eu separei aqui um Coin 3 de 8 bilhões e eu tenho um Coin 3 de 32 bilhões. Vou fazer aqui uma operação matemática, né? Uma operação lógica, vamos se dizer assim. Vou jogar um prompt igual nos dois. Temos um estúdio com três computadores e apenas uma RTX 5090 disponível. E aí, vamos ver o que que ele consegue se sair aqui. Vamos jogar aqui. Ele já locou na minha RAM, essa na minha VRAM, na verdade, essa esse modelo. E tá pensando, placa de vídeo tá usando bastante. Vamos ver o que vai sair aqui. Opa, saiu os resultados aqui. Beleza, vamos agora usar o meu terminal. Vamos dar um stop nesse de 8 bilhões para desalocar da VRAM. Vamos abrir um novo chat e vamos fazer o mesmo prompt, só que agora em 32 bilhões de parâmetros com Quen 3 32 bilhões. Vamos enviar. Ele alocou já muita VRAM. bem mais do que o antigo modelo do de 8B, agora o de 32. Fritou a memória RAM da minha placa de vídeo, da minha VAM, né? E aí, como vocês podem perceber, ele também tá usando um pouco de RAM. É, a VAM tá em 30 GB ali e a RAM subiu 1 GB mais do que o normal. Já [música] alocou um pouquinho na RAM também, o que torna mais lento todo o processo. Aí começou as respostas. Bom, as respostas aparentemente são iguais, tá? A grande questão é, ele demorou, ele deu 61 tokens por segundo, três vezes menos do que o de 8 bilhões. Por quê? Ele alocou um pouco de rã e a rã é mais lenta, ele é mais complexo. [música] Então, por mais que a usou bastante VAN, tudo basicamente da placa de vídeo, ele jogou um pouquinho na rã, tornou mais lento e o modelo já é mais complexo, então demorou mais. Então a gente poderia resolver no de 8 milhões, teria mais velocidade. O resultado foi o mesmo e foi assertivo. Só que aqui ele deu algumas sugestões, ele falou: "Você quer que eu elabore mais?" Que é, por exemplo, ele perguntou: "Como ajustar a programação se o Rafael demorar 10 minutos a mais do que o modelo de A?". Então ele deu sugestões de prompt para eu criar algo mais elaborado. Então ele foi um pouco mais inteligente, mas o resultado foi o mesmo. Vamos fazer o seguinte, vou pegar outro prompt e vou jogar agora no de 32 bilhões pra gente ver. Só que esse promp não vai ser um teste lógico, que ele basicamente vai explicar sobre o uso de VRAM em IA. Então vamos jogar aqui no de 32 bilhões primeiro e vamos ver qual vai ser o resultado. [música] Terminou? Terminamos aqui com 60.99 tokens por segundo. Beleza, vamos fazendo de oito. Deixa eu só dar um stop nesse agora. Vamos agora fazer o mesmo prompt em 8 [música] bilhões. Olha só, de 60.99 9 tokens por segundo. Esse aqui foi feito em 195 tokens por segundo. E ele também deu aqui um acompanhamento, uma sugestões de novos prompts. Então acho que pode ser até uma opção do Open Web UI, nem tanto necessariamente do modelo, tá? essas sugestões. O tamanho do texto é mais ou menos igual. Ele deu mais alguns detalhes. Não vai dar para eu comparar aqui porque o texto é grande, mas deu para perceber que tem uma diferença. Não sei se o mais elaborado é melhor ou pior. Eu vou disponibilizar os dois arquivos para vocês olharem e aí vocês comparem e aí vê se uma errou, se outra acertou, se olhando na internet e tendo uma [música] pesquisa mais aprofundada, qual teve a melhor resposta, se uma é não acertou, se outra errou, se uma falou besteira, vai dar para ter essa esse comparativo. Bom, pra finalizar essa parte de texto, que depois eu quero gerar imagem e vídeo, vamos rodar uma aqui, Rafa, [música] de 70 bilhões de parâmetros pra ver o que vai acontecer. Bom, agora sim, 70 bilhões de parâmetros Q4, o que é uma complexidade considerável. Acho que vai dar ruim aqui, hein? Mas vamos testar. Vamos ver o que vai dar. Que que eu vou fazer agora, galera? Vou carregar um arquivo aqui, que é um manual de uma placa mãe e vou pedir para ele resumir esse manual. Beleza? Ele vai resumir utilizando esse modelo de 70 milhões de parâmetros. tá usando 93% de VAM e tá usando 7 GB de RAM. Então ele alocou RAM sim para poder dar conta do modelo. Galera, assim, ó, fez aqui um resumo, demorou um pouquinho, dá para ver pelo tempo aqui, ó. Levou, a gente teve 2.15 tokens por segundo. [música] É lento, é bem lento. Total de 3 minutos para fazer esse resumo. Eu achei lento, principalmente a velocidade dos tokens foram baixas porque alocou memória Ran, né? Vamos fazer o seguinte, eu vou fazer uma pergunta aqui, vou pegar ele no erro. Olha só o que eu vou fazer. Essa placa mãe que eu subi aqui, esse manual dessa placa mãe não fala sobre Thunderbolt, não tem Thunderbolt 6 nessa placa. Caramba, Rafa. Toma, desculpe. Já começou se desculpando, é que tem uma coisa errada. Não consegui encontrar informações sobre a velocidade do Thunderbolt 6 no manual fornecido. Se você tiver mais alguma pergunta ou precisar de ajuda com algo mais, fique à vontade por perguntar. Ou seja, ele não falou que não tem Thunderbolt 6 nessa placa. Por quê? Porque ele não consegue usar um, ele não tem essas informações para achar essa placa na internet. Ele não tem isso, porém ele analisou e viu que não tem informação de Thunderbolt 6, o que tá certo, não tem. E ele tá pedindo algumas sugestões. Ele tá dando algumas sugestões de de promptes do tipo, verifique se o manual menciona sobre USB 3.2 G2, que seria uma informação para ele pesquisar se tem isso, para ele conseguir tentar chegar na informação do Thunderbolt. É isso. Basicamente ele trouxe as informações pra gente, tá certa, ainda tem algumas falhas, o que leva a crer que obviamente, cara, tudo vai depender do modelo, né, galera? A gente tá falando de um modelo muito pesado. Eu tô utilizando ele com memória RAM, o que não é o ideal. Antes da gente ir para imagens e vídeos, eu pedi para ele resumir usando o Quen de 8 bilhões. Eu tava no de 70, tirei tudo, coloquei no de oito, mais base. Pedi para ele resumir o arquivo que eu mandei e olha isso aqui. A resposta foi mais complexa do de 70 bilhões. Isso deve acontecer obviamente por velocidade. Agora usou só ver e ele tem, ele consegue ser mais assertivo, não sei por, mas ele disse pra gente assim, ó, manual fornecido não menciona sobre Thunderbolt 6 ou qualquer detalhe relacionado à tecnologia Thunderbolt nessa placa mãe. Ou seja, o de 8 bilhões conseguiu ser mais é legal a resposta do que o de 70 bilhões. Então tudo vai depender do modelo que você usa. Esse também é o Quen. Lá a gente estava usando o lhama. Então tudo vai depender do modelo. Tem modelos que podem se dar melhor para um tipo de tarefa ou não. Então enfim, só para ter esse comparativo. Agora vamos pra imagens e vídeos. Gerar testos e vídeos é uma das coisas mais legais da IA, pelo menos para mim. Gerar vídeos é de zoeira é muito bom. Só que eles são caros, né? Eu fui gerar esses dias, Rafa, o vídeo do letra J com o carro que voa. Gastei R$ 80 em um vídeo, tá ligado? É caro. Só que obviamente que o modelo também é muito elaborado. Aqui a gente vai testar alguns modelos e eu também tenho uma interface gráfica igual o Open Web UI, só que aqui voltada para vídeos e imagens que é o Confy UI. Eu já tô com a dashboard aberta, tá rodando meu servidor e eu acessei pela rede local. Aqui é um pouco mais difícil. Vocês estão vendo uma interface de fluxograma. Aqui eu tenho algumas bibliotecas. Eu não dominei ainda essa ferramenta, tá? Eu vou mostrar a parte básica dela, que é o que eu entendi até agora. Os modelos aqui, eu tenho alguns modelos que, por exemplo, Lano Banana, Quen Imag 2.1, só que esses aqui vai usar via rede, entendeu? Você consegue usar eles via rede, mas não é o caso. O que eu vou fazer é os que eu instalei. Eu instalei alguns, galera, via texto, né? E um deles foi o Flux. O Flux ele é um modelo voltado à geração de imagem através de texto. Quando a gente clica nele, abre essa janela do fluxograma pra gente, né? Por que, como eu sei que tá rodando no flux que eu baixei e não no online? Porque o nome dele tá aqui, que é esse Flux Channel FP8 Safe Tensors, que é o que eu baixei e coloquei no servidor. Eu baixei o modelo igual eu baixo um modelo normal lá dos textos que vocês já viram. Só que aqui funciona como um fluxograma. Então aqui é onde eu coloco, por exemplo, o prompt e eu tenho um prompt aqui que seria fotografia publicitária extremamente realista de um workstation de A sobre uma bancada de laboratório. Coloquei em português mesmo. E vamos gerar esse prompt. Mas antes de gerar o prompt, vamos adicionar aqui, ó, no fluxograma, uma ferramenta chamada slime, que ela vai fazer a contagem de tempo que leva para girar essa imagem. Vamos executar. Provavelmente vai subir uso de placa de vídeo e tudo. V, ó, o uso de placa de vídeo subiu, uso de verran também subiu. Como uma escadinha, um sobe, o outro sobe. Olha que bonito. Da hora. Da hora pr [música] caramba no gráfico ali. Tá gerando. Já gerou muito rápido, mano. Muito rápido mesmo. Mas Rafa, eu diria que essa imagem aqui, ela gerou parece uma das primeiras versões da IA quando trabalhava com imagem. Ficou legal, mas eu diria que ela deu uma viajada, Rafa. Tipo assim, tem os fios saindo para fora, umas paradas que não precisava. Se eu jogar essa mesma imagem no GPT, vamos fazer, vamos fazer, vai, vamos fazer. Merece, vai, vamos jogar aqui chat GPT. Olha como ficou a imagem com o chat GPT. É, galera, realmente assim é é mais legal, tá ligado? Tipo assim, não deu uma viajada, ficou um pczinho mais bonitinho. Só que obviamente a gente tá comparando um poder computacional absurdo versus que eu tô rodando local, mas ainda assim, cara, é excelente. Vamos pra alteração de imagem agora. Beleza, carreguei aqui então o com a image. Esse daqui é pra alteração de imagem. Então, que que nós temos aqui, galera? A gente vai ter dois nós do fluxo aqui, que é para eu selecionar uma imagem. Então, essa imagem aqui, eu vou selecionar as duas imagens iguais. Poderia pôr diferentes aqui, mas vou pôr duas iguais. Então, vamos colocar o prompt. Eu quero que o meu prompt que eu coloquei, na verdade, a ideia dele é transformar o meu Chevete em um Chevete com motores de foguete da Space X. Será que vai dar certo? Vamos testar. Coloquei duas imagens iguais no Chevete e vamos executar. O uso já vai subir bastante da placa de vídeo, então vocês estão vendo ali que dá para acompanhar um pouco do processo. E a minha placa de vídeo [música] tá fritando, mano. É, foi para 100% de uso de Vran e uso de placa de vídeo, tá? Tô vendo o gráfico aqui, tá estourando. E também usou um pouquinho de RAM, hein? Um giginho ali foi pra RAM. Vamos ver o que vai acontecer. Já volto, galera. Dá um tempinho. >> Alguns centímetros depois. >> Caramba. E não é que fez aqui, ó. Olha que da hora, galera. A imagenzona da hora do chevetão com motores de foguete. Eu fiquei meio bugado, né por nada não. É, meu rosto aqui não se deu bem, mano. Tá muito diferente de mim. Mas é como as primeiras versões da IA com imagem, né? Ela ela modificava um pouco seu rosto, não lidava muito bem com o rosto, mão e tal. Mas e se a gente fizer algo mais elaborado e voltado à pessoa? Vamos escolher uma outra imagem aqui. Vamos pegar essa outra imagem e eu vou colocar que eu quero virar um cborg. Demorou 2 minutos e 13 para girar essa imagem aqui. Dá para ver pelo slime timer aqui. Vamos girar essa outra e vamos ver o que dá. Subiu de novo o uso de placa de vídeo verran. Cara, é muito funcional assim, a coisa funciona bem, sem muitos bugs. Depois de você fazer operar a primeira vez, tá funcionando liso assim. Não deu nenhum pau até agora. Ó lá, Euborg, mano. Tem nada a ver comigo, mas éborg, pô. Ah, o cabelo ficou parecido. Ah, o rosto não ficou muito parecido. Vamos, podemos falar. Sou eu, Cborg. Bom, e gerou em 2 minutos aqui, pelo que eu tô vendo. 2 minutos e 15. Considerando que a gente não tá pagando nada, a gente só tá usando o poder computacional do nosso PC aqui. Obviamente a gente comprou. É bom. Agora vamos gerar vídeos, que é o mais que estávamos esperando até desde o começo. Vamos abrir o novo modelo aqui. E vamos buscar por Onan, que era o que eu tinha feito, One 2.25B, que é o de 5 bilhões. Acho que era esse aqui que eu tinha feito. Deixa eu ver. Eu tinha já baixado um. Eu coloquei aqui, ativei a camada para poder ser imagem para vídeo. Coloquei a imagem do Chevete e coloquei um prompt aqui de entrada. Ele fala o negative prompt é para tudo aquilo que você não quer que aconteça no seu vídeo. É uma recomendação é você deixar esse negative prompt é do jeito que tá, porque ele já vai evitar que tipo crie deformações e tal. Só que aqui tá em chinês, eu não sei o que tá escrito, mas a recomendação é que deixa assim algumas configurações de formato, codec, tudo mais. Vou deixar como está, não vou mudar nada para evitar bugs. Isso tem que ser testado de forma mais elaborada depois, tá? Vamos colocar o slime timer e vamos dar executar. Eu acho que aqui vai demorar. Acho que vai demorar consideravelmente. O uso da GPU já subiu ali. Vamos ver o que vai acontecer. Vamos ver quanto tempo vai demorar, mas eu acho que vai demorar bastante. Uma coisa interessante é que eu estou fazendo aqui um basicamente um 720p, tá? Ele tá 1280 por 704 pixels, então pequeno. Duração de 121 frames também é pouco. Vamos ver quanto vai demorar com essa config e a gente tenta lá deixar mais complexo depois porque eu acho que aqui já vai ser bem pesado. Por isso que vídeo é caro quando você vai fazer em em outras IAS aí de nuvem. Fica difícil do servidor em si tem limitação. Então é isso, vamos ver o que vai dar aqui. Já tá 46 segundos. Lá. E aí, será que vai ficar bom ou não? Será? Como que será que é esse vídeo? Ó lá. Nossa, eu buguei minha cara. Passou minha cara. Olha lá. Nossa, que doideira, Rafa. Ó, eu tava andando aí, do nada a roda não gira. Eu entrei na terra, saí numa pista de corrida e nesse meio do caminho e cara foi achatando, tá ligado? Funcionou, vai, vamos lá. Funcionou, mas é aquilo, né, galera? Aqui a gente tá com uma IA de vídeo de 5 bilhões de parâmetros. É uma IA que ela é pequena, modelo pequeno, né, honestamente, que já tá no limite do que eu posso fazer com o poder computacional que eu tenho na parte de vídeo e imagem, tá? Eu vou baixar um outro modelo de vídeo mais pesado e vamos ver o que acontece. Pode ser que se vê que já lou muit memória RAM, não adianta nem esperar que vai demorar horas, mas vamos testar. Pera aí, deixa eu baixar. Aí rodei mais um agora de 14 bilhões. E esse foi rápido, esse foi 38 segundos só. Bizarro, né? E ele gerou um vídeo aqui. Olha só como ficou, galera. O movimento não é do carro agora. Ele é o mesmo prompt, mesmo prompt. Mas ele não gerou o movimento do carro. Ele gerou um movimento na cena, na câmera, e o meu rosto ficou menos bugado. Tá meio amassado, mas deu uma bugada menor. Então assim, galera, eu gostei, achei bem viável de fazer imagens e vídeos, editar imagens, só que, óbvio que a gente tem que gastar mais tempo aqui para deixar mais refinado a coisa. Se a gente for rodar modelos tradicionais, nano banana e tudo mais, eu acho que vai ficar muito mais pesado, vai ser praticamente possível, mas dá para testar. Mas é isso, no fim conseguimos bons resultados até agora. Então vamos deixar atrapalhar aqui, né, galera? Vamos usar, vamos testar, vamos ver se funciona na prática em longo prazo, mas eu acho que nesse curto prazo e o que eu testei já dá pr você saber na sua casa se funciona ou não. E lembrando, você não precisa fazer um PC só pra IA. Seu PC que tem aí hoje, você pode usar a IA local e não pagar a mensalidade. Existe o LM Studio que você faz o download do modelo e usa ali com o poder computacional que você tem, beleza? Então dá para fazer isso. Não precisa ser só um PC de A. Pode comprar uma 5090, usar para jogos e na hora que você quiser usar para IA. Beleza? Eu pedi para fazer um resumo aqui, porque tudo tá sendo a nesse vídeo, se compensa ou não usar um hardware eh local, eh comprar um hardware local para isso. Vamos considerar que o computador que eu tenho aqui é um computador extremamente robusto. A gente tá falando de um computador ali de R$ 40.000, mais ou menos. R$ 45.000. É uma placa de vídeo muito robusta, então fica um pouco caro. Vamos colocar R$ 40.000 mais ou menos. Vamos considerar que um usuário normal que use a 2 horas por dia ali mais ou menos, paga uma mensalidade de R$ 210 por mês, mais ou menos. Utilizando um computador como esse vai demorar muito para se pagar. Uma empresa que usa 24 horas por dia, paga lá mais de R$ 2.500 de nuvem por mês. Utilizar um PC como esse pode valer a pena. Vai retornar em menos de 2 anos isso. Porém, também tem a questão da limitação do poder computacional. Mas aí, galera, vamos lá para uma empresa. Uma empresa grande, Rafa, 100, 150, 200, R$ 300.000. Para uma empresa grande é muita coisa? não é para uma empresa grande. Então, às vezes o pessoal investir num poder computacional mais poderoso do que esse, mais robusto do que esse, com várias placas de vídeo, faz muito sentido, porque a empresa paga R$ 5, 6, R$ 10.000 R$ 1000 por mês de assinatura de a poder computacional local. Uma, vai ter segurança dos dados e dois, não vai ter a mensalidade e o hardware vai se pagar em pouco tempo. Pro usuário como eu, que uso pouco, é, paga uma mensalidade ali de até R$ 500 por mês, cara, ainda eu acho que não justifica tanto, justifica mais para uma empresa, para um cara que ou então quem quer ter segurança dos dados, quer ter total controle dos dados, aí não tem nem como pôr na conta. Mas acho que é isso, galera. Se vocês gostaram, foi um vídeo difícil ser feito, foi um vídeo complexo, deixa o like aí, fortalece a gente, se inscreve no canal. Muita gente que assistind nossos vídeos não é inscrita. Queria agradecer a Asus que forneceu todo esse poder computacional pra gente poder testar. Se vocês forem comprar Asus, são produtos excelentes, tá o link na descrição. Considere comprar AS. Esse monitor é um Asus Hog. A gente vai testar ele depois em imagens, vídeos, para ver a qualidade de imagem. Aqui foi mais IA, então não tinha muita coisa rodando nele, mas vamos depois colocar várias coisas para teste. Então se você quiser um monitor como esse, tem na descrição. Hardware como esse tem na descrição. Obrigado, galera. Valeu, até o próximo vídeo, um abraço e fui.

Assistir ao vídeo original no YouTube

Assuntos: Inteligência artificial. Publicado no YouTube em 2026-10-27.

Seleção automática por assunto e idioma. O vídeo pertence ao canal de origem.