Transcrição do vídeo
Texto das legendas disponíveis; pode conter erros.
É. >> Boa tarde. Boa tarde a todos. Eh, portanto, vamos dar início a esta sessão de divulgação. Portanto, o meu nome é João Ferreira. Eu sou um dos responsáveis pela criação desta pós-graduação. Eh, portanto, no qual o nosso objetivo principal foi essencialmente ensinar eh saber fazer. Portanto, hoje viemos aqui falar de um tema quente, eu e o meu colega Ricardo. Ou seja, um bocado o que é que está por trás desta economia dos tokens e os custos da IA. Um bocado. Portanto, e para isso vamos começar aqui com tentar perceber o funcionamento dos LLMs portanto que vocês seguramente já todos usaram. E, portanto, aqui tentar explicar um bocado o custo que é que está por trás eh na perspectiva dos LLMs e depois o meu colega Ricardo mais na perspectiva dos agentes. Portanto, um LLM não é mais que um [roncando] o a criação de um um representativo de grande quantidade de informação e tudo se baseia num numa economia que se chama token. Que é que é o token? O token é o representativo das palavras que depende um bocado da língua. Por exemplo, na língua inglesa um token tipicamente são quatro caracteres e o que é que a IA faz? Usa essa representação para depois poder eh aferir o texto e faz muito essa contagem dos tokens. Portanto, isto é o princípio, depois isto funciona tudo um bocado com base nas probabilidades. Portanto, o um um modelo não é mais que um conjunto de sequência de de de tokens em que eles vão ver na com base no histórico qual é que é a probabilidade do próximo token ser. Ora, vamos aqui com exemplo talvez perceber um bocado, portanto, eh isto funciona tudo com esses tokens depois criar um embedding um transforma e a saída vai-nos dar uma certa probabilidade. Portanto, isto numa forma muito alto a alto nível é o funcionamento destes processos, portanto, e vamos talvez aqui a partir de um exemplo ver como é que funciona, por exemplo, usando eh aqui o GPT. Por exemplo, se eu tiver um exemplo de uma prompt a capital de Portugal é que é que vai acontecer? Isto vai ser convertido em tokens e o sistema vai procurar dentro de uma matriz que é janela de contexto qual é a probabilidade ou qual é a palavra que pode aparecer com mais probabilidade. E vai dar esse essa indicação. Portanto, o que nós temos é um processo muito semelhante aqui, nós fazemos uma pergunta e ele vai procurar nesse espaço e vai depender muito o modelo, essa janela de contexto, etc. E é muito importante eh este processo de tentar encontrar. Portanto, no caso que estávamos a falar o que vamos ter é uma probabilidade e neste caso segundo o histórico que existe Lisboa vai aparecer com maior probabilidade porque é o que é mais usado nesse histórico. Portanto, e o modelo vai responder com isto. Portanto, isto é um bocado muito alto nível o funcionamento destes processos em que é tudo feito com base em probabilidades, ou seja, por exemplo, se eu se eu fizer a prompt o céu é que é que o sistema vai fazer? Vai procurar naquela janela de contexto o que é que é mais dito relacionado com isto e provavelmente vamos ter o azul com uma probabilidade muito mais elevada que o resto, por exemplo, se o cinzento limpo, etc. Portanto, isso é um bocadinho por alto o funcionamento, ou seja, o que é que nós estamos a fazer. Portanto, nós vamos depois usar isto nos mais variados processos, desde a pesquisa, APIs, plataformas, modelos, etc. E, portanto, o princípio depois vai ser muito semelhante ao que estamos a ver aqui. Depois, há aqui princípios que vamos ver um bocado como é que funciona. Portanto, eu consigo depois mexer em parâmetros que é a temperatura, por exemplo, a capacidade de criar, que muitas vezes quando nos nos modelos abertos é possível. E todo todo um conjunto. Portanto, só aqui para ter uma ideia do que está disponível nestes modelos. Desde que apareceu o GPT-4 para a frente e seguintes, deixaram de publicar. Portanto, o GPT-3 é o último que se conhece e foi publicado um paper em 2020 em que mudávamos um bocado a dimensão e o funcionamento destes modelos. Portanto, o tamanho da matriz, a janela de contexto e como é que foi treinado. Portanto, isto é importante para depois aqui percebermos o seguinte. Portanto, quando vocês têm modelos, portanto, vamos dizer, eu vou aqui muito falar no GPT, no modelo da da Open AI e da Cloud. Temos que escolher modelos e temos hoje em dia diferentes modelos. E vamos ver que esses modelos todos eles têm um preço diferente por token. Já vamos explicar um bocado isso e depois temos uma coisa, uma segunda parte que é o esforço. Ou seja, muito daquela janela de contexto que eu vou ver. Passando aqui um bocadinho para o contexto do do Cloud. Portanto, se quem já usou o Cloud vai ver. Temos estes modelos disponíveis. Portanto, o Fable que é o Sen que ah, tem um, por default, um, um grande janela de contexto, o Opus, o Sen, o Sonity e o IQ. Ah, portanto, cada um desses tem um custo diferente e esse custo é bastante importante que, por exemplo, muitas vezes eu consigo fazer a tarefa com o mais simples e vamos ver que a diferença, às vezes, de preço deste para este, às vezes, é 100 vezes diferente. Ah, porquê? Porque estes são mais rápidos, têm mais capacidade de raciocínio, mas há tarefas que, provavelmente, não necessito tanto o Dero, tanto o coiso e posso poupar imenso e isto vai ser bastante importante não, não, dentro deste contexto de, de procura com o Zé Lemos, mas no contexto que o Ricardo vai falar dos agentes, porque vamos começar a automatizar processos e se eu automatizar processos com um modelo mais caro, os custos vão subir. E tem-se verificado, muitas vezes, que que o uso de de agentes leva a custos bastante elevados, ou seja, às vezes, não é mais barato que o próprio humano. Portanto, só para quitar uma ideia dos vários modelos e aqui dos diferentes custos. Ah, por exemplo, uma tarefa está aqui, o Cofable, ah, por exemplo, se eu tiver um processo de 1 milhão de tokens, 1 milhão de tokens, ah, estamos a falar em, portanto, uma dimensão considerável, ah, portanto, se calhar, estamos a falar aí de mais de 200 páginas. Eu, por exemplo, posso gastar apenas meio, meio euro com, com o a versão mais baixa ou gastar 50 euros com o Fable, a nova versão e, ah, portanto, isso faz uma diferença bastante grande e vai haver algumas tarefas em que ah, elas são executadas pelos modelos mais fracos de, de igual forma. Portanto, ah, como é que se deve fazer? Eh, portanto, há sempre o, o, o coisa começar com um modelo mais fraco e testando vários casos, ah, e depois, mas, por exemplo, na literatura, principalmente que a Cloud publica, grande parte das pessoas, eh, começa e vai logo para o Opus por defeito, para resolver a grande parte dos problemas ou mesmo até o Fable. E, eh, muitas vezes estamos a gastar na, nesse caso, os nossos créditos quando desnecessariamente. Portanto, esta visão aqui um bocadinho é importante do que é que é o esforço e do que é que se gasta. Portanto, o que é que é importante é, função da tarefa que eu quero fazer, escolher o modelo e adaptar e fazer. Portanto, o que é que eu vou ter desde o mais fraco até o mais alto, vou ter aqui todo um, um processo que é diferente e é importante analisar. E, daqui a bocado vou mostrar exemplos que, eh, por exemplo, todos nós, acho que já fizemos, eh, por exemplo, no meu caso, vou dar um exemplo, que às vezes estamos a escrever um paper ou uma proposta, eh, e o que é que se faz muitas vezes? Carrega-se a proposta, muitas vezes 20, 30 páginas, eh, pede-se uma revisão, ele dá a revisão, volta-se a carregar o processo e às vezes estamos ali 20, 30 vezes para melhorar o o que é que eu estou a usar? Uma janela de contexto cada vez maior e cada vez vou ter que aumentar esse poder. Portanto, isso vai fazer uma diferença bastante grande. Portanto, tudo é um bocado orientado a, a este esforço e a esta janela de contexto. Portanto, isto vai ser importante para se perceber um bocado este modelo e esta forma de fazer. Portanto, um, sentar aqui em gra, em grandes detalhes, portanto, aqui no caso, temos aqui os modelos da da Cloud, em que cada um deles tem o seu papel e, por exemplo, eh, eu, por exemplo, quando quero fazer grande volume, resumos e não sei quê, vou aos mais fracos, porque ele me faz um trabalho eh, se resumir um texto, por aí fora. Se, por acaso, estou a pensar em criar uma proposta que vou ter que fazer várias vezes, se calhar, subo um bocado nesses modelos e eh, analiso um bocado esse efeito. Portanto, eh, isto é um bocadinho esta combinação que é preciso ter em conta quando se está a fazer essa análise e testar várias vezes. Isto vai ser importante depois na combinação da do do processo dos dos agentes, por aí fora. Portanto, vamos aqui fazer um pequeno exemplo que, por exemplo, eh, tipicamente, aqui um documento de oito páginas, portanto, eu há bocado tive aqui a fazer estes testes e um documento de oito páginas, tipicamente, estamos a falar de 6.000 a 8.000 tokens. Portanto, e o que é que acontece quando vocês carregam isto para o modelo, isto vai entrar na tal matriz, portanto, vamos ter aqui já uns tokens que eu estou a pôr no meu modelo e eles vão me cobrar em função do que eu estou aqui a colocar. E, por exemplo, tenho aqui mais ou menos uma tabela que que do do do funcionamento do Cloud, em que eu tenho aqui o preço que se paga por milhão de tokens, portanto, cerca de 10 euros para o modelo mais recente e 10 cêntimos para o modelo eh, menos potente, portanto, a diferença é abismal, portanto, e o que é que acontece? Quando eu fizer uma entrada com tal documento de oito eh, de oito páginas, vai me custar cerca de 8 cêntimos no Favo, não é quase nada, e no no Iquidu, cerca do, eh, eh, 0.1, portanto, um valor muito baixo, mas, eh, depois vou vou ter que processar e tudo isto vai-me originar aproximadamente estes custos de 23 cêntimos por 0.2 cêntimos. Agora, o que é que acontece? Nós muitas vezes temos que fazer interações. E interações implica que eu vá carregar novamente para melhorar o documento e muitas vezes o que acontece, a minha janela vai crescendo e o que é que aqui temos? Uma economia de escala, em que se eu for fazer quatro revisões, ou seja, peguei no meu documento, por exemplo, a primeira vez, eh, faço, depois peço para melhorar em função do do feedback e assim sucessivamente, o custo vai aumentar consideravelmente. Isto que eu estou aqui a fazer, depois penso que o meu colega o Ricardo vai falar um bocadinho também nisto, na parte dos agentes, porque é um processo semelhante, embora aqui eu esteja, eu no controlo do processo como humano a fazer este processo. Portanto, só que falei no no no Cloud, mas sensivelmente os preços são semelhantes no no Open AI, portanto, aqui os modelos equivalentes, etc. Portanto, o que é que se está aqui a a usar. Eh, portanto, estamos a usar recursos do essencialmente da hardware que que permitiu construir esta matriz e somos taxados em base do do que usamos, segundo estes princípios. Portanto, muitas vezes, por exemplo, eh, se eu não tiver tanta pressa ou for um caso, posso usar estes modelos mais económicos, por exemplo, para fazer resumos, etc. E controlar um bocado. Portanto, é isto que está aqui um bocado por trás desta economia dos tokens, ou seja, ah, vocês terem uma noção do que é que é o melhor para a tarefa. Ou seja, ah, e alternarmos entre esses modelos, ah, em função daquilo que queremos. Portanto, este exemplo aqui, ah, é um, é um coisa simples, mas pronto, o que é que, o que é que acontece? Sempre que vamos aumentar, ah, a minha janela, eu vou ter que usar mais, mais tokens, mais memória, portanto, e vai subir o preço. Ah, pronto, o que é que eu posso fazer? Muitas vezes tentar, ah, encurtar, criar, portanto, há sempre a necessidade muitas vezes usar a mesma pronto, para ter o contexto por aí fora. Ah, e isso vai ocasionar esses, esses tais preços. Portanto, o e muitas vezes esses modelos não tão rápidos vão ter um desempenho muito semelhante a estes melhores em tarefas simples, etc. Portanto, isto é importante, ah, um bocado aqui resumir isto, que é o a escolha do modelo e o tipo de coisa tem um papel importante no, no custo, ou seja, ah, agora a pergunta é, como é que eu sei qual é o melhor modelo para aquilo que eu quero? Portanto, é um bocado função da complexidade, do contexto e muitas vezes é tentativa e erro. Ah, agora vocês podem dizer, mas eu vou fazer uma pesquisa hoje pela primeira vez, ah, pronto, nesse contexto eu vou testar vários cenários, eu às vezes testo vários cenários, ah, porque se, por exemplo, no meu caso, tenho uma versão paga de aquela de 20 euros ou equivalente, ah, se exagerar, o contexto que eu tenho semanal ou ou diário rapidamente fica bloqueado, porque, ah, exagerei no, nos tokens que usei, etc. Portanto, é um bocado isto que está aqui por trás. Portanto, é muito importante, ah, termos consciência disto e e trabalhar um bocado com com estes com com estes princípios e estes modelos. Portanto, agora aqui para fazer um bocadinho de transição para o meu colega, eu vou aqui focar um bocado a diferença entre isto que eu tive aqui a falar muito, o uso de um LLM em que a gente faz uma prompt e queremos uma resposta, portanto, estamos aqui no no contexto pessoal, quase procura de informação, etc. E portanto, hoje ouve-se falar muito na na parte de agente e KI em que muitas vezes o querer muitas vezes fazer um fluxo de informação, ah, sequência, etc. E princípio aqui ah, vai-se fazer um conjunto de automatismos, esses conjuntos de automatismos vão usar por default modelos e e que vai ser importante escolher os modelos porque eu vou ter que, se calhar, muitas vezes usar ou uso vai ser mais intensivo e no contexto de agentes é muito importante controlar os custos porque senão isto vai disparar. Portanto, o o ciclo de um agente é muitas vezes é definir o objetivo, planear, escolher a ferramenta ou o modelo, observar, ajustar e muitas vezes isto é um ciclo que que que vamos tentar otimizar. Portanto, aqui só um coisa para comparar, portanto, entre as duas aproximações, portanto, eu quando estou num modelo posso dizer que pessoal, portanto, chatbot, muitas vezes quero resposta em texto, por aí fora e vou procurar. Quando estou em agentes, vou vou vou mais a ações, resultados, portanto, e vai haver aqui uma diferença e este lado da da parte dos agentes vai ser muito mais agente porque eu vou ter que fazer um conjunto de ações, ou seja, vou recorrer mais intensivamente aos meus modelos e tenho que otimizar. Portanto, aí está aqui um bocadinho, por exemplo, eh eu só vou dar aqui um exemplo entre um processo e outro. Eh pronto, todos nós acho que já fizemos o caso de planear uma viagem e o que é que eu posso chegar a um LLM e vou dá-me aí o vou dá-me aí ideias de hotéis, faz-me aí rota para dois ou três dias numa determinada cidade, vamos supor que era Lisboa. Ou posso criar um agente que peço, olha, eu quero viajar para Lisboa entre as datas tantos e tantos, vê-me aí o calendário, procura-me dias em que os voos estejam abaixo de 100 euros, procura-me hotéis que o custo seja inferior a X. E o que é que eu vou ter que ter um certo dinamismo, ou seja, o sistema vai-me procurar de uma forma eh contínua, como eu configurei a a minha ação, ou seja, e vai depois indicar em função das regras o que é que eu quero. Por exemplo, outro exemplo é uma situação típica de um cliente pede um reembolso, eu posso, como pessoa, pegar no no no e-mail ou no no documento eh e passá-lo por um LLM e muitas vezes invoco o decreto-lei X, Y e Z e tenho uma carta toda bonitinha. >> [roncando] >> Ou eu vou recorrer a ações, ou seja, eh agentes que vou ver esse pedido num num sistema, por por exemplo, no CRM, vai vou consultar a política de reembolso, vou ao sistema X, Y e Z e vejo o que é que pode ser feito por default, etc. e portanto, tenho aqui um conjunto de ações a fazer. Portanto, é um bocadinho este processo que vamos ver agora com com o Ricardo, que é importante o uso e e os custos associados, porque senão, muitas vezes, esses agentes vão trazer custos, se calhar, até superiores ao humano. Portanto, é um é um bocadinho esta parte aqui que queríamos realçar um bocado, ah na no nos agentes, ou seja, nós vamos ter que fazer um conjunto de processos e os quais vão automatizar ações e essas ações vão ser repetitivas no tempo, é bom que, para além de funcionar, sejam sejam também otimizados a nível de custos. Portanto, isto é um bocadinho depois algumas regras de bom senso e o que é que cada um pode fazer depois desde desde o processo e, se calhar, nada melhor do que depois vermos aqui isto a funcionar, ah, e se calhar, ia passar então aqui, ah, a palavra para o meu colega Ricardo, para continuar com uma demo do lado dele. Obrigado. >> Obrigado, João. Ah, portanto, ah, antes de mais, boa tarde a todos. Ah, aquilo que ah, tivemos a ver até agora, portanto, ah foi ah como é que se calcula ou como é que como é que qual é a forma de de faturação, digamos assim. Ah, e compreender, de facto, a base de de tudo isso que serve para o cálculo ah do do daquilo que é cobrado quando usamos um modelo ou outro, OK? Então, o exercício que vou tentar fazer convosco é diferente, portanto, vamos pegar num ticket real, ou seja, já numa lógica de agente, como o João estava a explicar, ah, e e vamos colocar um preço, um custo em cada passo do agente. E depois iremos mostrar-vos o que é que muda quando a arquitetura é é é diferente ou quando desenhamos melhor, ah, a componente do agente que estamos a querer montar. Como como o João referiu há pouco, experimentando, obviamente que quando há desafios, tem que se, vem muito da experiência também, mas, ah, perceber qual é que é o contexto do desafio, ah, perceber, por exemplo, se querem respostas em real time ou se os os processamentos utilizando IA podem correr durante a noite, ah, automatizando processos e que podemos usar modelos mais eficientes do ponto de vista financeiro, OK? Portanto, no e depois no fim, a a ideia é olhar para aquilo que nós vamos fazer, que é o processamento de um ticket e tentar extrapolar isto para 20.000 tickets por mês, numa lógica de uma loja online ah de média dimensão. Tudo o que vocês vão ver agora está a correr ao vivo, está a utilizar modelos, ah, no Azure Foundry da da nossa subscrição da DX Spark e os valores que vão ser apresentados estão estão estão em euros. Obviamente que pois todos os meses vão lançando novas alterações e atualização de preços, portanto ah sugiro depois se tiverem curiosidade, ah, verem o o Claude na na Anthropic conseguem ver o consumo da API, como o João estava a referir, o que é que é o custo de tokens de entrada e tokens de saída, ah, e também na componente da Azure da Microsoft conseguem ter essa visibilidade a priori para depois começar a desenhar e a decidir qual o caminho e os e os modelos que vão escolher. Portanto, isto é o ticket da Ana. O ticket diz que a minha encomenda, que é número 4471, chegou ontem com o ecrã do candeeiro partido, o que estava à volta, o vidro, e quer devolver o candeeiro e ser reembolsada. E o que é que tem que fazer? Portanto, isto simulando uma lógica uma loja que é a Lumen Arc de luminárias, de candeeiros. Eh, são foram 129 euros que ela pagou por este candeeiro. Eh, e o candeeiro foi entregue ontem. E a ideia é tentar ter aqui um agente que faça um processamento deste tipo de tickets para retirar carga operativa nas equipas eh de pessoas humanas, vá, vamos chamar assim. Portanto, se olharmos eh eh nesta componente, o que é que o o agente vai para resolver, ele ele tem três coisas. Tem as instruções que política defina de política de apoio ao cliente toda, o catálogo de produtos, eh qual é que é o procedimento neste tipo de operativa que está definido na empresa. E só isto estamos a contar com 5.000 tokens OK? Portanto, eh guardem este número porque este número vai voltar e associado também àquilo que o João estava a explicar. Depois disso, o agente tem à sua disponibilidade através de model context protocol quatro ferramentas. Eh, permitem-lhe ele consultar uma encomenda, consultar a política da empresa, abrir um reembolso e agendar a recolha do de um de um equipamento, neste caso de um candeeiro. E depois tem guardrails definidos, tem limites, só aprova sozinho sem intervenção humana até 150 euros e se tiver dentro dos sete dias de reclamação desde a desde a entrega. Acima disso fica pendente de de aprovação de uma pessoa. A ideia é corrermos este ticket cinco vezes com cinco arquiteturas da gente, com modelos diferentes, e ver quanto é que custa cada uma, ok? Portanto, antes de abrir eh eh a componente mais prática, eh que é o que vocês vão ver a seguir, portanto, o agente não responde, ok? O agente entra num ciclo. E a ideia é que em cada volta que o ciclo o o que o agente corre, o modelo recebe as instruções, eh as ferramentas, como tínhamos referido há há pouco, e tudo o que já leu, portanto, este contexto que o João estava a explicar, eh que lhe permite eh depois garantir até probabilisticamente definir os próximos passos, digamos assim, ok? E o agente nestes nestes runs ele ele ele devolve uma de duas coisas: a próxima eh ferramenta a chamar, por exemplo, vamos imaginar que ele consulta a encomenda para ver se a encomenda é válida e com base nesse output decide se vai consultar a política e anda sempre neste ciclo de de queries do neste caso das tools, das ferramentas, através do model contest protocol até chegar eventualmente à resposta final eh à pessoa em questão. Portanto, nós vamos fazer cinco voltas para este ticket, eh e o importante aqui a reter é, portanto, o modelo não executa nada. As ferramentas correm no código, no que se chama em back end, e o código é que aplica no limite os 150 euros, valida os sete dias. O modelo só decide e escreve o output para para a pessoa em questão. Se olharem para as barras, como estamos a referir, a parte escura são as instruções. Portanto eh e e é notório que temos aqueles sempre iguais, cerca de 5.000 tokens, que correm em todas as iterações. E depois a parte clara acaba por ser o histórico, o contexto que vai crescendo. E obviamente tudo isto somado, cinco chamadas são 32.000 tokens de entrada a cerca de 200, 380 de saída. Portanto, a parte repetida, eventualmente é logo aqui uma tendência que se calhar podemos utilizar sistemas de caching para tornar esta componente eh mais barata. Entre os cinco cenários que nós nós vamos ver, vão mudar três coisas. Vão mudar o modelo utilizado no agente, a ordem do prompt e no último vamos fazer um exemplo que é um router que permite decidir pela complexidade do ticket se utiliza um modelo ou outro, OK? O ticket e o procedimento são sempre as mesmas, está bem? Eh Há componentes relativamente cálculo de custos e e e entender um pouco como é que como é que se contabilizam os tokens de entrada e de saída e nós damos isso na pós-graduação, portanto isso é uma das componentes que nós damos na introdução quer quer ferramentas independentemente de qual é que é o LLM, mas mas falando especificamente na componente da Azure AI Foundry em que foram feitos laboratórios práticos é dada essa visibilidade aos alunos para perceberem o que é que eles estão a fazer e qual é que é o consumo a nível de tokens associados à operativa de utilizar aquele agente com essas características. [limpando a garganta] Portanto, isto não é não é teoria eh e é mesmo um agente que que os alunos constroem no Foundry eh hands-on eh e depois temos como eh a visibilidade no separador de traces que mostra as execuções eh com tokens, durações e custo estimado associado. Portanto, novamente uma pergunta de 40 tokens é uma chamada 3000 porque leva as instruções atrás, as ferramentas, o ficheiro de conhecimento, o rag, não é? Quando a gente vai buscar documentação por MCP, eh, os cabeçalhos das funções, etc, tem que invocar as ferramentas, tem que processar as respostas. Isto, tipicamente, e no caso deste exemplo que estamos a ver, com as cinco ferramentas que temos, isto pode, eh, multiplicar por cinco. Portanto, qual é que é o objetivo de passar-vos aqui esta informação? É o contexto acaba por ser o mais responsável pelo custo, OK? Que era aquilo que o João estava a referir, que é se não tivermos a noção ou ou atenção, digamos assim, eh, na utilização, o contexto vai crescendo e de repente, no caso da Anthropic, somos bloqueados porque excedemos os limites da sessão e tokens, ou então se tivermos em ambiente empresarial e não tivermos limites de definição de custo a nível de utilização dos temas, podemos, eh, estar a montar um processo assente em agentes e depois a fatura ao final do mês pode ser uma surpresa assustadora, tá bem? Portanto, a ideia é, eh, terem essa visibilidade, eh, naquilo que nós vamos fazer agora. Portanto, se eu conseguir agora partilhar, OK, muito bem. Fizemos aqui uma representação web do processamento, aquilo que temos são os cinco cenários, estamos a falar de um piloto, um agente que corre com o modelo de topo, neste caso é o GPT-61 sol, eh, sem cache associada. E depois vamos correr, vamos trocar de modelo, não utilizando cache, e depois vamos trabalhar, eh, a componente da cache com o modelo médio e depois vamos passar para o modelo mais pequeno e depois usar o sistema de routing. Portanto, nós vamos ver isto a funcionar no momento e vamos ver passo a passo, eh, o que é que o agente está a fazer. Deste lado, temos aqui algumas, eh, características de cenário, digamos assim. Estamos a dizer que a taxa de sucesso do modelo de topo é de 92% do médio é 88, do pequeno é 70% e utilizando o routing 92% com os custos aqui associados. Portanto, o GPT61 no topo, o 41 mini no médio e o 5 no, eh, nano. E depois aqui é tentar validar o que é que é rentável numa operativa empresarial. Ou seja, vamos olhar para isto naquilo que é o processamento do custo em si, portanto de dos vários runs nas nas vários cenários, mas depois pensar se, eh, um médio, eh, acerta ou responde bem 88% das vezes, o as outras 12% de vezes, o que é que acontece? E então tenho aqui, eh, quanto é que custa, eh, ter uma pessoa de suporte. Vamos começar por pôr isto a zero para não ter essa dependência e quanto tempo é que demora a processar. Portanto vou começar a correr isto. Eh, passou aqui novamente. Espera aí. Portanto, ainda não arrancou. Espera aí. E vamos lá então. Portanto, o primeiro run a correr. Portanto, cada linha que estamos a ver é uma chamada ao modelo, eh, e e reparem no input que está a crescer. Portanto, temos, eh, se eu consigo colocar aqui o rato, portanto, a entrada de tokens, temos aqui os 5.700, ah, base e depois vai crescendo a nível de cada chamada, porque vai levando o contexto de processamento. Portanto, e e e o script diz isso o nitidamente, portanto, tivemos 33.000 tokens de entrada para 384 tokens de saída com esta resposta a dizer que a Ana lamento que o candeeiro tenha chegado ao partido, o reembolso total foi aprovado no processo tal, agendei uma recolha gratuita ah tal tal tal tal tal tal e para alterar a recolha responda ao e-mail até às 8 horas, portanto, aparentemente ah a resposta funcionou e custou-nos 6 cêntimos ponto 22 a processar este ticket, OK? Agora vamos trocar de modelo, vamos passar para o modelo médio. O mesmo agente, portanto, a ideia é ter a mesma resposta e ah cinco vezes mais barato, portanto, perceber então logo aqui que se calhar temos que decidir qual é que é o modelo que nos melhor convém a utilizar para determinada tarefa, portanto, temos na mesma os 32.000 tokens, neste caso 263 tokens de saída, ah, Ana Ribeiro, o seu pedido de reembolso foi aprovado, agendamos a recolha, mesmo o objetivo final, ah, foi o mesmo. Mas o custo foi completamente diferente, estamos a falar de de um cêntimo versus 6 cêntimos de há pouco, OK? Agora vamos ligar a a cache no modelo médio portanto Portanto, o prefixo repete-se, a cache apanha esse esse prefixo e se repararem na coluna da cache que começa a partir do passo dois, começamos a conseguir poupar nos tokens de contexto. O que é que isto quer dizer? Quer dizer que, eh, a entrada de tokens reduzido substancialmente, só temos novos tokens, 7.000 tokens, eh, e ainda cache foram utilizados 25.000. Portanto, isto permite que dos 72.000 tokens, 78% foram utilizados a partir da cache com os 281, eh, tokens de saída. Novamente, a resposta foi aprovada, o contexto global é igual. O custo é completamente diferente, portanto, estamos a ver 0,5 cêntimos de, de euro para processar o mesmo que tínhamos eh nos modelos anteriores, OK? E por fim, vamos então aos dois cenários de modelo pequeno, neste caso com o GPT-5 nano. Que vai chamar novamente, aqui não não tem cache. Demora mais. Lamento, peço desculpa, aqui tem cache, no, no modelo pequeno tem, tem cache também. Eh, até dá para ver aqui, portanto, aqui no contexto inicial e depois a utilização do, do passo dois, a utilização da cache. OK? E vai chegar ao passo cinco de resposta. A resposta vai ser diferente. Aqui mais sintetizada, confirme, registamos o dano no transporte, abrimos o reembolso, o processo tal, o artigo, o valor, meio de reembolso, reembolso autorizado, ou seja, não tem também uma, um texto tão, tão fluído do ponto de vista de resposta. E custou 0,1 ou 0,19 cêntimos, eh, de euro. Depois o cenário do routing, que é aquele que tínhamos falado há pouco, que vai o, olhar para um, para um, uma perspectiva de diferentes tipos de, ah, ah, incidentes criados, de tickets, em que para os tickets mais simples, ele vai olhar para o contexto do ticket e depreende que pode fazer sentido utilizar um, ah, modelo mais eficiente economicamente ou utilizar, ah, um modelo de topo se for mais complexo o processamento. Novamente, estamos aqui a ver o processamento com routing e com cache. E chegamos aqui a uma tabela interessante que é Deixem só acabar porque ele está a fazer o run de, do ticket complexo para testar os dois modelos. OK? E chegamos aqui a um run interessante que é o GPT 61 sol sem cache para 20.000 token, para 20.000 tickets, ah, vai custar 1.244 euros. O GPT4 mini sem cache 240 e depois quando começamos a usar sistemas de caching temos o 41 mini com cache 104 ou GPT5 nano com cache 38 euros. Portanto, a diferença é abismal, OK? Ah, e pode, ah, o limite ser o sucesso de utilizar a inteligência artificial dentro de uma empresa ou não. Isto é a prova de que, ah, todas as pessoas podem utilizar a inteligência artificial. A ideia é tentar, ah, passar a informação de como fazê-lo da melhor forma porque o, o uma má escolha pode inviabilizar, ah, a sua utilização no futuro porque depois, do ponto de vista de financials, a empresa acaba por pensar, ah, se calhar mais vale ter pessoas a atender e a responder aos tickets, porque assim, eh, não conseguimos, eh, rentabilizar a utilização da inteligência artificial. Portanto, se olharmos para aqui, para o cenário eh diz, então, que o GPT-5 Nano mais a Cache é o melhor cenário. Se eu começar a trabalhar aqui nas variáveis de, por exemplo, dizer que uma pessoa pode ter um custo para a empresa de, eh, 10 euros à hora e que demora 10 minutos a processar um ticket, então, na verdade, o GPT-5 Nano mais a Cache já é um problema grave, porque, na, ele só acerta 70% das vezes. Quer dizer que ele vai precisar reencaminhar 30% e esses 30% têm um custo com uma pessoa. E se começarmos, então, a olhar para a tabela, então, neste caso, o routing de, GPT-5 Nano e o 61 para temas mais complicados acaba por ser o melhor cenário. Portanto, é esta, eh, visão que queremos passar com este exemplo, de que depende, obviamente, do contexto profissional, eh, e entender qual é que é o desafio para perceber o que é que melhor se adequa ou que modelos, podem ser vários, é que fazem sentido utilizar em cada passo, está bem? Voltando aqui, então, à apresentação, portanto, isto acaba por ser um resumo daquilo que tínhamos falado, portanto, o, se olharmos para o custo de inferência pura por token, >> [limpando a garganta] >> o GPT-5 Nano mais a Cache é mais barato, eh, mas se olharmos para um custo efetivo, tendo em conta que parte deles vão ser processados por uma pessoa, então, se calhar, o routing com Nano, eh, e Sol mais caching, eh, é mais rentável, OK? Quatro ideias para levar desta apresentação, portanto, a ideia é que o contexto é custo. Cada passo reenvia instruções, eh, ferramentas, histórico, o que é fixo vai sempre primeiro para depois a cache conseguir apanhar. E o modelo, eh, escolhe-se por tarefa que nós queremos executar. Eh, há, normalmente usa-se o barato por, por omissão, não é? O mai, o, o maior, eh, onde a variância custa mais caro e, e, e e acaba, acabamos de ter aqui, eh, a hipótese de ter um classificador de cêntimos para decidir. E tudo isto mede-se com e-values, portanto, não é com demonstrações como estamos aqui a fazer, era o que o, o, o o João estava a explicar há pouco. Tem que se experimentar, tem que se avaliar com textos reais e, e entender o consumo de tokens, eh, qual é que é o consumo que temos para processar aquilo que nós queremos. E, e atenção que o modelo não é determinístico portanto eh depois temos que ver que taxa de sucessos e custos por ticket tem que se medir antes e depois, de ir para produção. Eh, obviamente, é, é imperativo colocar limites desde o dia um, eh, quer no número de passos que o agente está a executar, quer no número de tokens que ele possa ter que utilizar e o orçamento que ele tem por tarefa. E, e, e, ou seja, definindo aqui os guardrails de funcionamento. Tudo o que seja mais do que isso, passar para aprovação humana para garantir que temos este, este acompanhamento e o que nós chamamos de human in the loop. Portanto, é isto que nós fazemos na DX Park, é isto que nós, eh, ensinamos na prática na pós-graduação, eh, obviamente com um contexto anterior de teoria e prática dado pelo, pelo João e outros colegas, eh, e que depois combinam em laboratórios mais práticos para que todos os alunos possam, possam ver isto na realidade, aprender e depois executar por si. João, passo-te a palavra. >> Obrigado, Ricardo. Portanto, eu se calhar, não sei se há perguntas da audiência que queiram esclarecer. Portanto, nós estamos aqui numa sessão, acabamos de terminar a primeira edição, em que tivemos quatro projetos muito interessantes, em que as pessoas em grupo criaram soluções reais e num fim de semana de de dois dias, puseram as soluções a funcionar, tiveram tempo para fazer apresentações e os trabalhos estão muito giros. Portanto, só aqui para aqui focar um bocado a a diferença aqui, pronto, na nesta pós-graduação que eh, damos sempre o contexto teórico, mas a predominância é é o saber fazer e o poder executar. E hoje, as ferramentas que temos com os LLMs, a gente eh, pessoas técnicas e não técnicas conseguem fazer projetos sistemas eh e o ponto mais importante, muitas vezes, é não é a capacidade técnica, mas sim eh, o conhecimento do negócio e o controle da situação, etc. Portanto eh era isto que estamos aqui a focar um bocado e, portanto, eu não sei se não houver questões, eh, podemos aqui, talvez, mostrar algum do dos trabalhos que que que houve. Eh, portanto, estava aqui a ver se peço não há questões. Ricardo, queres dizer mais alguma coisa antes de eu passar aqui a Estás estás sem som. >> Estava a dizer que tem aí questões. Eh, se reparares aí, tá aí no chat. >> Tão aí. >> Eh, eu já respondi a parte, pronto, estava aqui >> vi, já vi. Eu já Eu pronto, a ponte era o Depois também acabaste por eh, pronto. >> tenho muito a acrescentar relativamente àquilo que tu disseste. Há uma diferença substancial nesta pós-graduação em que o nosso objetivo não é que os os alunos saibam de inteligência artificial para que possam falar sobre isso. Não é só isso, é que compreendam e que consigam utilizar e que isso de facto é a base para os deixar preparados para desafios utilizando inteligência artificial, obviamente. >> [roncando] >> Eu como, pronto, não há perguntas, vou aqui tentar mostrar aqui um bocado as demos que que houve dos dos trabalhos. Portanto, houve quatro trabalhos em quatro temas diferentes. Portanto, este foi um tema feito por o apoio ao helpdesk com o ticketing como multiagente. Se calhar, eu vou aqui deixar correr um bocado. E Ricardo, se calhar também podes comentar comigo e ajudas-me aqui um bocado, portanto, também no processo. Ah, portanto, isto é um típico Ah, não está não está a ver? >> Não, não. >> Pera aí, então eu eu estou no share. >> Estou a ver a folder. Estou a ouvir. Estávamos a ouvir, mas estávamos a ver a folder. >> Pera aí. Eu estou a partilhar o ecrã dois. OK. >> [música] >> Está perfeito. >> OK. Portanto, isto isto foi o foi o trabalho feito na parte [música] do ticket. Portanto, toda a parte feita aqui com desenvolvida pronto com >> [música] >> helpdesk. Feito em 24 horas, praticamente no fim de semana. Portanto, isto foi um trabalho muito interessante e tecnicamente bastante evoluído. Portanto, queres [música] dar algum um contexto, portanto, das plataformas? Portanto, eu tive um bocado na parte do do machine learning, na contagem, depois pronto, todo este processo aqui de encadeado. >> Sim, [música] estamos a falar de uma componente >> [canto] >> Isto é end-to-end. Isto não Isto foi uma ideia que trouxeram no >> [música] >> esquema do helpdesk, utilizando o AI, compreendendo machine learning era importantíssimo do ponto de vista daquilo que é interpretação dos tickets que estão sendo criados e depois toda a parte da gente e modelos em cima do do do processo de criação de tickets [música] e análise dos mesmos. Eh, categorização do tipo de ticket, categorização da criticidade do ticket eh módulos de integração depois mais tarde com o MCP para resolução dos tickets mediante conhecimento adquirido >> [música] >> eh e depois toda a comunicação do utilizador, quer seja por e-mail ou não. Eh, >> [canto][música] >> e que permite ter um processo automatizado de helpdesk eh utilizando machine learning para balanço [música] e sistema de dados e depois acaba por alimentar informação para o agente para poder interpretar quais é que são as melhores eh eh tools a utilizar para gerir [música] incidentes etc. Portanto, eh isto é um dos trabalhos eh que ainda vou ver se tenho tempo de apresentar mais dois ou [música] três. Agora é só ver aqui uma pergunta no chat. Não, está aqui alguma nova pergunta. Eh >> [música] >> a saber que o som tá tá mau. Podes baixar o meu vídeo. OK. Pronto, já baixei [música] um bocadinho. Portanto, isto é parte de machine learning eh e depois toda a análise subsequente do processo, etc. E pronto, mais uma vez, só queria [música] realçar eh portanto, com o conjunto de dados que carregamos este desenvolvimento foi feito depois, não só o desenvolvimento, [música] a apresentação e tudo e o resto. E portanto, é um dos resultados do saber fazer saber ah e criar [música] produtos que possam ter aplicabilidade. Portanto, ah inclusive na demonstração, >> [música] >> podemos fazer tickets ah em tempo real. Portanto, este eh foi um dos dos dos temas >> E este e este trabalho, desculpe interromper, este trabalho tinha também a componente de health check, ou seja, eh tinha uma componente de backoffice que permitia fazer um health check quase eh eh computador de bordo de de um de um avião a perceber se todas as componentes estavam em funcionamento, consumos, tokens, eh latências dos vários sistemas. >> Portanto, este eh foi >> Eh dona Hermínia, vive sozinha em Olentis há 10 anos. Os netos, emigrados em França, ofereceram-lhe um tablet para falarem todas as noites. >> [música] >> Em 2024, um desconhecido começou a escrever no Facebook. Sabia o nome dos netos e onde viviam. Ganhou a sua confiança. Um dia, indicou-lhe uma página que prometia duplicar as suas poupanças. A dona Hermínia transferiu 10.000 euros, tudo o que tinha. >> [música] >> O dinheiro desapareceu e com ele a casa onde vivia. >> [música] >> Portanto, este é um trabalho que teve grande aplicabilidade. >> os burlões mudam de endereço, mas o esquema é sempre o mesmo. >> [música] >> O VEGA aprende com as fraudes já conhecidas. Reconhece rapidamente as novas páginas e sinaliza-as aos inspetores da Polícia Judiciária. >> [música] >> O inspetor confirma o caso e comunica ao ser ponto pt para que as páginas fraudulentas sejam travadas. [roncando] >> [música] >> Com o Vega, os casos chegam já analisados e agrupados de acordo com um protocolo pré-estabelecido. O inspetor decide mais depressa e trata muitos mais casos. E qualquer pessoa pode denunciar. Basta contar o que aconteceu por voz ou por texto. Desta vez, a fraude é travada a tempo. >> [música] >> O valor do Vega mede-se, antes de mais, nas pessoas. [música] Cada fraude travada protege poupanças, autonomia e dignidade e devolve a confiança no digital a quem mais precisa dele. >> [música] >> Mede-se também na economia. Só uma rede desmantelada pela Polícia Judiciária fez circular, em três meses, cerca de 50 milhões de euros com origem em burlas e crimes informáticos. Cada euro que não chega aos burlões fica no país a gerar consumo, poupança e investimento. >> [música] >> E mede-se no estado: menos tempo em triagem, mais tempo para investigar, menos vítimas, menos encargos para as famílias e para os serviços de apoio social. O Vega não é um produto para vender, é uma solução pública ao serviço do país. Vega: >> [música] >> menos vítimas, mais confiança no digital. >> Portanto, isto é um exemplo do trabalho, neste caso, foi um trabalho aplicado numa numa entidade do qual tivemos um participante e, bom, penso que poderá ter uma grande aplicabilidade. Portanto, outra coisa aqui também vocês estão a ver aqui estes vídeos de promoção foram feitos pelos próprios pessoas, com recurso a ferramentas, ah, para criar a ideia, vender. Portanto, está aqui todo um desenvolvimento e não só também depois a a componente de transmitir e passar a mensagem. Ah, portanto, eu acho que ainda há aqui tempo para apresentar, se calhar, mais um. Ricardo, não sei se queres dizer aqui alguma coisa deste. Este é um >> dar só aqui um bocadinho de contexto. Portanto, estamos a falar de um de um de um trabalho eh com uma componente forte de machine learning eh associada a a a repositórios GitHub conhecidos de de sites maliciosos, por exemplo, eh e que com base nisso eh proativamente eh passa essas informações a um sistema de multiagentes que depois notifica o CNCS eh para eh definir protocolos próprios e legais da Polícia Judiciária que pode culminar eventualmente no pedido a um operador para desligar um determinado site por por se considerar fraudulento. Esta componente de vídeo que estávamos aqui a ver eh foi um agente extra que foi feito n- que comunica com a população e que está disponível para a população para as pessoas poderem fazer aquilo que se chama de denúncia. Portanto, com a pessoa pode entrar online, conversa com o agente, o agente tem eh um scripts de de conversação e de recolha de informação própria no seu workflow n- com a interação com o cidadão e depois com base nessa informação regista a denúncia para depois existir sempre um inspetor no fim que valida com a base com a informação do que veio do machine learning também que depois é processada por outros agentes. >> Portanto, este foi foi um dos que pronto, eu penso que teve mais aplicabilidade. Eh, depois eu por acaso não tenho aqui o vídeo. Tivemos um pronto, feito por o grupo dois que foi feito com eh também na no Sherpa Bank. Eh, portanto, eu vou aqui só mostrar o conceito principal do Não tenho aqui disponível a apresentação. Portanto, o Ricardo, consegues dar aqui detalhes técnicos deste do, >> Sim, portanto, é? >> a falar de, eh, um processamento machine learning que corre com base, com, com os dados bancários que permite identificar, eh, percentagem de, de possível saída de um cliente do banco, eh, e com base nisso definir qual o risco de saída desse cliente. Pois esta informação pode ser trabalhada, em diversas vertentes, seja apoio ao cliente, ou, ou até, proativamente, de chamadas outbound proativas. Eh, neste caso em concreto deste, deste trabalho, o que eles fizeram foi, eh, agentes de suporte, um apoio ao cliente, com base num, num ticket ou numa queixa, eh, ou num pedido feito pelo, pelo cliente. Vamos imaginar que o cliente eh, registra no site do banco a dizer que quer fechar a conta, eh, tá muito, descontente com o serviço, aquilo que seja. E o operador, eh, que faz, faz parte da equipa de apoio ao cliente, é-lhe apresentado um dashboard em que é identificada a percentagem, a probabilidade de saída, qual é que é o risco de ele sair. E esse agente não só tem informação sobre a, a política de retenção de, de clientes, mas também tem a componente de, eh, definição de, de, de atribuição de vouchers, por exemplo, para garantir retenção. Portanto, isso tudo serve de rag, de conhecimento para o agente, que dá essa informação ao operador para que o operador possa responder, eh, ao utilizador. Inclusivamente, se existir um determinado threshold, eh, definido, eh, e se o voucher tiver dentro de um patamar, eh, acho que tava 50 euros, no caso deles, o agente pode proativamente, eh, oferecer o voucher ao cliente eh como forma de garantir a retenção. >> E [roncando] já agora, aproveito para mostrar o quarto trabalho, portanto na área da da construção, portanto foi um grupo >> com um sonho. >> Ah. >> Um lugar, uma casa, um futuro que imaginamos nosso. Mas construir começa muito antes da primeira pedra. Começa por descobrir [música] o lugar certo, compreender o território e planear cada decisão. Com o Construir Mais, a Marta [música] transforma dúvidas em possibilidades e possibilidades num caminho. Construir Mais. Do sonho à decisão. Tudo começa com um >> Portanto, aqui é um bocado ah o a questão, portanto de poder simular o Portanto, há um espaço que que é alocado e depois ver todo o processo de eh interação para modelar eh o a construção e etc. Portanto, é um muito processo interativo de poder criar etc. Portanto, isto é outro exemplo de trabalho feito. Este aqui eh chama a atenção que foi feito com pessoas essencialmente não técnicas. Eh, e fizeram toda todo este processo de de simulação, construir eh e buscar valores etc. com base de dados, portanto eles carregaram eh portanto todo um sistema de georreferenciação de de vários locais em Portugal >> E PDM's também. >> Tem >> E PDM's, ligações ao ao IMPIC para análise dos construtores também. Portanto, a ideia aqui é a pessoa ter um terreno e e pensa eh e e ter um suporte um vou-lhe chamar legal, mas pronto, eh que lhe permita identificar o que é que pode fazer, como é que pode fazer e depois se eh acompanhá-lo durante todo o processo de construção, portanto as várias fases, ah, quer definição de contratos com, com, com prestadores de serviço, etc. E o, o, o, os agentes, tanto a nível de RAG e não só, poderem acompanhar a pessoa nesse processo. >> Pronto, ah, acho que também estamos a chegar ao fim da hora, portanto não sei se há alguma, mais alguma pergunta, portanto é só aqui focar que, ah, estamos a construir a segunda, ah, edição da, da pós-graduação e a aposta, mais uma vez, é no, no, no saber fazer, portanto estamos a aumentar mais a quantidade de módulos práticos e, ah, a dar mais tempo para a construção destas soluções aplicadas que, ao fim ao cabo, são os projetos dos grupos e essa interação. Ah, e, e, portanto, também apostar um bocado na, em ferramentas de código aberto, que também é importante, portanto aqui nós trabalhamos essencialmente na, a aposta inicial foi com ferramentas Microsoft, mas não desprezando todo, todo o mundo do código aberto. Etc. Portanto, ah, vamos começar, ah, na segunda semana de, de novembro, ah, se não me engano, na terça-feira, portanto as aulas são sempre online às terças e às quintas e este, nesta segunda edição, vamos também ter uma componente, ah, presencial de apoio aos trabalhos, para aumentar, ah, esta capacidade de aplicar. >> Uhum. >> Ah, portanto, da minha parte é tudo, não sei se queres completar alguma coisa, Ricardo, ou se há mais alguma questão. >> Só convidar, a convidá-los a ver o programa, ah, obviamente que, que todo o, o ISEG Executive Education está disponível para qualquer questão que tenham, em eh, se tiverem dúvidas, eh, e não sabem se vão inscrever já nesta edição, eh, inscrevam-se na mesma para terem tempo para a terceira, quarta edição, eh, portanto, ela, elas vão prosseguindo, eh, é de aproveitar esta que tá a começar agora, eh, eh, creio que as turmas não tão totalmente fechadas, acho que ainda é possível aceitar algumas inscrições, portanto, eh, é saber fazer, é isso que o João referiu, esse é o objetivo, não tanto, eh, operação de charme e de marketing para falar sobre IA, é mesmo para transmitir conhecimento, para que vocês, daí para a frente, consigam, eh, enfrentar os desafios de inteligência artificial. >> Portanto, só queria dizer que eu tava aqui a ver o curso, vamos começar a 10 de novembro, uma terça-feira. E eh e portanto e eh uma das coisas que vamos fazer já é começar logo com prática. E começar, eh, a construir logo a ideia dos projetos bastante mais cedo e, portanto, a ambição é, nesta segunda edição, conseguimos ir mais longe na qualidade dos trabalhos, eh, aí, poder aumentar a interação e todo este processo que foi feito ao longo destes três meses, portanto, isso são cerca de 140 horas distribuídas por três, quatro meses. Então,
Assuntos: Agentes de IA. Publicado no YouTube em 2026-10-22.
