COMO IDENTIFICAR O COMPORTAMENTO DOS AGENTES DE IA?

Vídeo em Português, publicado pelo canal PodCast ContraPonto.

Sobre este conteúdo: O resumo, os principais pontos e os temas abaixo são gerados automaticamente a partir da transcrição do vídeo. Eles refletem o conteúdo, opiniões, afirmações e previsões apresentadas no vídeo e não representam posicionamento, validação ou verificação de fatos pelo IA Dots.

Resumo do vídeo

O vídeo aborda a identificação de mudanças de comportamento e desvios em agentes de inteligência artificial, discutindo um caso real de um chatbot que desviou do objetivo inicial de venda de veículos para conversar sobre investimentos. O debate também passa pela evolução dos modelos e pelo uso de técnicas como guardrails para evitar alucinações.

Principais pontos

• Modelos de IA podem apresentar decisões diferentes ao longo do tempo, mesmo sem alterações nas regras de negócio.
• Apresentação de um caso inicial com LLMs em uma agência de veículos, onde a IA realizou um atendimento fora do escopo original.
• Durante uma interação, o agente de IA começou a dar conselhos sobre investimentos e Tesouro Direto após uma brincadeira do usuário.
• O uso de técnicas modernas e guardrails é apresentado como solução para manter os agentes de IA dentro de seus limites e evitar alucinações.

Temas

Inteligência ArtificialAgentes de IAModel DriftAlucinação de IAGuardrailsAtendimento Automatizado

Leitura deste bloco: cerca de 4 min · Duração do vídeo: 3 min 38 s

Vá direto ao ponto

• Por que essa história vale para qualquer empresa
• Como o IA Dots enxerga o caso (opinião, não fato)
• O que as fontes confirmam
• Empresas, modelos e serviços citados
• Leia também sobre agentes de IA
• Pergunta para você

O caso em três pontos

• O convidado relata um teste de atendimento por voz com IA numa agência de veículos, fora do horário comercial, para agendar test drive e responder sobre o estoque.
• Depois de uma piada sobre “roubar um banco” para comprar um Porsche de cerca de R$ 700 mil, a IA passou umas duas horas conversando com o cliente sobre investimentos e Tesouro Direto.
• A saída apontada no vídeo são os guardrails, técnicas que mantêm o agente dentro do escopo, e modelos que “deliram” cada vez menos.

Por que essa história vale para qualquer empresa

Quando um agente de IA conversa com clientes em nome de uma empresa, o risco não é só errar uma resposta: é sair do papel para o qual foi criado. Neste trecho do PodCast ContraPonto, o convidado conta um caso real de atendimento por voz que fugiu completamente do roteiro, e a lição vale para qualquer negócio no Brasil que já coloca IA no telefone, no WhatsApp ou no site.

Como o IA Dots enxerga o caso (opinião, não fato)

Esta é a leitura do IA Dots, não um fato. A história é divertida, mas junta dois problemas que costumam ser confundidos. O primeiro é sair do escopo: pelo relato, a IA não inventou dados, apenas trocou o assunto do carro pelo de investimentos. O segundo é a confabulação, o “delírio” citado no vídeo, quando o modelo afirma algo falso com confiança. A pergunta do título, como identificar mudanças de comportamento dos agentes, fica sem resposta prática neste trecho: não aparecem métricas, registros de conversa nem rotina de testes. No Brasil o caso tem um agravante. Mesmo quando o tema é um título público, como os do Tesouro Direto, recomendação de investimento é terreno sensível: a análise de valores mobiliários, por exemplo, é atividade regulada pela CVM e reservada a analistas credenciados. Um agente criado para vender carro não deveria entrar nesse campo, ainda que o cliente goste da conversa. Na nossa visão, o mínimo para quem coloca agentes no atendimento é uma lista clara do que o agente pode e não pode tratar, uma frase padrão para recusar e voltar ao assunto, limite de duração da chamada, revisão humana de uma amostra das conversas e testes periódicos com perguntas fora da caixa, como a do motorista. O vídeo não cita nenhuma ferramenta específica de guardrails nem preços, então não dá para dizer, a partir dele, quanto essa proteção custa.

O que as fontes confirmam

• OpenAI, “Introducing ChatGPT” (30/11/2022): o ChatGPT foi ajustado a partir de um modelo da série GPT‑3.5, e a própria OpenAI listava como limitação respostas “plausíveis, mas incorretas ou sem sentido”, além da sensibilidade a mudanças na forma da pergunta. É a geração de modelos citada pelo convidado.
• NIST AI 600-1, perfil de IA generativa (julho de 2024): define confabulação como conteúdo errado ou falso apresentado com confiança, chamado coloquialmente de alucinação, incluindo respostas que divergem do pedido; e recomenda revisar regularmente os guardrails de segurança, sobretudo quando o sistema opera em situações novas.
• CVM, página sobre analistas de valores mobiliários: a atividade é regulada pela Resolução CVM 20, e o credenciamento dos analistas é feito pela APIMEC desde 2010.

Empresas, modelos e serviços citados

• OpenAI (modelo da série GPT‑3.5, usado na época do caso)
• Anthropic (citada pelo convidado como empresa que ainda não tinha modelo disponível naquele momento)
• Tesouro Direto (assunto em que a conversa com o cliente acabou)
• Guardrails e atendimento por voz com IA (técnicas citadas; a empresa do convidado aparece nas legendas como “Mob Call”, sem link oficial no vídeo)

Leia também sobre agentes de IA

• Como preparar empresas para agentes de IA
• AGENTES DE IA: QUEM CONTROLA AS NOVAS IDENTIDADES DIGITAIS?
• Montei uma equipe de agentes de IA no meu computador. Vale a pena?
• O que são Agentes de IA? Do que se alimentam?

Pergunta para você

No caso contado, o cliente passou duas horas falando de investimentos com a IA de uma concessionária. Se a loja fosse sua, você cortaria a conversa na hora ou veria ali uma chance de relacionamento com um comprador de Porsche? Conta nos comentários e compartilhe com quem está colocando agentes de IA no atendimento.

Este resumo foi gerado com apoio de IA e revisado por humanos.

Transcrição do vídeo

Texto das legendas disponíveis; pode conter erros.

Quando a gente fala sobre identificação, é, eu fico me me questionando muito, eu acho que pelo conhecimento com que você tem, até para a galera um pouco de casa, como que a gente consegue, né, identificar os model drifts e as mudanças de comportamentos de um agente de IA. É, primeiro que o modelo, eu acredito que ele pode começar a apresentar decisões diferentes mesmo sem alterar aí as é, as regras de fato de negócio. Então, como que a gente consegue identificar é, esses comportamentos desses agentes em fim, você tem alguma maneira e alguma forma de poder trazer essas informações? >> Quais os requisitos necessários para que evite algum tipo de delírio, né? >> Exato, é. >> No passado se falava muito de delírio. É, alguns anos atrás, é, quando eu ainda tava na Mob Call, a empresa que eu fundei, vou contar um caso aqui para vocês. É, nós estávamos bem iniciando na na nos nos nas IAs de contexto, né, nas LLMs. A OpenAI tava com o modelo 3.5, ainda a Anthropic nem tinha deles. E a gente tinha um conhecimento muito forte de telefonia. Nós fomos uma das primeiras empresas que desenvolveu uma solução proprietária de ad voice. E aconteceu um caso bem interessante, né? Inicialmente nós testamos com uma agência de veículo. Qual que era o objetivo? Puts, cara, no final do expediente, que não tinha mais ninguém para atender a loja, o cara poderia receber uma ligação e ia ser atendido por uma IA e a IA seria possível fazer um agendamento para um test drive, alguma coisa em seguida, falar alguns carros que tinham no estoque, coisas bem básicas, mas nós precisávamos testar a a ferramenta como um todo. E uma pessoa ligou, percebeu que era uma IA e começou a conversar com a IA. E ele falou: "Poxa, deixa eu ver até que uma hora a IA chegou a oferecer uma Porsche para essa pessoa". E o cara falou assim: "Poxa, mas qual que é o valor dessa Porsche"? A IA A IA falou: "Setecentos mil reais". Um um valor aproximado a isso, tá? Aí o cara fez uma brincadeira, falou: "Poxa, eu vou ter que roubar um banco para poder comprar essa Porsche". E a IA, muito educada, responde assim para ele: "Pô, não, é roubar um banco é uma coisa ilegal, né? Se você precisar de ajuda para investimento, ter mais dinheiro, tal, eh, você pode, eu estou aqui para te ajudar". E ele ficou durante duas horas conversando com a nossa IA, falando sobre fundo de investimento, a IA falando para ele investir no Tesouro Direto e algumas coisas que estava totalmente desconte desatualizada com a venda de veículo. Mas o cara pirou, dava para ver que o cara estava dentro de um carro, >> Uhum. >> então ele provavelmente estava ligando enquanto eu estava dirigindo. E ele mesmo começou a se impressionar com o que estava acontecendo, que para nós, cara, isso era um cenário totalmente eh, factível ao fracasso, né? Não não poderia ter esse tipo de delírio. Mas a pessoa que estava do outro lado levou tudo muito na brincadeira e ficou duas horas conversando. >> Comprou nada. >> Ah. >> Mas se tivesse aprendido um pouco mais sobre investimento. >> É, se tivesse >> Mas se tivesse comprado ia falar: "Pô, ela fez o papel certo". O importante, que fala o importante no final é o resultado, né, Pedrão? Não importa se foi no papel de pão ou num PPT lindo e maravilhoso. >> O ChatGPT é mais inteligente a a ponto de delirar cada vez menos. E hoje existe técnicas e modelos que a gente chama de guardrails para que não deixe ela escapar da caixinha, né? Isso pode ser dentro de, porque hoje, né, nós estamos deixando de de um mundo digital para ir para um mundo agêntico, né? Então, hoje os agentes têm como criar agentes muito mais preparados com esses guardrails para que eles evitem esse tipo de delírio né?

Assistir ao vídeo original no YouTube

Assuntos: Agentes de IA. Publicado no YouTube em 2026-10-31.

Seleção automática por assunto e idioma. O vídeo pertence ao canal de origem.