¿Quién vigila a los agentes de IA? | Adrián Bertol

Vídeo em Espanhol, publicado pelo canal CEOE-CEPYME CANTABRIA.

Sobre este contenido: El resumen, los puntos principales y los temas que aparecen a continuación se generan automáticamente a partir de la transcripción del vídeo. Reflejan el contenido, las opiniones, afirmaciones y predicciones presentadas en el vídeo y no representan una posición, validación o verificación de hechos por parte de IA Dots.

Resumen del vídeo

El vídeo aborda la integración masiva de la inteligencia artificial en las organizaciones hasta llegar al año 2026, destacando la transición desde la fase de entusiasmo inicial hacia un enfoque centrado en la implementación segura. Se discuten los riesgos de ciberseguridad asociados con el uso de la IA, los ataques recientes impulsados por agentes autónomos, el concepto de Shadow AI y los tres puntos clave de vulnerabilidad según los frameworks de seguridad: datos, modelos y aplicaciones. Asimismo, se explica cómo la propia IA puede utilizarse para reforzar la ciberseguridad mediante centros de control dinámicos y se presentan siete reglas básicas para asegurar su adopción.

Puntos principales

• La inteligencia artificial ha evolucionado rápidamente en las organizaciones desde el entusiasmo inicial hasta la necesidad de implementarla de forma controlada y segura en el año 2026.
• Se han reportado noticias recientes sobre agentes de IA y sistemas utilizados para ciberataques, confusión, creación de perfiles falsos y vulneraciones de seguridad reconocidas por los desarrolladores.
• El concepto de 'Shadow AI' representa uno de los mayores riesgos actuales en las empresas, el cual ocurre cuando los empleados utilizan herramientas no autorizadas o inseguras sin control corporativo.
• Los riesgos de seguridad en la IA se dividen principalmente en tres áreas: datos (como el envenenamiento de bases de conocimiento y extracción de información), modelos (como la inyección de prompts) y aplicaciones (como el exceso de permisos otorgados a agentes autónomos).
• La inteligencia artificial también se utiliza de manera positiva para reforzar la ciberseguridad, integrándose en centros de control (SOC) para identificar amenazas y responder a velocidad de máquina.
• Se proponen siete reglas de 'Secure AI' que incluyen conocer la IA y los datos, desconfiar de los prompts, limitar privilegios de agentes, controlar herramientas, probar antes de producción y monitorizar continuamente.

Temas

Inteligencia artificialCiberseguridadSeguridad de la IAShadow AIAgentes autónomosGobierno de datosCiberamenazasProductividad empresarial

Tiempo de lectura de este bloque: unos 4 min

Ir a cada sección

• Por qué esta charla toca a cualquier empresa
• Nuestra lectura desde España y América Latina (opinión de IA Dots, no un hecho)
• Cifras de la charla que pudimos verificar
• Marcos, empresas y herramientas mencionados
• Más sobre agentes de IA en IA Dots
• Tu turno

Lo esencial en 30 segundos

• El riesgo que más preocupa al ponente es la llamada Shadow AI: empleados que pegan datos de la empresa en herramientas no aprobadas.
• Los ataques se ordenan en tres capas: datos (envenenamiento de bases de conocimiento, fuga de información), modelos (inyección de prompts directa e indirecta) y aplicaciones (agentes con demasiados permisos o claves de API robadas).
• Las siete reglas que propone: conocer tu IA, conocer tus datos, no fiarte nunca del prompt, limitar privilegios de los agentes, controlar las herramientas, probar antes de producción y monitorizar siempre.

Por qué esta charla toca a cualquier empresa

En esta ponencia, Adrián Bertol, responsable de un equipo en Orange España, pasa del entusiasmo por la IA a una pregunta incómoda: si un agente puede leer documentos internos y ejecutar acciones, ¿quién lo controla? La charla no se queda en el miedo. Ordena los riesgos en datos, modelos y aplicaciones y termina con siete reglas prácticas que cualquier empresa, grande o pequeña, puede revisar hoy.

Nuestra lectura desde España y América Latina (opinión de IA Dots, no un hecho)

Esta es la lectura de IA Dots, no un hecho. La idea más útil de la charla es tratar a un agente como a un empleado nuevo con acceso a todo: si no le darías a una persona todos los documentos de la empresa, tampoco se los des a la IA. En España este tema ya no es solo de buenas prácticas, porque el Reglamento europeo de IA está en vigor y existe una agencia supervisora propia, la AESIA; en América Latina el marco legal es más desigual, así que la autodisciplina interna pesa más. Para una pyme, que según el ponente es la que más puede ganar con la IA, el riesgo suele estar en lo cotidiano: una hoja de Excel pegada en una web gratuita para hacer presentaciones. Las fuentes de seguridad que cita son de acceso abierto y gratis, como el marco SAIF de Google o las guías de OWASP; lo que cuesta dinero son las licencias corporativas de asistentes como Copilot o Gemini y los servicios gestionados de ciberseguridad, cuyos precios no aparecen en la charla. Un matiz: el ponente trabaja en Orange y menciona a Orange Cyberdefense como ejemplo, así que esa parte hay que leerla como experiencia de su empresa, no como comparación neutral. Algunas noticias que cita al principio, como ataques de agentes de OpenAI, se presentan sin fuente en el vídeo y no las pudimos confirmar.

Cifras de la charla que pudimos verificar

• OIT y NASK, índice global de exposición a la IA generativa (20/05/2025): uno de cada cuatro empleos en el mundo (25 %) está en ocupaciones potencialmente expuestas a la IA generativa, y la transformación, no la sustitución, es el efecto más probable. La charla cita un 24 %, cifra que también aparece en el informe detallado.
• PwC, 2025 Global AI Jobs Barometer (03/06/2025): los puestos que piden habilidades de IA pagan de media un 56 % más dentro de la misma ocupación, y las habilidades exigidas cambian un 66 % más rápido en los empleos más expuestos a la IA.
• OWASP, LLM01: Prompt Injection: la inyección de prompts ocurre cuando las entradas alteran el comportamiento del modelo de forma no prevista, y puede llegar oculta en contenido que el modelo procesa aunque una persona no lo vea, como el ponente describe con los archivos adjuntos.

Marcos, empresas y herramientas mencionados

• Google Secure AI Framework (SAIF) (marco de seguridad que el ponente considera el más avanzado; incluye una autoevaluación de riesgo para agentes)
• OWASP GenAI Security Project (lista de riesgos de modelos de lenguaje, como la inyección de prompts)
• Orange España (empresa del ponente) y Orange Cyberdefense, su filial de ciberseguridad citada como ejemplo
• Reglamento (UE) 2024/1689 de Inteligencia Artificial y AESIA, Agencia Española de Supervisión de la IA (marco y supervisor en España)
• Microsoft Copilot, Claude (Anthropic) y Gemini (Google), los asistentes que la empresa del ponente ofrece a sus empleados

Más sobre agentes de IA en IA Dots

• Agentes de IA para PYMES
• Wonderful: cómo los agentes de IA transforman las empresas
• Agentes de IA: de OpenClaw a Claude Duet. La cronología completa (2025–2026)
• Blenau: así conecto a mi equipo y a sus agentes de IA con un solo cerebro

Tu turno

De las siete reglas de Secure AI que propone Adrián Bertol, ¿cuál crees que tu empresa incumple hoy: no fiarse del prompt, limitar los privilegios de los agentes o controlar qué herramientas usa la gente? Cuéntalo en los comentarios y comparte el post con quien decide la IA en tu equipo.

Este resumen fue generado con apoyo de IA y revisado por humanos.

Transcripción del vídeo

Texto de los subtítulos disponibles; puede contener errores.

Correcto, o sea, en el mundo de inteligencia artificial llevamos trabajando ya bastante tiempo. Em, la inteligencia artificial ha irrumpido en nuestras vidas y en las organizaciones, eh, no de la noche a la mañana, pero de una manera muy rápida y está transformándolo todo. Ya el año pasado empezamos a plantearnos, eh, a un, cómo poner o cómo, digamos ya, industrializar y poner en producción los proyectos dentro de las empresas, porque antes ya sabíais que la gente tenía dudas sobre la inteligencia artificial, no tanto por la seguridad que transmitía, sino más bien por, eh, porque no sabían cómo meterla dentro de las organizaciones. Esa fue esa primera fase que estaba ChatGPT, que acababa de salir, todas las empresas querían hacer algo. Estábamos ahí, en ese mar de dudas, pero con una convicción infinita de que teníamos que implementar la IA. Luego pasamos a una fase, y esto en, tan solo un año cada una de ellas, una fase en la cual se empezó ya a introducir la IA en las organizaciones, a ponerla también en el puesto de trabajo y parecía que ya todo iba a ser, eh, un camino de rosas y la inteligencia artificial iba a, eh, extenderse y va a haber cada vez más proyectos de inteligencia artificial en las organizaciones. Y de repente llegamos al año 2026 y y el punto en el que estamos es que hemos pasado todo ese, esa idealización o ese hype de la inteligencia artificial, pero ahora nos ponemos en el punto de la estoy implementando ya en mi organización, ahora ¿qué hago? Hay una serie de riesgos asociados, las personas, los empleados, la utilizan cada vez más, de alguna manera también tengo que saber cómo la están utilizando y qué herramientas están utilizando. Y ahora, eh, en las últimas semanas, más en concreto, pues las noticias que aparecen constantemente es el riesgo que puede suponer si lo hacemos de una manera inadecuada. Y eso es un poco el punto que yo quiero poner encima de la mesa. ¿Hay riesgos de la inteligencia artificial? Por supuesto que sí, como de todas las tecnologías. La inteligencia artificial es otra de las tecnologías que en los últimos años se ha ido introduciendo, que para mí es mucho más revolucionaria que otras anteriores, pero tampoco es la única nueva tecnología. El punto sobre todo es que hagamos todo lo posible, tanto como usuarios, como empleados, como también como empresas, para que la podamos aprovechar al máximo, pero de una manera segura. Yo trabajo, soy responsable de un equipo en una gran multinacional. Eh, puedo presumir de que tenemos más de 500 proyectos de inteligencia artificial dentro de nuestra empresa. La utilizamos muy intensivamente. Eh, tenemos IA en el puesto de trabajo. Todos nuestros empleados tienen algún tipo de licencia de Copilot, Cloth, de Gemini, sobre todo, y luego utilizamos eh muchos modelos de inteligencia artificial para mejorar nuestra eh atención al cliente y la satisfacción de nuestros clientes. Para que os hagáis una idea, eh la IA está completamente presente en todos los proyectos que hacemos, hasta el punto que hemos transformado toda nuestra atención al cliente, los contact centers. Yo tuve la oportunidad de estar este este miércoles en uno que tenemos en Oviedo y vamos, eh la empresa que lo visitó quedaron fascinados de cómo la inteligencia artificial puede generar un impacto muy positivo en esa atención al cliente. Digo todo esto porque no subo aquí a hablar de oídas, no subo aquí a hablar porque eh conozco casos de otras empresas, sino lo que os voy a contar es lo que nosotros, dentro de eh Orange, eh hacemos y cómo nosotros nos ponemos ahora en este reto, después de haber implementado masivamente la IA en la organización eh y haber sido pioneros en la implementación de IA, cómo ahora nos afrontamos este nuevo reto, ¿no? Y cómo también con las empresas que trabajamos desde Orange eh España, pues también eh se pone en esta misma situación. Hecho este preámbulo, mmm he recogido aquí una serie de noticias muy recientes de de las últimas semanas, el último mes, em que nos advierten, ¿no? De que están utilizando la inteligencia artificial para realizar ciberataques, para generar confusión, eh por ejemplo, eh agentes no autorizados de OpenAI, veis aquí, pues atacan diferentes webs de del gobierno de Estados Unidos. O OpenAI alerta de que sus agentes de inteligencia artificial se han vuelto rebeldes y están también haciendo ataques por su cuenta. Y luego otro que también es interesante es cómo también se la la inteligencia artificial se está utilizando, por ejemplo, y esto por pues también es es curioso, para eh generar perfiles falsos en perfiles de aplicaciones de, o sea, en en aplicaciones de citas y que toda esta inteligencia artificiales están organizando entre ellas, comunicándose y orquestándose para eh pues eso, para poder hacer em relaciones y para poder ligar a través de las aplicaciones y son perfiles completamente falsos. Esta es la escala en la que hoy en día en octubre de 2026 estamos, ¿vale? En un momento que aún la inteligencia artificial pues tiene por mucho por desarrollar. Pero es que eh estos son ejemplos concretos eh a pequeña escala, pero es eh vamos más allá, eh desde Anthropic, uno de los principales desarrolladores de IA, que sabéis que trabaja muy de la mano de Amazon, eh ya están alertando, no solo de que pueda haber ciberataques de, sino del potencial riesgo que puede tener para la humanidad en caso de que la inteligencia artificial se conduzca por un mal camino. E incluso Jacob Coxon, que fue hasta el día antes de que publicó este tweet, eh pues uno de los ingenieros de Anthropic, avisó de que había salido de la compañía porque a pesar de que había hecho sus mejores esfuerzos eh en investigación, se estaba dando cuenta que en toda esta carrera de la IA no se estaban teniendo en cuenta puntos de ética y de protección de los seres humanos ante la inteligencia artificial, lo cual os recomiendo también buscarlo porque generó un hilo de interacciones bastante largo, incluso de de jefes de Anthropic respondiéndole y dándole la razón, ¿vale? Entonces, este es el un un poco el punto en el que estamos e insisto, esto no son noticias y no es algo que simplemente alerten, pues, exempleados, sino que eh es reconocido por parte de los tres principales desarrolladores de IA, las tres principales empresas desarrolladoras de IA, que esto es una realidad. Vemos cómo Anthropic hace investigaciones específicas eh de incidentes relacionados con sus modelos de de ciberataques y de incidentes de ciberseguridad. Eh otro muy sonado con agentes de OpenAI eh contra Hugging Face y luego, por otro lado, que luego lo veremos cómo incluso propio Google ya ha desarrollado una serie de frameworks que yo creo que es ahora mismo lo más avanzado que tenemos en cuanto a seguridad de la IA. Eh la ponencia la he titulado Quién vigila a los agentes y el topic específico que está abordando esta seguridad es precisamente lo que ahora empieza a llamarse como Secure AI. Eh entonces, vemos que es un riesgo, que es una responsabilidad compartida, pero tenemos que darnos cuenta que esto solo eh puede ser el principio y que estamos en un buen momento para actuar. Hace muy poquito salía una noticia de El Confidencial que eh bueno, ponía eh sobre la luz de que el 90% de los despachos admiten que la IA está eh absorbiendo el trabajo de los juniors. Y ahora me voy a meter también en en el punto de cómo toda la inteligencia artificial, la introducción de la inteligencia artificial, afecta en el puesto de trabajo porque aunque parezca que no tiene que ver y mucho con este tema. Eh, cómo la inteligencia artificial está absorbiendo mucho trabajo, pero vemos estadísticas de la Organización Internacional del Trabajo de que el 24% del empleo global está expuesto. También vemos cosas positivas. Eh, aquí no no solo es asustar o prevenir, sino también poner encima de la mesa lo positivo. También es cierto que todos estos puestos de inteligencia que usan inteligencia artificial según PricewaterhouseCoopers, eh, pues mejora un de media un 56% de los salarios. Pero también me gustaría poner en el punto no solo en el empleo y las condiciones de estos empleos, sino que eh los puestos de trabajo que utilizan inteligencia artificial evolucionan, cambian sus skills, eh se readaptan un 66% más rápido que los puestos que no utilizan inteligencia artificial. ¿Qué quiere decir todo esto? No solo que la inteligencia artificial esté cambiando las empresas, sino que nos implica a todos eh a transformar nuestra manera de trabajar. Y además no es que sea una sugerencia, es que si en el mercado de trabajo y en las empresas que vienen en el futuro esta es la realidad, tenemos una responsabilidad de también eh prepararnos para lo que viene. La IA se extiende a cada vez más funciones de las empresas y sobre todo lo que quiero poner encima de la mesa es que todo esto no solo supone un pequeño cambio, sino que en la medida de que la IA está presente en nuestro día a día, trabajamos y nos relacionamos con agentes de inteligencia artificial, las empresas ya no contratan empleados o forman empleados, sino que contratan skills, contratan eh perfiles, pero esos perfiles pueden ser humanos o puedo contratar las skills de una gente de inteligencia artificial. En la medida de que el trabajo se convierte en algo híbrido entre seres humanos y máquinas, que esto no es Terminator, ojo, pero es cierto que esa interacción en el mundo del trabajo entre inteligencia artificial y personas, máquinas y personas, ya está sucediendo, pues esto tiene una serie de connotaciones que no son menores. Si tenemos en cuenta que el mundo del trabajo y el puesto de trabajo pasa a ir a velocidad máquina, no solo nos implica la responsabilidad de saber utilizar la inteligencia artificial porque tenemos que ir a ese paso, a ese ritmo, sino que, y vuelvo al topic principal de esta ponencia, también la inteligencia artificial, las máquinas, pueden ser mucho más rápidas atacando, generando vulnerabilidades, yendo, pues, al corazón de las empresas, detectando todas las vulnerabilidades dentro de una compañía, pudiendo hacer ciberataques de todo tipo o incluso, eh, llevando una empresa a la ruina si esto se sale adelante. Por tanto, las empresas también nos vemos en una posición de prepararnos para ser todo lo rápidas posibles, no solo en cuanto a nuestra capacidad de sacar trabajo y de productividad, que ahí ahora con los Copilot y todos los asistentes es lo que está encima de la mesa, sino también de protegernos. Antes, eh, cuando en el ámbito de la ciberseguridad, eh, pues, hablábamos de las ciberamenazas, nos centrábamos en los dispositivos, nos centrábamos en las identidades, en las apps y en los datos gestionados por personas. Siempre la persona estaba detrás y la principal vulnerabilidad era la propia persona, que, ojo, no deja de serlo, pero es que hoy, cuando hablamos de el uso de la inteligencia artificial, también para estados estas ciberamenazas, eh, no solo tenemos que vigilar a personas, tenemos que vigilar a agentes que tienen acceso a la información dentro de nuestras organizaciones y tienen autonomía para ejecutar estas acciones. Si yo doy permiso a una inteligencia artificial para que pueda rastrear toda la información que tengo en la empresa, para que a mis empleados les devuelva información de sus nóminas, de eh de pues a nivel de investigación, pues de un paper, de cualquier información que tengan que recibir de un laboratorio o de una a nivel documental o la información que tiene en un CRM para gestionar la relación con sus clientes, estamos dándole mucho permiso a la inteligencia artificial y aún y estamos a tiempo, nos estamos olvidando de que si yo no le doy acceso a todos mis empleados, a todos mis documentos, tampoco le puedo dar acceso a la inteligencia artificial a todos mis documentos. ¿Por qué? Ya no solo porque pues eh dentro de la compañía pues haya alguien que sea capaz de detectar alguna vulnerabilidad o algún fallo de alguna alucinación de los modelos, un rack que no esté bien hecho, sino que desde fuera, mediante los ciberataques tradicionales, pueden entrar a través de esos agentes dentro de nuestra información corporativa y además no solo es que estemos dando acceso a la información interna, sino que estamos dando permiso para ejecutar acciones. Cuando hablamos de automatizaciones de inteligencia artificial, también le estamos dejando ejecutar acciones dentro de la del dentro de nuestros sistemas y por tanto también estamos en exponiendo información. Hay una palabra y en en las ponencias siempre hay que dejar términos clave puestos encima de la mesa. Eh, a mí me gusta ser muy divulgativo y mi recomendación en este esta era de la inteligencia artificial, yo lo hago es todo lo que me cuentan que me suena pues algún término importante, me pongo a buscarlo. Tengo media hora, no me va a poder hm meter en detalle, pero Shadow Shadow AI es un concepto interesante que ya está encima de la mesa y que viene a ser, eh, cuando yo en una organización no tengo un control sobre las herramientas y el uso que hacen los usuarios de las herramientas estoy exponiendo a un riesgo muy alto porque si los empleados, voy a poner un ejemplo muy práctico, yo tengo Gemini para gestionar la información corporativa y que las personas dentro de mi organización puedan consultar lo que quieren, pero llega un empleado X y utiliza ChatGPT, lo abre dentro de su ordenador y, eh, un Excel o, digamos, un copia y pega, incluso una captura de pantalla de un informe de Excel, me lo copio y lo pego en ChatGPT. ChatGPT, a priori, muy a priori, en principio es seguro, pero no nos imaginamos que solo pon, pone, lo sube a un portal que hace, mmm, se llame AIpowerpoint.net, eh, porque quiere hacer una presentación de PowerPoint con IA. Ahí no sabemos si es seguro y está exponiendo toda esa información hacia Internet y hacia hacia fuera. Entonces, el mayor riesgo que ahora mismo encontramos en las organizaciones precisamente es este, cuando las organizaciones no tienen una estrategia de inteligencia artificial clara, que es el primer paso, y no ponen a disposición herramientas a las empresas, o sea, a los empleados que puedan hacer uso de una manera corporativa y segura. Y esto no es una cuestión menor, eh, y requiere, como decía antes, que las organizaciones también hayan hecho un trabajo previo, que es el gobierno de la inteligencia artificial y la estrategia de inteligencia artificial. Aún vemos muchas empresas, quizás no ya las grandes, sino empresas más pequeñas, que al final tienen, eh, la capacidad que tienen en cuanto a presupuesto y personal que siguen utilizando herramientas que que por Internet y piensan que el riesgo, pues no es alto, pero luego, por desgracia, cuando esas en pequeñas empresas eh reciben un ataque y les eh les amenazan con exponer toda la información de los sistemas o no dejarles directamente acceder a sus ordenadores porque eh se han podido meter hasta dentro eh a través de un ciberataque, entonces eh si eso sucede, la capacidad de continuidad del negocio se se limita mucho y el riesgo que tienen incluso de un cierre o tener que pagar un chantaje para poder seguir operando es muy alto. Quiero decir, la inteligencia artificial, al final a lo que voy, no es que eh exponga nuevas vulnerabilidades, sino que las vulnerabilidades que antes existían y que dependían del factor humano y que sobre todo se podían llegar a controlar en un lapso de tiempo pequeño o en real time ahora la inteligencia artificial a la velocidad que va hace que sea incontrolable. La capacidad de realizar ciberataques se ha reducido en menos de un año, me decía ayer un un compañero especialista eh de nuestro equipo de ciberseguridad, eh se había reducido de un minuto y medio a apenas 20 segundos la capacidad que tiene una empresa de hacer un ciberataque. Esto nos supone que todas estas alertas las tengamos que tener más en cuenta y que nos tengamos que tomar aún más en serio la ciberseguridad, que siempre ha sido una asignatura pendiente y y que hasta ahora, pues, podíamos seguir pasando por encima de ello, pero esto nos pone en un punto de un ataque de una probabilidad de ataque real y cada vez con una capacidad de penetración en nuestros sistemas mucho mayor. Eh os decía que Google tenía un framework de seguridad de la inteligencia artificial bastante desarrollado. Aquí lo he querido exponer, eh como podéis ver, hay tres grandes puntos que que advierten como riesgo eh principal. Luego, pues, eh están los inputs, los promptings, el filtrado de datos, pero hay tres puntos en los que ponen énfasis y en los que a continuación eh voy a ir desarrollando para ir exponiendo qué ciberamenazas nos vienen por delante en cada uno de estos tres puntos y también cómo podemos responder. Eh el riesgo primero de los datos, es decir, toda la información, que es donde he explicado más anteriormente, el uso de la información dentro de la empresa, cómo entra, cómo sale, los permisos que doy de acceso, eh el riesgo que hay que la inteligencia artificial supone eh en cuanto a los datos, en cuanto a ciberseguridad, eh los modelos que este eh aquí la la la responsabilidad en los datos, si bien es 100% de la empresa, en los modelos es responsabilidad de la empresa elegir bien los modelos, pero también los deberes los tienen que hacer los desarrolladores de modelos, los Anthropic, Open AI, Google, para desarrollar unos modelos seguros que den garantías a las compañías, pero nosotros solo contratemos modelos cuando sean seguros y finalmente pues las aplicaciones, es decir, los propios agentes y la securización. Y ahora voy a hablar más en detalle de todo esto. Si aquí sí que me pongo un poco más técnico, es cierto que tenía muchas ganas de preparar esta conferencia, estar aquí en FEMIT, porque tenía la oportunidad de desarrollar un tema muy reciente que hasta ahora poca gente está exponiendo. Eh son conceptos técnicos eh pero vamos a entrar un poquito más en detalle. Eh primero, hablaba de los riesgos de datos, pues hay diferentes riesgos, ciberamenazas, que que en cuanto al uso incorrecto de la IA en relación a los datos eh vienen por delante. Puede haber, bueno, data poisoning, que es pues que toda la información maliciosa que podamos tener dentro de los sistemas a través de RAG o knowledge bases se pueda exponer, eh también puede haber eh exfiltration, que es decir, que a través de la IA podamos eh extraer información confidencial, lo Lo tiene toda una serie de respuestas que como veis de cifrado de información, de segmentación, de monitoring. También puede eh un riesgo que es el acceso al rag, es decir, que si yo tengo un un rag a un modelo de inteligencia artificial, accedan a este modelo y que puedan manipular los datos que se están usando en el modelo y si yo estoy manipulando el rag, al final cuando una persona eh consulta información derivada de ese rag, le pueda devolver respuestas incorrectas y en Entonces el uso de la inteligencia artificial, pues con respuestas incorrectas, no tenga ningún sentido o incluso pueda haber abiertamente una manipulación de los datos, es decir, que se pueda alterar información con el propósito claro de eh de afectar a todo el uso eh digamos, el uso confiable de la inteligencia artificial en la organización. Esto es un punto, el uso de los datos, pero que puede derivar una serie de riesgos relacionados con la exposición de la información a la inteligencia artificial Y si la información que utiliza la inteligencia artificial no es correcta, por tanto eh las respuestas que se obtendrán y la confianza que tengan las personas en la inteligencia artificial se reduce eh evidentemente de una manera muy grande. En cuanto a modelos e insisto que si el primer punto era mucha responsabilidad de las organizaciones, aquí también es responsabilidad de las empresas que desarrollan los modelos. Se habla mucho de prompt injection, es decir, de manipular los prompts, las instrucciones que recibe la inteligencia artificial [carraspeo] eh para de esa manera eh que el que las respuestas que devuelva eh pues puedan ser incorrectas. Y hay muchas maneras y un buen equipo de inteligencia artificial En esto tiene la capacidad de garantizar eh la seguridad y la confianza, desde guardarailes que es la principal eh manera de garantizar de que a pesar de que un prompt no sea del todo adecuado, podamos mantenerlo dentro de de lo que se puede esperar. Pero luego también hay indirect prompt injection, es decir, que no directamente a través del prompt, sino si por ejemplo añado un documento, un vídeo o lo que sea a ese prompt, pues lo que esté manipulando la respuesta y que incluso pueda infiltrar algún tipo de ataque, información maliciosa o un código que pueda generar un ciberataque, pues lo haga a través de archivos adjuntos o de añadidos, anexos al prompt, ¿vale? Entonces, pues eso también conlleva una serie de responsabilidades de qué información dejó introducir dentro de la organización, todo lo que es la capa de protección de correos electrónicos, de usuario, de tal manera que dentro del ámbito de la organización no tenga documentos o información que pueda tener, que sea maliciosa y pueda generar un riesgo. En cuanto a la extracción de modelos a través de securización de APIs, se puede eh atacar este este riesgo, pero por supuesto también puede inmeterse dentro de las los metadatos de los modelos para de esa manera generar otros prompts y otros agentes de inteligencia artificial que se hacen se hagan pasar por uno oficial y desarrollado dentro de de la compañía, de tal manera que se infiltre dentro de los sistemas y también puede llevar le pueda llegar a hacer ataques por su cuenta. Toda la parte también de modificar el propio modelo, que esto sí que es responsabilidad de las empresas desarrolladoras de modelos o la parte incluso de comprometer, como puede ser con lo de Open AI los ataques a Hugging Face, de comprometer un modelo completo, una librería o incluso un componente externo. Veis una serie de respuestas posibles que se pueden hacer. En cuanto a la aplicación aplicaciones de agentes, no me voy a detener, pero en la misma línea, es decir, darle los permisos a los agentes como para poder meterse en sistemas que no se le había dado acceso previamente, se puede también con a través de un agente eh robar las API keys, tokens y que puedan generar un consumo mucho mayor, que pueda también comprometer las finanzas de una compañía, puede tomar directamente el comportamiento de un agente o incluso pueda realizar acciones como borrar datos, enviar información confidencial u otras. Al final estamos dejando entrar eh a la inteligencia artificial, es decir, a una capacidad superpotente dentro de nuestros sistemas y nunca dejaríamos entrar en nuestra casa sin cierta desconfianza a una persona que fuera armada hasta los dientes. Pues esto es un poco la equiparación. Si meto la inteligencia artificial que va armada hasta los dientes, tengo que tenerla de mi lado o al menos garantizar de que si en algún momento se me vuelve en mi contra, sé cómo responder. Y ahí en la capacidad de respuesta es donde tenemos que poner el foco. Hablaba de la vulnerabilidad, posible vulnerabilidad en los datos, en los modelos, en las aplicaciones y agentes. Y al final el punto es, y hasta aquí la parte tétrica y de amenaza de lo que nos viene, pero también hay un lado positivo. Mientras que la IA introduce nuevas vulnerabilidades, también es cierto que la IA la estamos utilizando para reforzar la ciberseguridad. Es decir, también la los desarrolladores, las grandes empresas de ciberseguridad están utilizando cada vez más la IA para identificar las amenazas, para recubrir, poner la primera capa de protección en los ataques, para ser capaces de replicar los ataques que suceden para de esa manera reforzar las eh las medidas de seguridad dentro de las empresas. Pero yendo más allá, también para que las propias empresas sean conscientes y tengan sistemas cada vez más seguros y el desarrollo de las propias soluciones o softwares se utilice inteligencia artificial que sea consciente de las ciberamenazas para que también sea mucho más seguro eh en su operativa diaria. Eh un ejemplo, eh pues SOX o herramientas relacionadas con la ciberseguridad que puedan ser dinámicas en el sentido de que utilicen capacidades humanas, es decir, que tengan técnicos y especialistas humanos, pero que también tengan estos técnicos y especialistas unas herramientas de inteligencia artificial que operen por su cuenta y que sean capaces de identificar esas amenazas y recomendarles acciones. Esto es el paradigma hacia el que se está moviendo los SOC, que al final son los centros de control de las amenazas de ciberseguridad que recibe una organización. Si unimos lo que es un SOC tradicional de personas, de técnicos eh de ciberseguridad con las capacidades de la inteligencia artificial para reforzar esa protección y y tener capacidad de aumentar la ciberseguridad, pues vamos a un siguiente punto. Yo aquí os pongo un ejemplo de tal como se enfoca desde una empresa nuestra de de Grupo Orange a nivel global, referente europeo de ciberseguridad, que se llama Orange Cyberdefense, pero nos consta de que este paradigma se está extendiendo a todo el mundo de la ciberseguridad y al final es reforzar y tener la capacidad de predecir y responder a los ataques que recib- se pueden recibir con la inteligencia artificial con más inteligencia artificial. Llegados a este punto y viendo eh por dónde pueden venir los tiros y cuáles son los riesgos que hay, eh la responsabilidad en quién recae, es decir, cuando hablamos de lo que viene y del ecosistema en el que nos movemos, también tenemos que ver cómo en qué medida somos responsables y qué podemos hacer. Y hemos visto la amenaza, posible amenaza en datos, en modelos y en aplicaciones. Aquí también el punto es que la responsabilidad de prepararse para esto que viene, en lo que ya está viniendo, es que recae en las empresas, pero también en los proveedores que contratamos como empresas, es decir, ya no solo las herramientas de IA que, como os decía, tenemos que tratar de evitar que se utilicen herramientas no seguras, herramientas que no hayan sido revisadas internamente y que garanticen esa seguridad, sino que también cuando contratamos soluciones de ciberseguridad, pues también tengamos en cuenta que estén preparadas para las amenazas que vienen y que sean capaces de responder hacia ellas. Entonces, la la IA aplicada a la ciberseguridad, insisto, no solo es una cuestión de todas las amenazas que vienen, que por supuesto hay que tenerlas en cuenta, sino cómo también nos puede ayudar la IA a protegernos hacia ello y, sobre todo, cómo nos puede ayudar la IA a, si la utilizamos de manera más segura, a elevar la productividad y cómo podemos llegar incluso más adelante. Y cerrando ya esta conferencia, que era poner encima de la mesa, pues eh todos estos riesgos y cómo nos podemos preparar, yo me quedo [resoplido] con siete reglas del Security AI, que es un poco este concepto que se está empezando a hablar, eh, o sea, yo os traigo algo que es bastante reciente y que no hay mucho publicado sobre ello. Eh la primera regla es conoce tu IA, es decir, evidentemente tienes que saber qué estrategia tienes y qué tienes implementado en la organización. Conoce tus datos, controla la información que tienes y cómo se gestiona lo que viene a ser el gobierno del dato dentro de una compañía. Nunca confíes en el prompt, es decir, garantiza siempre que tienes guardarailes y tienes una protección en los prompt y en todas las consultas y en toda la interacción que tengas con la IA. Eh siempre pon eh, o sea, protégete en cuanto a los privilegios que das a los agentes de IA para evitar que adquieran mayores de los que puedan que nos puedan generar ciberamenazas. Controla, por supuesto, las herramientas, controla los sistemas y encárgate de revisar cuáles son las más adecuadas a nivel corporativo. Prueba siempre antes de poner en producción para que te genere confianza en tu entorno y, sobre todo, y a través de SOCs y a través de estos SOCs dinámicos, Dynamic SOC, pues monitoriza toda la actividad que tienes, de tal manera que cuando suceda y no has podido hacer nada, por desgracia, por lo menos por lo menos tengas esa información. Y sobre todo, eh, y vuelvo a lo que decía antes, la IA tiene que ser de absoluta confianza, la IA nos puede poner en un peldaño mucho más avanzado a cualquier empresa y creo que la oportunidad con la IA no solo somos las grandes empresas, que al final tenemos la capacidad de beneficiarnos de todo lo que viene porque tenemos una capacidad de inversión mayor, sino que creo que la IA a quien va a aportar el principal beneficio es a las pequeñas y medianas empresas, porque les va a permitir ser mucho más productivas con menor capacidad de inversión. Esto es una oportunidad inmensa, pero lo que sí que quiero dejar muy claro es que cuando contratemos IA, contratemos IA que tenga unas garantías de seguridad y que nos informemos lo suficiente para que tengamos una estrategia dentro de la casa, por pequeña que sea, para garantizar que toda la IA que incorporamos no nos genera incidentes y posibles riesgos que ya no previamente pudieran existir incluso ya antes con la ciberseguridad. Entonces, eh, agradeceros, eh, este rato. Espero que haya podido compartir ideas que aporten al respecto y esta conversación continuará y seguiremos hablando de ciberseguridad en la IA, así que confiemos en ello y protejámonos ante lo que viene. Muchas gracias.

Assistir ao vídeo original no YouTube

Assuntos: Agentes de IA. Publicado no YouTube em 2026-10-30.

Seleção automática por assunto e idioma. O vídeo pertence ao canal de origem.