Programar con Agentes de IA LOCALES 🚀 Guía para usar llama.cpp y Qwen
Publicado no IA Dots ·
Agentes de IAAI Signaldot-ai_agentsdot-artificial_intelligenceEspanholidioma-esyt-B9xnxLw3rDo
Vídeo em Espanhol, publicado pelo canal Nichonauta.
Sobre este contenido: El resumen, los puntos principales y los temas que aparecen a continuación se generan automáticamente a partir de la transcripción del vídeo. Reflejan el contenido, las opiniones, afirmaciones y predicciones presentadas en el vídeo y no representan una posición, validación o verificación de hechos por parte de IA Dots.
Resumen del vídeo
El video muestra el funcionamiento de un agente de inteligencia artificial local utilizando un modelo de lenguaje para desarrollar un proyecto paso a paso a partir de un plan estructurado en archivos Markdown. Se abordan temas como la gestión de la ventana de contexto, la velocidad de procesamiento de tokens, el uso de herramientas por parte del agente y la comparación de rendimiento entre diferentes configuraciones de hardware y software.
Puntos principales
- Se detalla el uso de un plan en un archivo Markdown para organizar el desarrollo del proyecto en fases.
- Se explica la gestión de la ventana de contexto de 131,072 tokens y cómo el tamaño del contexto afecta la velocidad de procesamiento.
- Se muestra al modelo realizando consultas de documentación y creando archivos como bases de datos y estructuras de directorios.
- Se discuten las diferencias entre herramientas y agentes en línea frente a la ejecución local, incluyendo el uso de subtareas en paralelo.
- Se advierte sobre los riesgos de permitir que el modelo intente modificar o crear múltiples archivos simultáneamente, lo que puede generar errores en las herramientas.
Temas
Agentes de IAVentana de contextoModelos localesDesarrollo de softwareOptimización de promptsManejo de herramientasLlama.cpp
Transcripción del vídeo
Texto de los subtítulos disponibles; puede contener errores.
el MSP de Context 7 para buscar documentación actualizada de los lenguajes de programación, mmm, al finalizar que haga pruebas, test, con el navegador, eh, ejecutando directamente PHP desde terminal y luego con el navegador. Todas estas pruebas deben estar mencionadas en el mismo plan.md. Al finalizar, al completar el desarrollo completamente funcional, mmm, crear un readme.md del proyecto y hacerme y responderme con un resumen. ¿Qué más? Eh, asegúrate de separar en fases todo el plan.md diciendo que al inicio y final de cada fase debe comparar con lo solicitado en plan.md y que use la herramienta de crear listas de tareas para organizarse e ir avanzando en el desarrollo. Es una tarea, bueno, un proyecto medianamente simple, pero que de la nada un modelo de lenguaje local sin demasiados datos de nuestra parte estamos pidiendo que haga. Aquí algo interesante que vamos a ver es que en tareas así de largas, pues un mini problema con el que nos vamos a topar es que en este caso no lo tenemos cargado con 262.144 tokens de ventana de contexto y menos aún con la con la ampliación nativa de 1.010.000 tokens de ventana de contexto. Estamos utilizando únicamente 131.072 tokens de ventana de contexto que realmente sigue siendo bastante usable para este tipo de cosas, pero que más de una vez va a necesitar compactar, pero pues si lo hacemos con subtareas, si lo hacemos de, qué sé yo, de algunas formas para mantener los contextos, otra forma será. Como por ejemplo, de hecho, ahora que lo pienso, no lo hice con esa intención, pero va a funcionar. Aquí dijimos que al inicio y al final de cada fase compare lo que hizo con lo solicitado en plan.md, para que revise si realmente está haciendo todo lo que pide, o sea, básicamente debería de más de una vez volver a leer plan.md, aunque haya compactado conversación, pues para revisar que todo lo que se haya hecho tenga sen. Aquí algo que hemos notado es que rápidamente el modelo empieza a responder, por lo que teníamos por acá de el más, la más, los bloques más grandes de cálculos, nos ocupa más memoria, hace que nos quepa menos contexto, pero responde más rápido el modelo. De lo contrario, disminuyó eso a lo típico o elimino esas líneas y puedo tener el doble de contexto, solo que un poquito más lento, no tanto la generación de tokens, sino el cálculo de todo lo previo. Ahí vamos a ver qué tal funciona. Ahí claramente parece que no está haciendo nada, sin embargo, no es que esté haciendo nada, es que o está haciendo razonamiento, cosa que no creo porque aquí lo mostraría, o está usando una herramienta para escribir un archivo completo y cuando escriba el archivo completo, pues es cuando veremos el resultado, básicamente. Voy a revisar el chat. Somos dos, esto de los agentes se está poniendo muy interesante, así es. ¿Qué onda, Juan? Hola, hola. ¿Cuántos tokens por segundo tienes con esa configuración que mostraste, Juan? Aquí lo vimos también, como 30 tokens por segundo aún en directo. Ya me acostumbré a no programar, ¿eso es malo? Claro que sí. Hola, Juan, ¿de dónde bajas el llama.cpp? Estoy intentando usar tus mismos parámetros, pero no reconoce algunos parámetros, supongo que es por la versión de llama.cpp, saludos. Pues los comandos que utilizamos funcionan desde hace tiempo. ¿Desde dónde lo descargo? Pues desde el repositorio de llama.cpp. Entro al GitHub, veo las los lanzamientos más recientes y descargo el que esté más reciente, en este caso yo uso el de CUDA 13. De hecho, el que yo tengo creo que era la versión B9019, creo, y ya va en la 9025. A ver, ¿cuál estoy usando yo? Ah, no, B9022. Y este es el parámetro exacto, lo pueden eh tómenle captura y pásenselo a chat GPT o lo que sea para que se se los escriba en texto, para que no sufran. Repito, si estos valores los paso a la mitad, por ejemplo, pues casi que la ventana de contexto me ocupa la mitad de memoria, con lo cual puedo cargarlo doble. En velocidad de generación de tokens por segundo, casi, o mejor dicho, no voy a notar diferencia. En el prellenado, en eso de la evaluación de todo el prompt, de todo el contexto previo, sí. Ya depende de nosotros. En mi caso, prefiero comúnmente más velocidad que contexto o calidad del modelo. Así que así lo estamos usando. Aquí ya está hasta empezando a trabajar. Lo que quiero ver es si así es. plan.md. Aquí está absolutamente todo. Y entonces, pues va a ir desarrollando y va a ir verificando, va a ir comparando de acuerdo con todo el plan que tenemos aquí. No hace falta 100% hacer que nos escriba un archivo. De hecho, en todo caso, podemos nosotros empezar desde cero escribiendo este archivo y diciendo que implemente lo que dice. Sin embargo, lo considero una buena práctica para trabajar con los modelos, no porque perdamos el historial de lo que hemos creado. ¿Por qué? Pues porque sigue acá en el chat, aunque cerremos y abramos, podemos regresar al mismo hilo de conversación. No es tanto por eso, sino para, si cambiamos de conversación, poderle volver a dar el contexto completo, qué sé yo. Eh, por eso y por otras cosas, yo comúnmente así lo hago. Vimos entonces que nos hizo absolutamente todo el plan, todas las fases, bien guardado, todo bien. Y pues ya empezó a hacer carpetas y seguramente archivos. Vamos a ver en este momento en qué va. Consultar con text7, crear, ah, pues seguramente esto es lo primero que va a crear, entonces. Solo que iba a consultar primero con text7. Ahí ya está todo bien especificado. Documentación obtenida. Ahora procedo a crear todos los archivos del proyecto. Ahora creo install.sql para la base de datos. Okay, fase, ah, pues estamos en la fase uno y empieza desde la cero. Así es. Asegurar que Apache y MySQL están corriendo, crear la base de datos y tablas. Bueno, lo de asegurarse, yo ya lo tengo ejecutado, así que muy bien. Comprobar, crear la base de datos. Está en este paso. Y después de crearla, pues debería de ejecutar el comando para verdaderamente crear dicha base de datos en nuestro servidor MySQL. Después debería de comparar y marcar todo lo que ya es correcto, si no pues ir corrigiendo, así que en este momento entonces teóricamente está creando install.sql. Una verdadera diferencia que vamos a notar es lo siguiente, y es que cuando usamos agentes en línea, o bueno, no en línea, modelos en línea, a veces esas suscripciones de esos agentes, principalmente Claude, los demás casi ninguno lo va a hacer, si acaso GPT, a veces hacen subtareas en paralelo, con lo cual, por ejemplo, si si necesita necesita leer varios archivos para entender algo, a lo mejor está abriendo subagentes, subtareas, en las que está trabajando en todas al mismo tiempo, leyendo distintas cosas y después pasándolas al contexto principal. Eso, al menos en mi caso, yo solo lo he visto en Claude Code, en otros agentes y con otras suscripciones, no. Entonces, dentro de Claude esa parte es más rápida. Sin embargo, no significa que hace falta pagar una suscripción de Claude, sino que podemos utilizar Claude Code conectado a cualquier otro servicio, sea en local o sea en línea, y aprovecharnos, si tiene, a que pueda respondernos más de una cosa a la vez, dicha API. Aquí no, ¿por qué? Porque en nuestro entorno tenemos a que solo esté abriendo un hilo de conversación para no requerir, sabe cuántas veces cargada la misma ventana de contexto. Pero tal como digo, eh esta ventana de contexto. Esto va a ser [carraspeo] no por ser en local, sino por tener este valor. Y de todos modos casi todos los servicios en línea son así, excepto Claude Code, creo que Claude Code con su suscripción de Claude es el único, al menos que yo he visto, que se hace varias cosas en simultáneo, principalmente a la hora de leer, no a la hora de escribir, porque comúnmente requiere, pues, haber escrito lo anterior para conectar lo siguiente o qué sé yo. Versiones salen 10 cada día, así es. Hola bro, al fin te encuentro en vivo, vos Open Code el desktop es una Al ver tus videos me dio curiosidad de probar el CLI y mismo modelo, mismo prompt y una grandísima diferencia. Pues según yo encuentro calidad del del debería ser igual, según yo usa los mismos prompts y todo ello, pero sí, a la versión de escritorio de Open Code, hay muchas funcionalidades que aún no tiene. Programar o desarrollar, puedes olvidarte de la sintaxis que es codear, pero si aún recuerdas cómo estructurar todo es lo importante o no. Sí, bueno, ahí sí, exactamente. Depende de qué consideremos que es programar, de qué consideremos que es desarrollar, de qué consideremos que es diseñar y de qué consideremos que es codear. Comúnmente la IA para la que la deberíamos usar casi que únicamente es para codear, para programar. Ya para todo el desarrollo, todo el diseño y todo ello, y con diseño no nos referimos a lo bonito que se ve, sino toda la estructura, toda la arquitectura de la aplicación, eso es lo que debemos de seguir teniendo en cuenta nosotros. O si lo hacemos con un modelo de lenguaje, hacerlo en conjunto, no únicamente el modelo de lenguaje, porque si no no vamos a saber ni qué hace cada cosa ni si está bien hecho o no. Eso es en Windows y aquí estamos usando Windows, pero esto mismo se puede en Linux y en Mac, exactamente igual. Saludos a todos, buenas noches. Hola, hola. Creo que están bloqueando cuentas por usar servicios externos para no pagar. Creo que están bloqueando cuentas por usar servicios externos para no pagar. ¿De qué cosa servicios externos? Aquí esto lo estamos ejecutando en nuestra PC. Estamos ejecutando Qwen 3.6 35B a 3B. Pues qué es lo que estará haciendo que lleva tanto rato. Eh, otra cosa, a veces este tipo de agentes ya se les da tanta posibilidad a los modelos que de hecho, esperen, no está haciendo nada. No aparece el tiempo de que esté haciendo algo. No está haciendo nada. [risas] Estamos esperando infinitamente y ahí se detuvo. Okay, hay que tener en cuenta eso. Vamos a ver si le continúa. Pero bueno, a lo que iba. Ahora sí. Ajá, perfecto. No, pues quién sabe cuánto rato para nada. Eh, ¿qué decía? Que comúnmente, algo precisamente de eso. Ah, sí, que actualmente cada vez se les da más posibilidad eh a estos modelos y en estos agentes, a tal grado que antes creaban, leían, editaban un único archivo a la vez. Ahora más de una vez puede ser que modifiquen varios, que hagan varios, eh que lean varios al mismo tiempo. Es decir, que no es que esté escribiendo en varios al mismo tiempo, sino que la misma respuesta que está generando el modelo está escribiendo absolutamente todos los comandos, el uso de herramientas y demás con el contenido de el primer archivo, el segundo, el tercero, etcétera. Esto, si bien es algo que los agentes como Code Code, Codex y demás ya permiten y que los modelos se lanzan a intentarlo, no significa que siempre lo hagan bien. Es más, la posibilidad de fallo escribiendo un montón de archivos al mismo tiempo que uno solo. ¿Y qué sucede con ello? No que el código quede incorrecto, sino que a lo mejor se equivocó en algo importante el modelo en cuanto a cómo usar dicha herramienta de crear un archivo, o qué sé yo, o modificar o lo que sea. Y entonces, luego de un montón de tokens y tiempo, puede ser que aparezca error, de error al usar la herramienta, y vuelva a probar desde cero. Entonces, perdimos tokens, si es una cuenta en línea, y perdimos tiempo porque el modelo intentó hacer un montón de cosas a la vez y falló. Cuando notemos ese tipo de cosas, pues digámosle de una vez al modelo de primero un archivo y luego el otro, luego el otro. Eso es algo que claramente nos damos cuenta al momento de estar usando y encontrar las fallas. Eso, por ejemplo, es algo típico que sucede con los modelos GPT que intentan editar o escribir muchos archivos a la vez, tardan un montón de rato usando la herramienta, al final sale error. Y entonces, perdimos tiempo, tokens y peor aún, vuelve a intentar ¿y con qué va a intentar nuevamente? Exactamente con todo el mismo código, exactamente con todos los mismos comandos, pero intentando solucionar su error. Es probable que corrija ese error, o no, pero también es probable que cometa otro. Entonces, sería estar haciendo tres, cuatro pruebas el mismo modelo hasta que atina correctamente a todos los comandos de la escritura de absolutamente todos los archivos que quiere crear, perdiendo tiempo y perdiendo tokens. En ese caso, si bien a los modelos se les da mucha posibilidad y si bien lo pueden intentar, no sería algo que yo recomiende, la verdad. Eh, los modelos por sí solos tanto rato solos es más probable que fallen. Mejor de a poquito en poquito, por así decirlo. Que básicamente va a hacer de todos modos que haga todo, pero primero todo este comando, de crear este archivo con este contenido. Listo. Ahora este otro comando, de crear este archivo con este contenido, básicamente. Eso se lo podemos poner en el el prompt o en el mismo agent prompt.
Assistir ao vídeo original no YouTube
Assuntos: Agentes de IA. Publicado no YouTube em 2026-10-19.
Seleção automática por assunto e idioma. O vídeo pertence ao canal de origem.
Sobre llama.cpp y Qwen
llama.cpp es una biblioteca de software libre para la inferencia de modelos de lenguaje, escrita en C y C++, creada por Georgi Gerganov y publicada en GitHub en el repositorio ggml-org/llama.cpp bajo la licencia MIT. Según Wikidata, funciona en Linux, macOS, Windows y FreeBSD, lee y escribe modelos en el formato GGUF y es compatible con la API de OpenAI, lo que permite conectar agentes y herramientas a un modelo local. El README oficial incluye el servidor llama-server con API REST y destaca que Apple silicon recibe soporte de primera clase mediante ARM NEON, Accelerate y Metal, además de AVX, AVX2, AVX512 y AMX en procesadores x86.
Qwen es la familia de modelos de lenguaje y el chatbot de inteligencia artificial desarrollados por Alibaba Cloud, del Grupo Alibaba, en China. Wikidata registra su lanzamiento en abril de 2023, la licencia Apache 2.0 y los sitios oficiales qwen.ai y chat.qwen.ai, y su cuenta oficial en GitHub es QwenLM.
Ficha técnica
- Motor de inferencia: llama.cpp
- Autor: Georgi Gerganov
- Lenguajes: C, C++ y Python
- Licencia de llama.cpp: MIT
- Formato de modelos: GGUF
- Compatibilidad: API de OpenAI (llama-server)
- Modelo: Qwen (Alibaba Cloud, desde 2023, Apache 2.0)
Lee también
- Instalar Hermes Agent con Llama.cpp 🚀 Tu PROPIO Asistente de IA Local
- Agentes de IA con Hermes 🚀 Guía para USAR MODELOS LOCALES y Herramientas
- Uso de Agentes de IA y MCP 🚀 Cómo Optimizar el Desarrollo con Modelos Locales
Fuentes y referencias: GitHub – ggml-org/llama.cpp (README) · Wikidata – llama.cpp (Q125998452) · Wikidata – Qwen (Q130234299) · vídeo del canal Nichonauta en YouTube.