Home/Blog/Tech/Google Advances Agentic AI with Multi-Turn Reinforcement Learning on TPUs
AI y modelosConfirmado
Google Advances Agentic AI with Multi-Turn Reinforcement Learning on TPUs
Google's new method for training multi-turn, tool-using LLM agents with Tunix and Gemma 4 on Cloud TPUs promises significant improvements in complex reasoning and tool compliance, pushing the boundaries of agentic AI.
Publicado 20 de noviembre de 20265 min leerAI y modelos
Los desarrolladores de Google anunciaron un nuevo método para entrenar agentes de modelos de lenguaje grande (LLM). Este método aprovecha Tunix y Gemma 4, y su entrenamiento se lleva a cabo en Google Cloud TPUs [1].
El enfoque algorítmico básico es la Optimización de Políticas Relativas del Grupo de Agentes (GRPO). Esto se complementa con el uso de rollouts vLLM asincrónicos [1].
El método está diseñado para mejorar las capacidades de los agentes en el razonamiento complejo y el cumplimiento de las herramientas en entornos interactivos [1].
Tunix se describe como un marco de aprendizaje de refuerzo específicamente diseñado para LLMs agentes [1]. Gemma 4 es utilizado como el LLM, identificado como la última generación de los modelos abiertos de Google [1].
Funciones de GRPO mediante la optimización de políticas de agentes mediante la comparación del desempeño de un grupo de agentes contra una base de referencia definida. Este mecanismo tiene por objeto fomentar la exploración manteniendo simultáneamente la estabilidad de la formación [1].
Los despliegues asincrónicos vLLM se emplean para generar datos de interacción de alto rendimiento y diverso, que es crucial para el proceso de formación [1].
El método aborda directamente retos como la planificación a largo plazo y la propagación de errores en múltiples turnos de interacción [1].
Los resultados prácticos incluyen una mejora del 25% de la tasa de terminación de tareas en el parámetro ToolUse-Complex en comparación con los métodos anteriores [1].
El despliegue en Cloud TPUs facilita una capacitación escalable y eficiente para estas tareas de aprendizaje intensivo de refuerzo computacional [1].
El enfoque permite a los agentes aprender de sus propios errores y perfeccionar sus estrategias operativas en turnos sucesivos de interacción [1].
"El cumplimiento de las herramientas" se define como la capacidad del agente para identificar, invocar y utilizar con precisión herramientas externas como necesarias por una tarea dada [1]. "El razonamiento complejo" se refiere a la capacidad del agente para descomponer problemas de varios pasos, gestionar el estado interno y adaptarse a cambios ambientales dinámicos [1].
Google ha proporcionado ejemplos de código y una guía para ayudar a los desarrolladores a implementar este método de entrenamiento [1].
Análisis técnico
El desarrollo de agentes de IA capaces de realizar tareas complejas y de múltiples pasos en entornos dinámicos presenta importantes desafíos de ingeniería. Las aplicaciones tradicionales de LLM suelen funcionar en ciclos de respuesta a la consulta de giro único. Sin embargo, los escenarios del mundo real exigen a los agentes que pueden involucrarse en interacciones extendidas, mantener el contexto, utilizar herramientas externas y adaptar su estrategia en múltiples turnos. Los desafíos confirmados de la "planificación larga-horizona" y la "propagración del terror" [1] destacan la dificultad de asegurar que las acciones de un agente sigan siendo coherentes y eficaces en una secuencia de operaciones, donde un error temprano puede descarrilar toda una tarea. Esto requiere mecanismos de aprendizaje sólidos que puedan manejar la toma de decisiones secuencial y los bucles de retroalimentación.
La integración de Tunix, un marco de aprendizaje de refuerzo diseñado específicamente para LLMs agentes, con el último modelo abierto de Gemma 4, Google, representa una elección arquitectónica específica [1]. La especialización de Tunix para LLMs agentes implica que proporciona abstracciones y optimizaciones relevantes para los requisitos únicos de los agentes de entrenamiento, tales como la gestión de la invocación de herramientas, la parización de observaciones y la estructuración de diálogos multi giro. El uso de Gemma 4 como el LLM subyacente sugiere aprovechar sus capacidades generativas y razonadoras como el "cerebro" del agente. Esta combinación permite al LLM generar acciones e interpretar observaciones, mientras que Tunix orquesta el proceso de aprendizaje basado en la retroalimentación ambiental. El aspecto "modelo abierto" de Gemma 4 podría facilitar una adopción y experimentación más amplias por parte de los desarrolladores, aunque no se divulgaron datos específicos sobre licencias o despliegue [1].
La adopción de la Optimización de Políticas Relativas del Grupo de Agentes (GRPO) es central en la capacidad del método para mejorar el rendimiento de los agentes. El mecanismo de GRPO de comparar un grupo de agentes contra una base de referencia para optimizar las políticas [1] sugiere un enfoque que equilibra la exploración (tratando nuevas estrategias) con la estabilidad (evitando el olvido o la divergencia catastrófica). Esto es particularmente valioso en entornos complejos e interactivos donde la política óptima podría no ser inmediatamente obvia, y los agentes necesitan descubrir secuencias efectivas de acciones. El prefijo "agentico" implica que GRPO ha sido adaptado al contexto específico de los agentes de LLM, probablemente incorporando mecanismos para manejar acciones discretas (como llamadas de herramientas) y observaciones estructuradas.
El uso complementario de los despliegues asincrónicos vLLM aborda directamente el desafío de eficiencia de los datos inherente al aprendizaje de refuerzo. Los algoritmos RL normalmente requieren grandes cantidades de datos de interacción para aprender políticas eficaces. Generando "alto rendimiento, datos de interacción diversos" asincrónicamente [1], el sistema puede recopilar rápidamente experiencias del medio ambiente, acelerando el ciclo de entrenamiento. Esta paralelización de la recopilación de datos es fundamental para escalar RL a tareas complejas y modelos grandes, reduciendo el tiempo necesario para la formación y haciendo que el proceso sea más factible para los desarrolladores.
Para los ingenieros de software, este método ofrece una vía concreta para desarrollar agentes AI más capaces y fiables. La mejora del 25% de la tasa de terminación de tareas en el parámetro ToolUse-Complex [1] es un resultado práctico significativo, indicando que los agentes capacitados con este enfoque son más eficaces para resolver problemas reales que requieren uso de herramientas y razonamiento complejo. Los desarrolladores pueden aprovechar los ejemplos de código proporcionados y pasarela [1] para implementar tuberías de capacitación similares, lo que podría reducir la barrera a la entrada para el desarrollo avanzado de agentes.
La capacidad de los agentes para "aprender de sus propios errores y perfeccionar sus estrategias en múltiples turnos de interacción" [1] implica un mayor grado de autonomía y robustez. Esto reduce la necesidad de establecer normas manuales extensas o de ingeniería rápida para cada escenario posible, cambiando el paradigma de desarrollo hacia la definición de entornos y funciones de recompensa. El énfasis en "aplicación de herramientas" y "ajuste complejo" se traduce directamente a agentes que son más confiables en flujos de trabajo automatizados, interactuando con APIs, o navegando entornos digitales donde la acción precisa y la progresión lógica son primordiales.
La dependencia de Google Cloud TPUs para el entrenamiento subraya la intensidad computacional de este avanzado enfoque RL [1]. Las TPU son aceleradores de hardware especializados optimizados para las cargas de trabajo de aprendizaje automático, especialmente multiplicaciones de matriz comunes en la formación de redes neuronales. Su uso permite "entrenamiento escalable y eficiente" [1], que es crucial para la iteración en grandes agentes de LLM y entornos complejos. Para los desarrolladores, esto significa que si bien el método es poderoso, el acceso a hardware escalable y especializado como TPU es una consideración práctica para implementar y experimentar con él a escala. La provisión de un recorrido sugiere Google tiene como objetivo hacer que esta poderosa capacidad sea accesible para los desarrolladores dentro de su ecosistema de la nube.
Si bien el anuncio detalla la metodología y sus beneficios, no se divulgaron detalles arquitectónicos específicos de Tunix más allá de su descripción como marco de RL para LLMs agentes. Del mismo modo, no se proporcionaron las características precisas de la arquitectura interna o de la formación de Gemma 4, más allá de su identificación como el último modelo abierto de Google [1]. Los desarrolladores que evalúan este enfoque tendrían que considerar los recursos computacionales necesarios, el esfuerzo que implica definir entornos interactivos apropiados, y el diseño de señales de recompensa efectivas para sus tareas específicas de agente. Los ejemplos de código proporcionados ofrecen un punto de partida para tales evaluaciones, permitiendo a los ingenieros evaluar la aplicabilidad y el rendimiento del método en sus propios contextos.