NVIDIA's Nemotron 3.5 Super VL Multimodal AI Model Lands on AWS SageMaker JumpStart

Datos confirmados

El modelo Nemotron 3.5 Super VL de NVIDIA está disponible ahora en Amazon SageMaker JumpStart, ampliando la cartera de modelos de fundación accesibles a los clientes de AWS. Este modelo es un modelo de lenguaje de visión de la familia Nemotron 3.5, diseñado para aceptar imágenes, vídeo y texto como entrada y generar salida de texto.

El modelo está diseñado específicamente para aplicaciones empresariales como la inteligencia de documentos, la interfaz gráfica de usuario (GUI) comprensión, respuesta de preguntas de vídeo y aplicaciones de agente multimodal. Su arquitectura cuenta con una columna vertebral híbrida Mixture-of-Experts (MoE), de 120 millones de euros, con 12 mil millones de parámetros activos, junto con un encoder de visión. Apoya extensas longitudes de contexto, hasta 1 millón de fichas.

Las capacidades clave incluyen un cabezal integrado de Predicción Multi-Token (MTP), que facilita la decodificación especulativa para acelerar la generación de texto. Las capacidades de razonamiento del modelo son configurables por petición. Soporta ocho idiomas: inglés, francés, español, alemán, japonés, hindi, coreano y chino. Nemotron 3.5 Super VL ha sido sometido a post-entrenamiento con ajuste fino supervisado multimodal a través de diversos tipos de datos, incluyendo datos de imagen, vídeo, documento, gráfico y GUI, seguido por el aprendizaje de refuerzo GRPO. Esta formación le permite ofrecer salida estructurada JSON, llamadas de herramientas de apoyo y ofrecer un razonamiento configurable para los flujos de trabajo de los agentes institucionales.

Amazon SageMaker JumpStart ofrece dos variantes del modelo. La primera es una versión optimizada NVFP4 para inferencia, diseñada para funcionar eficientemente en instancias G7, que están equipadas con GPUs NVIDIA RTX PRO 4500 Blackwell Server Edition. La segunda variante consiste en pesos de referencia BF16, disponibles en ml.p5en.48x instancias de gran tamaño, destinadas a tareas de personalización tales como ajuste de fino supervisado (SFT), aprendizaje de refuerzo (RL), destilación y adaptación de dominio. Los clientes pueden desplegar estos modelos con unos pocos clics a través de la consola SageMaker o utilizando el SDK SageMaker Python.

Análisis técnico

La integración de Nemotron 3.5 Super VL de NVIDIA en Amazon SageMaker JumpStart representa un avance significativo para los desarrolladores que construyen aplicaciones de IA sofisticadas en AWS. Las capacidades de entrada multimodal del modelo —procesando imágenes, vídeo y texto para generar texto— responden a una necesidad crítica de soluciones empresariales que interactúan con diversos tipos de datos. (Inferencia) Esto va más allá de los modelos tradicionales de lenguaje sólo texto, permitiendo un espectro más amplio de casos de uso en los que el contexto visual es primordial, como el análisis de informes complejos con gráficos integrados o la comprensión de las interacciones de los usuarios dentro de una interfaz de software. Esta capacidad es crucial para automatizar tareas que antes requerían interpretación humana de medios mixtos.

La arquitectura híbrida Mixture-of-Experts (MoE) del modelo, con una columna vertebral de 120 mil millones de metros con sólo 12 mil millones de parámetros activos, es una opción de diseño estratégico para equilibrar la capacidad del modelo con la eficiencia de la inferencia. (Inferencia) Este diseño permite que el modelo apalanque el poder expresivo de un recuento de parámetro muy grande al tiempo que reduce potencialmente los costos computacionales y latencia durante la inferencia, ya que sólo un subconjunto de expertos se activa para cualquier entrada dada. Para los ingenieros de software, esto se traduce en un despliegue más performante y rentable de un modelo de alta capacidad en entornos de producción, haciendo que la IA avanzada sea más accesible para aplicaciones reales.

Una característica destacada es el soporte para longitudes de contexto hasta 1 millón de fichas. (Inferencia) Esta ventana de contexto excepcionalmente larga es transformadora para aplicaciones que requieren una comprensión profunda de documentos extensos, conversaciones prolongadas o transcripciones de vídeo completas. Por ejemplo, en la inteligencia de los documentos, permite al modelo procesar y razonar sobre contratos jurídicos completos, informes financieros o manuales técnicos sin fragmentación, manteniendo la coherencia y la precisión en vastas cantidades de información. Del mismo modo, para responder a la pregunta de vídeo, permite un análisis amplio del contenido de vídeo ampliado, capturando matices que faltarían ventanas de contexto más cortas, lo que es vital para un análisis detallado de contenido.

La inclusión de un cabezal de predicción multi-token (MTP) para la decodificación especulativa aborda directamente un cuello de botella común en el despliegue del modelo de lenguaje grande: velocidad de generación. (Inferencia) La decodificación especulativa es una técnica donde un modelo de borrador más pequeño y más rápido propone varias fichas, que el modelo más grande entonces verifica eficientemente. Al integrar esta capacidad, Nemotron 3.5 Super VL tiene como objetivo acelerar la generación de texto, haciéndolo más adecuado para aplicaciones interactivas en tiempo real donde la baja latencia es crucial para la experiencia del usuario. Se trata de una consideración de ingeniería práctica para crear interfaces o agentes con capacidad de IA que respondan rápidamente.

La capacidad del modelo para entregar la producción estructurada de JSON y la herramienta de soporte son fundamentales para construir agentes de IA robustos y fiables e integrar IA en los flujos de trabajo de software existentes. (Inferencia) La producción estructurada de JSON simplifica el consumo de pares y programas de respuestas modelo, eliminando la necesidad de un procesamiento complejo de lenguaje natural en el lado de salida. La llamada de herramientas permite al modelo interactuar con API externas, bases de datos u otros componentes de software, ampliando sus capacidades más allá de la generación de texto para realizar acciones en el mundo real. Esto es esencial para crear agentes autónomos que puedan ejecutar tareas, recuperar información o sistemas de control basados en los impulsos del usuario, permitiendo así una automatización más compleja.

La provisión de dos variantes distintas en SageMaker JumpStart atiende a diferentes etapas del ciclo de vida de aprendizaje automático. La versión optimizada NVFP4, que se ejecuta en instancias G7 con NVIDIA RTX PRO 4500 Blackwell Server Edition GPUs, está adaptada para una inferencia eficiente y de alto rendimiento en la producción. (Inferencia) Esta optimización es fundamental para el despliegue de grandes modelos a escala, donde la rentabilidad y la eficiencia de los costos son primordiales. Por el contrario, los pesos de referencia BF16 en ml.p5en.48xgrande instancias ofrecen flexibilidad para la personalización. (Inferencia) Esto permite a las empresas ajustar, destilar o adaptar el modelo con sus datos patentados, asegurando que el rendimiento y el comportamiento del modelo estén alineados con requisitos específicos de dominio o conjuntos de datos internos, lo que es una necesidad común para la adopción y diferenciación de IA empresarial.

El régimen integral de post-entrenamiento, que incluye un ajuste de ajuste supervisado multimodal sobre diversos datos (imagen, video, documento, gráfico, GUI) seguido por el aprendizaje de refuerzo del GRPO, indica un esfuerzo deliberado para mejorar la aplicabilidad y alineación del mundo real del modelo. (Inferencia) Este proceso de entrenamiento multietapa pretende mejorar la comprensión del modelo a través de las modalidades y perfeccionar su comportamiento para ser más útil, inofensivo y honesto, que son consideraciones críticas para implementar la IA en contextos empresariales sensibles. El razonamiento configurable por solicitud permite además a los desarrolladores ajustar el proceso de toma de decisiones del modelo para tareas específicas, ofreciendo control granular sobre su lógica operativa y su salida.

La disponibilidad de Nemotron 3.5 Super VL en SageMaker JumpStart reduce significativamente la barrera a la entrada para los clientes de AWS. (Inferencia) Al ofrecer una experiencia de implementación de "pequeños clics", AWS abstrae las complejidades de la provisión de infraestructura, alojamiento modelo y escalado, permitiendo a los desarrolladores centrarse en la lógica de aplicación en lugar de MLOps. This accessibility democratizes the use of advanced multimodal AI, enabling a wider range of organizations, including those with limited deep learning expertise, to leverage state-of-the-art foundation models for their business challenges and accelerate their AI initiatives.

Fuentes

• AWS Lo nuevo