NVIDIA's Nemotron 3.5 Super VL Multimodal AI Model Lands on AWS SageMaker JumpStart

Fatos confirmados.

O modelo Nemotron 3.5 Super VL da NVIDIA está agora disponível no Amazon SageMaker JumpStart, expandindo o portfólio de modelos de fundação acessíveis aos clientes da AWS. Este modelo é um modelo de linguagem de visão da família Nemotron 3.5, projetado para aceitar imagens, vídeo e texto como entrada e geração de saída de texto.

O modelo é projetado especificamente para aplicações corporativas, como inteligência de documentos, compreensão gráfica de interface de usuário (GUI), resposta de perguntas de vídeo e aplicações de agentes multimodais. Sua arquitetura apresenta um híbrido de 120 bilhões de parâmetros Mixture-of-Experts (MoE) linguagem espinha dorsal, com 12 bilhões de parâmetros ativos, emparelhado com um codificador de visão. Ele suporta extensos comprimentos de contexto, até 1 milhão de fichas.

As principais capacidades incluem uma cabeça de Predição Multi-Token (MTP), que facilita a decodificação especulativa para acelerar a geração de texto. As capacidades de raciocínio do modelo são configuráveis por pedido. Ele suporta oito idiomas: inglês, francês, espanhol, alemão, japonês, hindi, coreano e chinês. Nemotron 3.5. Super VL passou por pós-treinamento com multimodal supervisionado ajuste fino através de diversos tipos de dados, incluindo imagem, vídeo, documento, gráfico, e dados GUI, seguido de aprendizado de reforço GRPO. Este treinamento permite que ele entregue saída JSON estruturada, ferramenta de suporte chamando, e oferecer raciocínio configurável para fluxos de trabalho de agentes empresariais.

Amazon SageMaker JumpStart fornece duas variantes do modelo. A primeira é uma versão NVFP4 otimizada para inferência, projetada para funcionar eficientemente em G7 instâncias, que são equipados com NVIDIA RTX PRO 4500 Blackwell Server Edition GPUs. A segunda variante consiste em pesos de referência BF16, disponíveis em casos de ml.p5en.48xlarge, destinados a tarefas de personalização, como ajuste fino supervisionado (SFT), aprendizado de reforço (RL), destilação e adaptação de domínio. Os clientes podem implantar esses modelos com alguns cliques através do console SageMaker ou usando o SageMaker Python SDK.

Análise técnica

The integration of NVIDIA's Nemotron 3.5 Super VL into Amazon SageMaker JumpStart represents a significant advancement for developers building sophisticated AI applications on AWS. The model's multimodal input capabilities—processing images, video, and text to generate text—address a critical need for enterprise solutions that interact with diverse data types. (Inference) This moves beyond traditional text-only large language models, enabling a broader spectrum of use cases where visual context is paramount, such as analyzing complex reports with embedded charts or understanding user interactions within a software interface. This capability is crucial for automating tasks that previously required human interpretation of mixed media.

A arquitetura híbrida Mixture-of-Experts (MoE) do modelo, com uma espinha dorsal de 120 bilhões de parâmetros com apenas 12 bilhões de parâmetros ativos, é uma escolha estratégica de projeto para balancear a capacidade do modelo com eficiência de inferência. (Inferência) Este projeto permite ao modelo alavancar o poder expressivo de uma contagem de parâmetros muito grande enquanto potencialmente reduz custos computacionais e latência durante a inferência, uma vez que apenas um subconjunto de especialistas são ativados para qualquer entrada dada. Para engenheiros de software, isso se traduz em uma implantação mais eficiente e econômica de um modelo de alta capacidade em ambientes de produção, tornando a IA avançada mais acessível para aplicações do mundo real.

Um destaque é o suporte para o contexto de até 1 milhão de fichas. (Inferência) Esta janela de contexto excepcionalmente longa é transformadora para aplicações que exigem compreensão profunda de documentos extensos, conversas prolongadas, ou transcrições de vídeo inteiras. Por exemplo, na inteligência documental, permite que o modelo processe e raciocine sobre contratos legais inteiros, relatórios financeiros ou manuais técnicos sem fragmentação, mantendo coerência e precisão em vastas quantidades de informação. Da mesma forma, para responder à pergunta de vídeo, permite uma análise abrangente de conteúdo de vídeo estendido, capturando nuances que janelas de contexto mais curtas perderiam, o que é vital para análise de conteúdo detalhada.

A inclusão de uma Predição Multi-Token (MTP) cabeça para decodificação especulativa diretamente aborda um gargalo comum em grande linguagem modelo implantação: velocidade de geração. Decodificação especulativa é uma técnica onde um modelo de rascunho menor e mais rápido propõe várias fichas, que o modelo maior então verifica eficientemente. Ao integrar esta capacidade, Nemotron 3.5 Super VL visa acelerar a geração de texto, tornando-o mais adequado para aplicações interativas em tempo real onde baixa latência é crucial para a experiência do usuário. Esta é uma consideração prática de engenharia para a construção de interfaces de IA responsivas ou agentes que precisam fornecer respostas rápidas.

A capacidade do modelo de entregar a saída e a ferramenta de suporte da JSON são fundamentais para a construção de agentes de IA robustos e confiáveis e integração de IA em fluxos de trabalho de software existentes. (Inferência) Saída JSON estruturada simplifica a análise e consumo programático de respostas de modelo, eliminando a necessidade de processamento de linguagem natural complexa no lado de saída. A chamada de ferramentas capacita o modelo para interagir com APIs externas, bancos de dados ou outros componentes de software, estendendo suas capacidades para além da geração de texto para executar ações no mundo real. Isso é essencial para criar agentes autônomos que possam executar tarefas, recuperar informações ou controlar sistemas baseados em prompts do usuário, permitindo uma automação mais complexa.

A provisão de duas variantes distintas no SageMaker JumpStart atende a diferentes estágios do ciclo de vida de aprendizado de máquina. A versão otimizada da NVFP4, rodando em G7 instâncias com NVIDIA RTX PRO 4500 Blackwell Server Edition GPUs, é feita para uma eficiente inferência de alto desempenho na produção. (Inferência) Esta otimização é fundamental para a implantação de grandes modelos em escala, onde a produtividade e a eficiência de custo são fundamentais. Por outro lado, os pesos de referência BF16 em ml.p5en.48xlarge instâncias oferecem flexibilidade para a personalização. (Inferência) Isso permite que as empresas ajustem, destilem ou adaptem o modelo com seus dados proprietários, garantindo que o desempenho e comportamento do modelo estejam alinhados com requisitos de domínio específicos ou conjuntos de dados internos, que é uma necessidade comum de adoção e diferenciação de IA empresarial.

O regime de pós-treinamento abrangente, envolvendo ajuste supervisionado multimodal em dados diversos (imagem, vídeo, documento, gráfico, GUI) seguido de aprendizado de reforço GRPO, indica um esforço deliberado para melhorar a aplicabilidade e alinhamento do modelo no mundo real. (Inferência) Este processo de treinamento multi-estágio visa melhorar a compreensão do modelo através de modalidades e refinar seu comportamento para ser mais útil, inofensivo e honesto, que são considerações críticas para implantar IA em contextos empresariais sensíveis. O raciocínio configurável por pedido permite aos desenvolvedores ajustar o processo de tomada de decisão do modelo para tarefas específicas, oferecendo controle granular sobre sua lógica operacional e saída.

A disponibilidade de Nemotron 3.5 Super VL em SageMaker JumpStart diminui significativamente a barreira de entrada para os clientes da AWS. (Inferência) Oferecendo uma experiência de implantação de poucos cliques, a AWS abstrai as complexidades de provisionamento de infraestrutura, hospedagem de modelos e escala, permitindo que os desenvolvedores se concentrem na lógica de aplicativos ao invés de MLOps. Essa acessibilidade democratiza o uso de IA multimodal avançada, permitindo uma ampla gama de organizações, incluindo aquelas com conhecimento de aprendizagem profundo limitado, para alavancar modelos de fundação de ponta para seus desafios de negócios e acelerar suas iniciativas de IA.

Fontes

• AWS O que há de novo?