NVIDIA 发布 Nemotron 3 Nano Omni：面向文档、音频和视频智能体的长上下文多模态模型 (opens in new tab)

📌 One-Sentence Summary NVIDIA 推出 Nemotron 3 Nano Omni，一款全新的开源权重全模态模型，它融合了文本、图像、视频和音频理解能力，并采用混合 Mamba-Transformer-MoE 骨干网络，在多个多模态排行榜上取得顶尖准确率，同时吞吐量提升高达 9 倍。 📝 Summary 这篇来自 Hugging Face 博客上 NVIDIA 团队的文章宣布发布 Nemotron 3 Nano Omni，这是一个 30B-A3B 参数的全模态模型，专为真实世界的文档分析、自动语音识别、长音频视频理解、智能体计算机使用以及通用多模态推理而设计。该模型将 Nemotron 系列从视觉语言扩展到完整的文本+图像+视频+音频系统。关键的架构创新包括：用于高效长上下文处理的混合 Mamba-Transformer-Mixture-of-Experts 骨干网络、每张图像最多支持 13，312 个视觉补丁的动态分辨率视觉编码、用于视频的 Conv3D 时间压缩，以及通过 Parakeet-TDT 编码器实现的原生音频输入。该模型在 MMLongBen...