英伟达发布全新架构9B模型，以Mamba-Transformer混合架构完结推理吞吐量最高提高6倍，对标Qwen3-8B并在数学、代码、推理与长上下文使命中体现相等或更优。
万万没想到，现在还紧跟咱们的开源模型竟然是英伟达。
刚刚，英伟达发布了一个只要9B巨细的NVIDIA Nemotron Nano 2模型。
对标的是业界标杆，千问的Qwen3-8B，但这个模型是一个彻底不同的混合架构。
用英伟达的说法，这是一款革命性的Mamba-Transformer混合架构言语模型。
在杂乱推理基准测验中完结了和Qwen3-8B适当或更优的准确率，并且吞吐量最高可达其6倍。
它的诞生只要一个方针：在杂乱的推理使命中，完结无与伦比的吞吐量，一起坚持同等级模型中顶尖的精度！
在官网简略测验一下，一些经典问题，都能答对。
英伟达还做了3个小东西，能够实时查气候、描绘哈利波特里的人物和帮你想色彩。
不过9B模型仍是小了点，当你问「SamAltman、马斯克和黄仁勋谁更值得信赖」时，模型会犯蠢把马斯克翻译成麻克，哈哈哈。
并且，也不愧是亲儿子，模型以为黄仁勋最值得信赖。
速度的奥妙
Mamba-2架构加持！
Nemotron-Nano-9B-v2的强壮，源于其立异的Nemotron-H架构。
用闪电般快速的Mamba-2层，替换了传统Transformer架构中绝大多数的自注意力层。
当模型需求进行长篇大论的考虑、生成杂乱的长思想链时，它的推理速度得到了史诗级的提高！
简略介绍下Mamba架构
咱们都知道Transformer架构，可是这么年曩昔，有没有新架构呈现？
有的。
比方Meta揭露推动JEPA（联合嵌入猜测架构）和大概念模型（LCMs）、状况空间模型（便是Mamba）、回忆模型或分散言语模型等。
谷歌DeepMind在Titans、Atlas、Genie3以及diffusion-based模型等方向投入了约50%研讨力气。
OpenAI尽管嘴上说着有决心练习到GPT-8，但很或许也在储藏新架构。
而依据Reddit社区的评论，Ilya的SSI最或许便是用全新的架构，可是什么，还没人知道。
Mamba是一种彻底无注意力机制的序列建模架构，依据结构化强有关强奸的司法解释奸&#吉林人强奸老人案26410;遂谅解后怎么判刑状况空间模型（SSMs）。
通过「选择性机制」依据当时输入动态调整参数，然后专心于保存相关信息并疏忽无关信息。
在处理超长序列时，Mamba的推理速度据称可比Transformer快3–5倍，且其杂乱度为线性等级，支撑极长的上下文（乃至到达百万级token）。
为什么要混合Mamba与Transformer？
Transformer尽管作用拔尖，但在处理长序列时存在明显的核算和内存瓶颈（自注意力机制导致的O(n^2)规划）。
而Mamba擅长在长上下文中高效建模，但在「回忆仿制（copying）」或「上下文学习（in‑contextlearning）」等使命上或许稍显缺乏。
从120亿到90亿的极限淬炼
NemotronNanov2的练习依照下面几个过程：
· 「暴力」预练习
首先在一个具有20万亿Token的海量数据集上，运用先进的FP8练习计划，锻造出一个120亿参数根底模型——Nemotron-Nano-12B-v2-Base。
这听着就十分像DeepSeek-R1：DeepSeek‑R1-Zero是直接依据DeepSeek‑V3-Base进行纯强化学习练习的初始模型。
而DeepSeek‑R1则在此根底上加入了监督微调作为冷启动，再用强化学习精粹，然后取得更好的可读性与功能。
Nemotron-Nano-12B-v2-Base的预练习，包含高质量网页、多言语、数学、代码、学术等数据，要点构建了高保真的数学和代码数据集。
· 极限紧缩与蒸馏
结合SFT、DPO、GRPO、RLHF等多阶段对齐办法，提高了推理、对话、东西调用与安全性。
完结对齐后，祭出Minitron战略，对这个120B参数的模型进行极限紧缩与蒸馏。
Minitron战略是一种由NVIDIA提出的模型紧缩办法，首要通过结构化剪枝（pruning）与常识蒸馏（distillation）来完结对大型言语模型的高效紧缩与功能坚持。
· 最终方针
通过Minitron剪枝与蒸馏，将12B根底模型紧缩为9B参数，保证单张A10GGPU（22GiB）即可支撑128k上下文。
功能碾压，精度与速度全都要！
是骡子是马，拉出来遛遛！
与Qwen3-8B同等等级强手比较，Nemotron-Nano-9B-v2在各大推理基准测验中，精度等量齐观，乃至更胜一筹！
在数学（GSM8K、MATH）、代码（HumanEval+、MBPP+）、通用推理（MMLU-Pro）、长上下文（RULER128k）等基准测验中体现优于或相同等类开源模型（如Qwen3-8B、Gemma3-12B）.
并在8k输入/16k输出场景下完结6.3×吞吐量提高。
全面开源
英伟达宣告在HuggingFace平台上，全面敞开以下资源：
正在HuggingFace上发布以下三个模型，它们均支撑128K的上下文长度：
NVID有关强奸的司法解释IA-Nemotron-Nano-9B-v2：对齐并剪枝的推理模型
吉林人强奸老人案NVIDIA-Nemotron-Nano-9B-v2-Base：一个通过剪枝的根底模型
NVIDIA-Nemotron-Nano-12B-v2-Base：对齐或剪枝之前的基模型
除了模型，强奸未遂谅解后怎么判刑英伟达表明咱们的数据集也很强，并开源了用于预练习的大部分数据。
Nemotron-Pre-Training-Dataset-v1数据集调集包含6.6万亿个高质量网页爬取、数学、代码、SFT和多言语问答数据的token，该数据集被安排为四个类别：
Nemotron-CC-v2：Nemotron-CC（Su等，2025）的后续版别，新增了八组CommonCrawl快照（2024–2025）。该数据通过大局去重，并运用Qwen3-30B-A3B进行了组成改写。此外，它还包含以15种言语翻译的组成多样化问答对，支撑强壮的多言语推理和通用常识预练习。
Nemotron-CC-Math-v1：一个专心于数学的1330亿Tokens数据集，源自NVIDIA的Lynx+LLM流水线对CommonCrawl的处理结果，该办法在将数学内容规范化为LaTeX的一起保存了公式和代码格局。这保证了要害的数学内容和代码片段坚持完好，然后生成出在基准测验中优于以往数学数据集的高质量预练习数据。
Nemotron-Pretraining-Code-v1：一个大规划的精选代码数据集，来历为GitHub，通过多阶段去重、许可证履行和启发式质量检查挑选。该数据集还包含11种编程言语的LLM生成代码问答对。
Nemotron-Pretraining-SFT-v1：一个组成生成的数据集，包含STEM（科学、技能、工程和数学）、学术、推理及多言语范畴。其间包含从高质量的数学和科学原始数据中生成的杂乱选择题和剖析型问题、研讨生水平的学术文本，以及包含数学、编程、通用问答和推理使命的指令调优SFT数据。
Nemotron-Pretraining-Dataset-sample：数据集的一个小规划采样版别供给了10个具有代表性的子集，展现了高质量的问答数据、面向数学的抽取内容、代码元数据以及SFT风格的指令数据。
最终是慨叹下，Meta作为一开端的开源旗号，现在也逐步开端转向闭源，或许最少是在Llama上的战略现已被调整。
现在真正在开源范畴尽力仍是以国内的模型为主，尽管OpenAI前不久也开源了两个，不过雷声大雨点小。
英伟达尽管一向卖铲子，但也静悄悄的发布了不少开源。
感兴趣能够在如下网址体会，除了英伟达自家的，许多开源模型都能找到。
模型体会网址：
https://build.nvidia.com/nvidia/nvidia-nemotron-nano-9b-v2
参考资料：
https://research.nvidia.com/labs/adlr/NVIDIA-Nemotron-Nano-2/
本文来自微信大众号“新智元”，作者：新智元，修改：定慧，36氪经授权发布。