英伟达开源TwoTower模型：保留98.7%质量，AI生成提速2.42倍
IT之家 7 月 3 日消息，英伟源英伟达昨日（7 月 2 日）发布博文，达开宣布推出 Nemotron-Labs-TwoTower。型保这是留质量一种基于预训练自回归骨干网络的离散扩散语言模型，旨在突破大模型 Token 生成的生速倍速度瓶颈。
开源与授权
该模型以开源权重形式在 Huggingface 平台发布，成提采用 NVIDIA Nemotron Open Model License授权协议。英伟源
架构详解
- 总参数量：60B。达开
- 双塔架构：由两个 30B 的型保模块组成：
- 自回归上下文塔（AR Context Tower）：负责维护文本的自回归上下文。
- 扩散/降噪塔（Diffusion/Denoising Tower）：负责对噪声块进行去噪。留质量
- 激活机制：每个塔仅激活 3B 模型参数，生速倍并配备 128 个可路由专家（MoE）。成提
核心创新：TwoTower 架构将传统扩散语言模型中的英伟源任务解耦，把“上下文表示”与“去噪过程”分离到两个独立的达开神经网络中。上下文塔保持冻结状态，型保而去噪塔经过专门训练，两者通过逐层交叉注意力机制进行协作。
性能表现
英伟达数据显示，双塔架构在综合基准测试中保留了 98.7%的质量，同时实际运行吞吐量提升了 2.42 倍。
以下是具体基准测试结果对比：
| 任务指标 | Nemotron-3-Nano-30B-A3B (AR) | Nemotron-Labs-TwoTower (diffusion) |
|---|---|---|
| MMLU (5-shot, acc) | 78.56 | 78.24 |
| MMLU-Pro (5-shot, CoT EM) | 62.59 | 60.93 |
| ARC-Challenge (25-shot, acc_norm) | 91.72 | 92.66 |
| WinoGrande (5-shot, acc) | 76.09 | 76.09 |
| RACE (0-shot, acc) | 88.90 | 88.90 |
| HumanEval (0-shot) | 79.27 | 75.58 |
| MBPP-Sanitized (3-shot) | 74.71 | 74.28 |
| GSM8K (8-shot, acc) | 92.49 | 90.14 |
| MATH-500 (4-shot) | 84.40 | 80.60 |
| MMLU Global Lite (5-shot) | 73.97 | 73.94 |
| MGSM (8-shot, avg acc) | 80.80 | 80.40 |
| 质量保留率 | 100% | 98.7% |
| 生成吞吐量 (× AR) | 1.0× | 2.42× |
本文地址：https://www.dr-wine.com/html/158c12999712.html
版权声明
本文仅代表作者观点，不代表本站立场。
本文系作者授权发表，未经许可，不得转载。