128GB
给大模型,更大的本地空间。
CPU 与 GPU 共享同一片 LPDDR5x 内存,减少数据在两套内存之间来回复制,为模型、数据集和中间结果留下更大余量。
系统与运行时也会占用内存;128 GB 并非全部可用于模型权重。
NVIDIA / GRACE BLACKWELL
从桌面整机,深入 3nm 芯粒。
01DESIGNED FOR YOUR DESK
150 毫米见方,容纳一套 Grace Blackwell AI 开发系统。
整机按公开外观重建;GB10 封装为独立原理模型。内部布局、盖板、互联层与焊球均为示意,不代表真实版图或拆装顺序。
WHY SPARK
大容量、专用 AI 计算与高速连接,
把更多实验留在本地。
128GB
CPU 与 GPU 共享同一片 LPDDR5x 内存,减少数据在两套内存之间来回复制,为模型、数据集和中间结果留下更大余量。
系统与运行时也会占用内存;128 GB 并非全部可用于模型权重。
1PFLOP
FP4 · 启用稀疏性 · 理论峰值
Blackwell 第五代 Tensor Core 加速低精度 AI 工作负载;20 核 Arm CPU 负责数据处理与任务协同,让原型开发与推理实验在一台设备上完成。
峰值不等于实际生成速度,也不能换算为 Blender 渲染速度;表现取决于模型、精度和软件。
200B
单机推理标称上限 · FP4 模型
在桌面上验证大型模型推理;用自己的样本进行 QLoRA 微调,只训练少量适配参数,探索适合特定任务的模型表现。
上下文、缓存和软件方案会改变内存需求;可运行的参数规模不代表响应速度,也不代表全参数训练能力。
GROW BEYOND ONE
通过 ConnectX-7 与分布式软件扩展本地实验。官方四机方案合计 512 GB 内存,可探索约 700B 参数模型推理。
四机方案需要 200GbE 交换机与 RoCE;内存不会自动合并为单卡显存。模型精度、上下文与软件也会影响容量和速度。
ONE MEMORY POOL / SHARED POSSIBILITIES
128 GB 统一内存,让 CPU 与 GPU
围绕同一份数据工作。
01 / PREPARE
CPU 完成预处理,将数据写入共享内存。空间按任务动态使用,无须固定切成两块,也不是 CPU、GPU 各有 128 GB。
动画仅解释数据关系,不代表传输延迟或性能倍数。
CAPACITY / 装得下多少
128GB
模型权重、输入与运行中间结果共同使用系统内存。统一内存减少重复副本,GPU 可以使用更大的共享空间。
BANDWIDTH / 供给有多快
273GB/s
这是整套系统的内存带宽规格,不是 CPU 与 GPU 各有一份。数据复用、访问方式和计算量会影响实际表现。
COHERENCY / 协作的基础
硬件一致性帮助处理器协作访问数据;应用仍需确保写入完成后再读取。共享内存不意味着无需同步或没有数据传输。
C2C 与一致性依据 ↗MEMORY BUDGET / EXPLORE THE SCALE
切换参数规模与精度,观察标称 128 GB 容量里的预算变化。
70B × 4.5 bit ÷ 8 = 39.375 GB
4 bit 数值 + 每 16 个值共享 8 bit 缩放,平均 4.5 bit;未计全局缩放。
仅估算权重与手动预留,不是实际可用内存或可运行性结论。真实模型还可能有混合精度层、对齐及额外元数据。B = 10⁹ 参数,GB = 10⁹ 字节。
它保存注意力所需的历史 Key / Value,减少重复计算。更长上下文、更多并发通常需要更多缓存;权重用 NVFP4,不代表 KV cache 也用 NVFP4。
容量影响模型与上下文的空间;带宽、计算精度、算子和软件决定数据供给与执行效率。这个预算工具不估算生成速度或训练需求。
INSIDE GB10 / THE SCIENCE OF SPEED
Arm 的通用计算 × Blackwell 的大规模并行
由 3nm 工艺与 2.5D 封装连接起来。
ARM CPU / CONTROL & COMPUTE
处理复杂逻辑,让整台系统高效协作。
BLACKWELL GPU / PARALLEL ENGINES
把密集计算,分给大量并行执行单元。
通用并行运算:向量、图像、仿真等计算。核心数不能直接与 CPU 核心数相比较。
专门加速矩阵乘加。原生支持 NVFP4,让适配的 AI 模型用更低精度执行高吞吐计算。
加速光线追踪中的几何求交等操作。渲染仍需软件后端支持;AI 的 PFLOP 数值不是渲染成绩。
它是 GPU 架构这一代设计:规定计算单元、缓存及数据流如何协作。GB10 的 48 个 SM(流式多处理器)组织并行执行资源,将 AI 与图形能力适配到桌面系统。
A SECOND, REIMAGINED
FP4 · 稀疏 Tensor 理论峰值
1,000,000,000,000,000
10¹⁵ 次/秒 × 1 秒
FLOP 是一次浮点运算,FLOPS 是每秒浮点运算次数。一次乘加通常计作两次运算。这里展示整颗 GPU 的并行吞吐量换算。
这是按公布计算指标进行的理想换算,不是实时测速,也不是单条指令延迟。FP4 与 FP32 精度和执行单元不同,数值不能作为同一任务的加速倍数。
NVFP4 用 4 位表示数值主体,每 16 个数共享一个 FP8 缩放因子,再配合整个张量的 FP32 缩放。两级缩放减少量化误差,让低精度矩阵计算更实用。
缩放与其他元数据也占空间;量化需要校准、软件支持和精度评估。
NVFP4 原理 ↗在满足硬件支持的结构化稀疏条件时,Tensor Core 可以跳过部分零值计算。1 PFLOP 的宣传峰值包含稀疏条件,不适用于所有稠密模型。
模型权重、算子和推理框架都需要支持,不能仅通过“开启开关”让所有模型达到峰值。
稀疏矩阵说明 ↗计算单元需要持续获得数据。统一内存、缓存和 C2C 互联共同减少搬运开销;数据反复复用时,更有机会发挥矩阵计算的吞吐能力。
273 GB/s 是内存数据带宽,FLOPS 是计算吞吐;二者描述不同能力。
性能优化原理 ↗TWO DIELETS. ONE SUPERCHIP.
点击模块查看协作原理。逻辑连接示意,非芯片版图;尺寸、走线和位置不按比例。
01 / CPU & SYSTEM
模型加载、数据预处理、分词、分支判断与任务调度,适合交给通用 CPU。S-dielet 同时包含内存子系统;20 个核心可以并行处理多个软件线程,具体分配由操作系统与应用决定。
查看 NVIDIA 系统框图 ↗SILICON / 制造工艺
3nm
先进制程提升逻辑密度,并为性能与能耗提供更多设计余地。台积电的 3nm 平台采用 FinFET 晶体管技术;GB10 的两颗芯粒均采用 3nm 工艺。
3nm 是工艺代际名称,不代表每个结构的实际尺寸。NVIDIA 此讲稿未注明 N3E / N3P 等具体变体。
PACKAGING / 先进封装
2.5D
先进 2.5D 封装将 CPU / 系统芯粒与 GPU 芯粒整合在一个封装中,让高密度芯粒互联成为可能。制造负责做出电路,封装负责连接与集成。
2.5D 描述封装方式,并非 GPU 叠在 CPU 上的 3D 堆叠;此处不推断未公开的封装商品名或材料结构。
SYSTEM / 协同设计
140W
GB10 将 CPU、GPU 与内存子系统协同设计,配合低功耗 C2C 连接与共享内存,在紧凑机身里支持本地 AI 开发。芯片 TDP 为 140 W。
TDP 是芯片热设计指标,不是整机插座功耗或每秒能耗实测;实际耗电会随负载变化。
SMALL FORM. BIG IDEAS.
统一内存
128GB
CPU 与 GPU 共享 LPDDR5x
AI 理论峰值
1PFLOP
FP4 精度,启用稀疏性
Arm CPU
20核
10× Cortex-X925 + 10× A725
机身占地
150mm
150 × 150 × 50.5 mm · 1.2 kg
128 GB 为系统共享内存;1 PFLOP 是特定精度下的 AI 理论峰值,不能用于推断 Blender 渲染速度或网页帧率。