SPARK结构探索

NVIDIA / GRACE BLACKWELL

DGX Spark.

从桌面整机,深入 3nm 芯粒。

128 GB 统一内存1 PFLOP FP4 稀疏理论峰值
经典视角/外观重建
正在准备三维模型…

01DESIGNED FOR YOUR DESK

超级计算,桌面尺寸。

150 毫米见方,容纳一套 Grace Blackwell AI 开发系统。

拖动旋转 · 滚轮缩放

整机按公开外观重建;GB10 封装为独立原理模型。内部布局、盖板、互联层与焊球均为示意,不代表真实版图或拆装顺序。

WHY SPARK

强大,在于能做什么。

大容量、专用 AI 计算与高速连接,
把更多实验留在本地。

01 / UNIFIED MEMORY

128GB

给大模型,更大的本地空间。

CPU 与 GPU 共享同一片 LPDDR5x 内存,减少数据在两套内存之间来回复制,为模型、数据集和中间结果留下更大余量。

Arm CPUBlackwell GPU
128 GB统一内存 · 273 GB/s

系统与运行时也会占用内存;128 GB 并非全部可用于模型权重。

02 / GB10 SUPERCHIP

1PFLOP

FP4 · 启用稀疏性 · 理论峰值

为 AI 计算,准备专门的核心。

Blackwell 第五代 Tensor Core 加速低精度 AI 工作负载;20 核 Arm CPU 负责数据处理与任务协同,让原型开发与推理实验在一台设备上完成。

6,144CUDA 核心20Arm CPU 核心

峰值不等于实际生成速度,也不能换算为 Blender 渲染速度;表现取决于模型、精度和软件。

03 / LOCAL AI

200B

单机推理标称上限 · FP4 模型

从运行大模型,到定制模型。

在桌面上验证大型模型推理;用自己的样本进行 QLoRA 微调,只训练少量适配参数,探索适合特定任务的模型表现。

70B官方 QLoRA 微调示例
微批量 1 · 序列长度 1024

上下文、缓存和软件方案会改变内存需求;可运行的参数规模不代表响应速度,也不代表全参数训练能力。

GROW BEYOND ONE

一台起步,多台协同。

通过 ConnectX-7 与分布式软件扩展本地实验。官方四机方案合计 512 GB 内存,可探索约 700B 参数模型推理。

四机方案需要 200GbE 交换机与 RoCE;内存不会自动合并为单卡显存。模型精度、上下文与软件也会影响容量和速度。

SPARK 01SPARK 02SPARK 03SPARK 04
512 GB查看官方扩展方案 ↗

ONE MEMORY POOL / SHARED POSSIBILITIES

数据共享,算力协同。

128 GB 统一内存,让 CPU 与 GPU
围绕同一份数据工作。

01 / PREPARE

CPU 准备,一份数据。

CPU 完成预处理,将数据写入共享内存。空间按任务动态使用,无须固定切成两块,也不是 CPU、GPU 各有 128 GB。

CPU → 共享内存

动画仅解释数据关系,不代表传输延迟或性能倍数。

CAPACITY / 装得下多少

128GB

一池容量,动态使用。

模型权重、输入与运行中间结果共同使用系统内存。统一内存减少重复副本,GPU 可以使用更大的共享空间。

BANDWIDTH / 供给有多快

273GB/s

数据要持续送到计算单元。

这是整套系统的内存带宽规格,不是 CPU 与 GPU 各有一份。数据复用、访问方式和计算量会影响实际表现。

COHERENCY / 协作的基础

缓存一致,任务仍需同步。

硬件一致性帮助处理器协作访问数据;应用仍需确保写入完成后再读取。共享内存不意味着无需同步或没有数据传输。

C2C 与一致性依据 ↗

MEMORY BUDGET / EXPLORE THE SCALE

模型权重,会占多少空间?

切换参数规模与精度,观察标称 128 GB 容量里的预算变化。

计算示例 · 非实测
权重精度
16 GB
用于 KV cache、运行时与系统等的预算假设
估算权重39.4GB

70B × 4.5 bit ÷ 8 = 39.375 GB

预算余量72.6GB
模型权重其他预留假设预算余量

4 bit 数值 + 每 16 个值共享 8 bit 缩放,平均 4.5 bit;未计全局缩放。

仅估算权重与手动预留,不是实际可用内存或可运行性结论。真实模型还可能有混合精度层、对齐及额外元数据。B = 10⁹ 参数,GB = 10⁹ 字节。

对话变长,KV cache 也会增长。

它保存注意力所需的历史 Key / Value,减少重复计算。更长上下文、更多并发通常需要更多缓存;权重用 NVFP4,不代表 KV cache 也用 NVFP4。

“能装下”和“跑得快”,分别判断。

容量影响模型与上下文的空间;带宽、计算精度、算子和软件决定数据供给与执行效率。这个预算工具不估算生成速度或训练需求。

INSIDE GB10 / THE SCIENCE OF SPEED

从每一颗核心,到每一秒计算。

Arm 的通用计算 × Blackwell 的大规模并行
由 3nm 工艺与 2.5D 封装连接起来。

ARM CPU / CONTROL & COMPUTE

20 核 Arm CPU

Armv9.2

处理复杂逻辑,让整台系统高效协作。

10 × Cortex-X925高性能核心
10 × Cortex-A725兼顾性能与能效
两类核心,各有侧重
X925 面向高单线程性能;A725 面向能效与持续性能。它们都能运行通用软件,并非固定绑定某一种任务。
Armv9.2 + SVE2
64 位指令架构配合向量指令,一条向量指令可处理多个数据元素,帮助加速适合向量化的数据处理代码。
在 AI 工作流中
负责分词、数据预处理、系统服务与 GPU 任务调度。20 核是并行资源;完成速度还取决于频率、每周期指令数和软件并行度。

BLACKWELL GPU / PARALLEL ENGINES

Blackwell GPU

6,144 CUDA 核心

把密集计算,分给大量并行执行单元。

CUDA 核心

通用并行运算:向量、图像、仿真等计算。核心数不能直接与 CPU 核心数相比较。

第五代 Tensor Core

专门加速矩阵乘加。原生支持 NVFP4,让适配的 AI 模型用更低精度执行高吞吐计算。

第四代 RT Core

加速光线追踪中的几何求交等操作。渲染仍需软件后端支持;AI 的 PFLOP 数值不是渲染成绩。

Blackwell 是什么?

它是 GPU 架构这一代设计:规定计算单元、缓存及数据流如何协作。GB10 的 48 个 SM(流式多处理器)组织并行执行资源,将 AI 与图形能力适配到桌面系统。

A SECOND, REIMAGINED

一秒,能容纳多少计算?

1 PFLOP/s

FP4 · 稀疏 Tensor 理论峰值

1,000,000,000,000,000

1 秒,等效 1000 万亿次浮点运算

10¹⁵ 次/秒 × 1 秒

FLOP 是一次浮点运算,FLOPS 是每秒浮点运算次数。一次乘加通常计作两次运算。这里展示整颗 GPU 的并行吞吐量换算。

这是按公布计算指标进行的理想换算,不是实时测速,也不是单条指令延迟。FP4 与 FP32 精度和执行单元不同,数值不能作为同一任务的加速倍数。

NVIDIA 产品规格:最高 1 PFLOP,FP4,启用稀疏性。 FP4 依据 ↗ FP32 依据 ↗

01

低精度,为什么能更快?

NVFP4 用 4 位表示数值主体,每 16 个数共享一个 FP8 缩放因子,再配合整个张量的 FP32 缩放。两级缩放减少量化误差,让低精度矩阵计算更实用。

缩放与其他元数据也占空间;量化需要校准、软件支持和精度评估。

NVFP4 原理 ↗
02

稀疏性,省掉哪些工作?

在满足硬件支持的结构化稀疏条件时,Tensor Core 可以跳过部分零值计算。1 PFLOP 的宣传峰值包含稀疏条件,不适用于所有稠密模型。

模型权重、算子和推理框架都需要支持,不能仅通过“开启开关”让所有模型达到峰值。

稀疏矩阵说明 ↗
03

算得快,还要喂得饱。

计算单元需要持续获得数据。统一内存、缓存和 C2C 互联共同减少搬运开销;数据反复复用时,更有机会发挥矩阵计算的吞吐能力。

273 GB/s 是内存数据带宽,FLOPS 是计算吞吐;二者描述不同能力。

性能优化原理 ↗

TWO DIELETS. ONE SUPERCHIP.

两颗芯粒,一套协同系统。

GB10 / 先进 2.5D 封装TSMC 3nm

点击模块查看协作原理。逻辑连接示意,非芯片版图;尺寸、走线和位置不按比例。

01 / CPU & SYSTEM

Arm CPU:把任务组织起来。

模型加载、数据预处理、分词、分支判断与任务调度,适合交给通用 CPU。S-dielet 同时包含内存子系统;20 个核心可以并行处理多个软件线程,具体分配由操作系统与应用决定。

查看 NVIDIA 系统框图 ↗

SILICON / 制造工艺

3nm

两颗芯粒,均为台积电 3nm。

先进制程提升逻辑密度,并为性能与能耗提供更多设计余地。台积电的 3nm 平台采用 FinFET 晶体管技术;GB10 的两颗芯粒均采用 3nm 工艺。

3nm 是工艺代际名称,不代表每个结构的实际尺寸。NVIDIA 此讲稿未注明 N3E / N3P 等具体变体。

PACKAGING / 先进封装

2.5D

把不同职责的芯粒紧密连接。

先进 2.5D 封装将 CPU / 系统芯粒与 GPU 芯粒整合在一个封装中,让高密度芯粒互联成为可能。制造负责做出电路,封装负责连接与集成。

2.5D 描述封装方式,并非 GPU 叠在 CPU 上的 3D 堆叠;此处不推断未公开的封装商品名或材料结构。

SYSTEM / 协同设计

140W

让算力进入桌面的功耗范围。

GB10 将 CPU、GPU 与内存子系统协同设计,配合低功耗 C2C 连接与共享内存,在紧凑机身里支持本地 AI 开发。芯片 TDP 为 140 W。

TDP 是芯片热设计指标,不是整机插座功耗或每秒能耗实测;实际耗电会随负载变化。

SMALL FORM. BIG IDEAS.

桌面尺寸,AI 核心。

统一内存

128GB

CPU 与 GPU 共享 LPDDR5x

AI 理论峰值

1PFLOP

FP4 精度,启用稀疏性

Arm CPU

20

10× Cortex-X925 + 10× A725

机身占地

150mm

150 × 150 × 50.5 mm · 1.2 kg

完整硬件配置
GPU
Blackwell · 6,144 CUDA 核心 · 第五代 Tensor Core · 第四代 RT Core
CPU 架构
Armv9.2 · 10× Cortex-X925 + 10× Cortex-A725
制程与封装
TSMC 3nm · S-dielet + G-dielet · 先进 2.5D 封装(NVIDIA Hot Chips 2025)
FP32 计算
31 TFLOPS · CUDA(NVIDIA Hot Chips 2025 公布芯片指标,非持续实测)
内存带宽
273 GB/s · 256-bit
存储
4 TB NVMe M.2,自加密;通用手册另列 1 TB 版本,需按具体型号确认
网络与接口
10GbE · ConnectX-7(2× QSFP)· Wi-Fi 7 · 蓝牙 5.4 · 4× USB-C(含供电口)· HDMI 2.1a
供电
240 W 外置电源;GB10 芯片 TDP 140 W
系统
NVIDIA DGX OS · ARM64 Linux

128 GB 为系统共享内存;1 PFLOP 是特定精度下的 AI 理论峰值,不能用于推断 Blender 渲染速度或网页帧率。