DiT 与 H3：用图看懂

配合《神经网络架构动画》使用 · H3 的数字都来自知识库，画面和玩具例子是示意（页尾有清单）

1 · H3 生成一段视频的全过程

从一团随机噪声出发，DiT 和采样器配合着转圈：DiT 看一眼当前画面，说出「该往哪个方向去噪」；采样器沿这个方向迈一小步，再把画面送回 DiT。转够圈数，VAE 把结果还原成视频。

左边「潜空间里的画面」是示意。真实的潜空间是 VAE 压缩后的一堆数字，人眼看不出画面，画成图只是为了让你看到噪声一步步变少。

这张图为了好懂省掉了几样东西（都已对照官方仓库的配置和 README 核实）：

• 读提示词的模型：Qwen3-VL-32B，取它第 50 层的输出。如果给了首帧图片，图片会同时送进 Qwen3-VL 和 VAE。
• 音频：H3 把视频和音频的 token 拼成一条序列，一起过 DiT。音频有自己的噪声调度（视频 shift 12，音频 shift 3）和自己的解码器。
• 49 还是 50：官方参数写的是 50，指包含终点在内的 50 个点，参考实现和 diffusers 实际跑 49 次 DiT。新版 SGLang 把同一个 50 解释成 50 次。所以看别人的耗时数字，要先问用的是哪个框架。

2 · 扩散：从雪花屏到画面

扩散模型生成画面，就是把一团雪花噪点一步步擦干净。H3 用的方法叫 rectified flow：把「噪声」和「画面」之间想成一条直线，任何一步的画面都是两者按比例混合。拖动滑块看看：

• 中间那张「猜的最终画面」：每一步 DiT 都在猜最终画面长什么样。噪声多的时候只能猜个大概（上面是天、下面是地），噪声少了才猜得出细节。同一个网络在不同阶段干的活不一样，这就是第 6 节 AdaLN 要解决的问题。
• shift = 12：知识库记录 H3 的噪声调度 shift 值是 12。切到这个模式会发现：大部分步数都花在噪声很多的阶段，画面到最后几步才显形。曲线按流匹配模型常用的换算公式 σ = 12t ÷ (1 + 11t) 画出；知识库没有记录 H3 具体用哪个公式，以代码为准。

3 · 采样器：沿着方向一步步走

把每一张可能的画面想成地图上的一个点。下面是二维的玩具地图，真实的地图有几百万维，但道理一样：

• 灰色小箭头：DiT 在每个位置说的「往这边走」。
• 采样器（Euler）：站在当前位置问一次 DiT，沿箭头走一段直线，再问下一次。

真实路线是弯的。步子小，就能贴着弯道走；步子大，就会冲出弯道。拖动「步数」看看：

rectified flow 训练时希望路线尽量直，直线的话一步就能走到。但学出来的路线总有弯，所以原版要走 49 步。这也说明不能直接把步数改成 8：不重新训练，大步就会冲出弯道。

4 · 同一副骨架，两种用法

DiT 里的 T 就是 Transformer。它和 Qwen、GPT 用的是同一副骨架：一层层叠起来的「注意力 + 前馈」。区别在于每一步让它干什么：

为什么用 Transformer：给扩散模型换大脑

扩散模型里每一步都要跑一遍、负责判断方向的部分叫主干网络，相当于它的大脑。早期的主干多是 U-Net，后来发现换成 Transformer 更容易靠扩大规模变强，DiT 就是这样来的。

5 · 切块和注意力：视频怎么变成 token

Transformer 只认一排 token。文本切成字词；视频切成时空小块：时间上取几帧、画面上取一小格，合成一块，就是一个 token。

下面用你本地 DiT实战/tiny_dit.py 的真实设置：16 帧、每帧 32×32 像素，每块取 2 帧 × 4×4 像素，切出 8 组 × 8 × 8 = 512 个 token。把鼠标移到任意一块上（手机上点一下）：

每个 token 都要和所有 token 算一次注意力分数，计算量随 token 数的平方增长。512 个 token，一层就要算 26 万多个分数。

H3 的真实切法：VAE 先把画面在长、宽上各压 16 倍，时间上压 4 倍，再按 1×2×2 切块，所以每个 token 管 4 帧 × 32×32 像素。按官方 VAE 的分块规则推算，5 秒 768p 有 37,296 个视频 token，加上音频和文本约 3.8 万个，一层要算约 14.6 亿个注意力分数（推算值）。所以注意力常是加速的重点。

稀疏注意力只让每块看一部分块。图里简化成「只看附近的块」；FastH3 自带的 VSA 会自己挑出重要的块。视频越长，token 越多，平方项越大，省得越多。你的方案里记录的是：5 秒视频快 1.13 倍，15 秒快 1.93 倍。

6 · AdaLN：按去噪进度给每一层拧旋钮

第 2 节说过：噪声多时要定大轮廓，快结束时只修细节。可 DiT 每一步都是同一个网络、同一套参数，它怎么知道现在该干哪种活？

答案是 AdaLN（自适应层归一化）：把「现在走到哪一步」换算成每一层的缩放和偏移，相当于给每一层拧旋钮。拖动进度看看：

这一块在 H3 里非常大：33.14B 参数里有 13.03B 是 AdaLN 投影层。普通文本模型一般没有这一块，因为它不需要知道「去噪进度」。H3 的 AdaLN 还按模态分开，视频、音频各有一套旋钮。

关键在于：旋钮的位置只看「走到第几步」，跟画面内容无关。官方 README 说，这些输出可以提前算好存起来，纯推理部署时这 13B 参数不用加载。它每步的计算量本来就很小，所以省的主要是显存。H3-Next 方案里的 AdaLN folding 也是这个思路，估算把模型从 33B 降到约 20B。

7 · 加速招数打在图上哪一处

回到第 1 节的总图。每种加速方法都是在图上某一处少算一点。点下面的按钮：

先量，再砍

你在 5090 上用 FastH3 Trim 生成 5 秒 480p 带音频的视频，时间是这样分的：

就算把去噪优化到 0 秒，最多也只能快 13.4 ÷ 4.3 ≈ 3.1 倍。所以到了这一步，剩下那 4.3 秒也得拆开量、一起砍。