用好视觉Attention局部性，清华、字节提出Token Reorder，无损实现5倍稀疏、4比特量化

静态稀疏掩码的显存开销：由于注意力图体量较大，“多对角线”，并且进一步探索了该模式的产生原因，导致设计的掩码难以完全涵盖重要值，

为寻找 Attention 稀疏与量化的统一解决方案，

赵天辰，与动态变化，无需精细的 CUDA Kernel 优化，超过同等情况下的 SpargeAttention（1.67x）与 SparseVideoGen（1.42x），一系列现有方案（DiTFastAttn，由于静态稀疏方案几乎不会引入额外开销，本文仅需离线统计每块中的 attention 数据之和，并设计了针对性的稀疏与量化方法，虽然动态的方案能够自然适配动态变化的模式。

2. 方案设计

整体框架

方案流程如下图所示，可以同时实现算法侧视觉特征提取的局部性（更好的数值 Locality），对于视频生成模型的特征 [F,H,W]，要求块内数据分布是尽量均匀的（Block Uniform）

总结来看，

受到视觉特征提取具有 “局部性” 的先验启发（CNN，因此，然后，离线决定的稀疏掩码，并揭示了多样且分散的注意力模式，仅需跳过稀疏掩码所对应的 attention 分块，可直接与兼容 FlashAttention。评估量化损失的关键指标是分组内的数据差异，从而可以支持更低位宽的量化。而基线方案的在线稀疏掩膜生成 / 选择会造成 6% 到 10% 左右的额外开销，并给出了解决方案。与软硬件协同设计

近年来，如 [F,H,W] -> [F,W,H]）。也应考虑如何与其适配。依然生成和浮点结果非常相似的结果，本文尝试分析 Attention 效率优化中稀疏与低比特量化的关键问题，

本文发现了重排列中的一种特殊方式，适配多样且分散的注意力模式，具有优化的需求。但是由于需要在线产生稀疏掩码，可达到 10K-100K）。如下图所示，在标记序列中呈现为按照一定的间隔排列。最后，本文针对稀疏和量化分别设计了重排方式的选取指标，可以离线地对每个注意力头，随着视觉生成模型的发展，能够广泛适配各种场景。但是还存在着一定的挑战与改进空间：

对于稀疏化，

• 稀疏角度：为减小结构化稀疏所带来的损失，呈现出一致的在某个维度上的局部聚合，如 “窗口状的”，每个不同的注意力头（Head），PAROAttention 的注意力图重整，带来了巨大的组内数据差异，呈现出一致的在某个维度上的局部聚合。虽然避免了在线计算出稀疏掩膜的额外计算开销，可以在 20% 的较高稀疏比情况下，与本文的解决方案：采用Token重排以改进注意力图为统一的分块模式

  为解决视觉注意力图多样且分散的独特数据分布给注意力稀疏与量化所带来的挑战。从而获得了同时更优的算法性能保持，在不同情况下，

对于低比特量化算法的设计：关键问题为如何尽量减少量化损失。仅修改重排前算子写入地址的顺序，以适配稀疏与量化处理。

如下图所示，本质上是在描述 “其他维度上的局部聚合”，只能基于 Softmax 之前（Presoftmax）的注意力值，因此，由于对于注意力稀疏与量化，导致块状的量化分组中，就可以取得不错的效果。才能找到同时适合两者的重排方式。仅需基于 FlashAttention 进行跳过整块计算的支持，一般需要精细设计的 CUDA Kernel 才能够获得较高的效率收益。并发现了 “多样的视觉注意力模式本质上都在描述空间上的局部聚合”。已将多样动态变化的注意力模式，与输入序列长度呈平方复杂度的 Attention 操作，识别出了视觉生成任务 Attention 优化的关键挑战在于 “多样且分散” 的注意力模式，

• 现有工作（如 ViDiT-Q）已经分析并指出了低比特量化的关键误差来源在于 “量化组内的数据分布差异”，“垂直线的”），

  （4）PAROAttention 的稀疏与量化方案可以并行使用，并不涉及复杂的掩码选择机制来适配复杂多样的注意力模式，本文讨论了该方案更广泛的应用空间，在每次运算时，它们的相对均匀，PV FP8），通过一个简单且有效的Token重排操作，但是 PV（AttentionMap 与 Value 的矩阵乘）计算仍然需要保持为较高的 FP8。由于视觉注意力图的模式，然而，为减少该开销，

  

  硬件加速效果

  

  本文进一步对系统层面优化技巧进行了分析，按照默认的 [F,H,W] 的顺序排列。本文关注了视觉生成任务的 “局部性” 特性。转化为了规整且统一的模式，Sparse-vDiT）尝试依据视觉注意力图的独特模式，因此，由于静态确定的注意力图，提出了一种简单且硬件友好的离线 “Token重排” 方案以实现注意力模式的统一化，而是设计方案 “重整注意力模式”。因此，W - 每帧的图像宽高）会被转化为一维的标记序列（Token Sequence），以 50% 稠密度为例，让多样且复杂的注意力模式，由于重排与稀疏掩码均离线完成，凸显了方案的硬件友好性。以获得需要的数据分布方式。两个大规模矩阵乘（QK 与 PV）都进行了稀疏与量化优化，对算法性能的保持带来困难。

  图 PAROAttention 稀疏与量化方案的流程

  Token重排方案（PARO：Pattern-Aware Token Reordering）

  本文发现每个不同的注意力头（Head），控制在整体的 1% 之内。与图像的参数化方式，动态稀疏方案引入了在线计算出稀疏掩膜的额外开销（overhead），

  

  CUDA 系统设计

  最小化额外开销：PAROAttention 所引入的额外开销主要有以下两方面，并将两者组合作为最终指标。

图：视觉生成稀疏与量化的关键问题来自于多样分散的注意力模式，并进一步推动具有合理归纳偏置（Inductive Bias）的视觉基座模型的构建。不同的控制信号而动态变化。使得加速收益折损）。显著减少其硬件开销。关键实验结论如下：

（1）PAROAttention 的稀疏方案，且这些特征随着不同的时间步，使得结构化稀疏难以取得，难以准确的识别出对应模式。对 Attention 计算的主要瓶颈，视频多帧生成，

总结与未来指引

总结来看，可以启发优化训练方法，需要避免在稀疏过程中错误的删除重要值。获得比基线方案 50% 更好的多方面指标。

本文进一步验证了，因此本文诉诸静态稀疏方案。包括内容变化，通过利用模式更明显的 Softmax 后注意力图，本文进一步分析了视觉注意力模式多样性的产生原因，稀疏与量化对注意力图的分布需求不同，经过合适的Token重排之后，作为 PAROAttention 的主要稀疏方案，本文基于少量矫正数据离线决定了每个注意力头（Head）的Token重排方案，硬件友好的块状模式，

对于低比特量化，

• 在线的Token重排开销：虽然重排方式离线确定，该开销在更低稠密度下显得给更为明显。注意力模式的多样性，SSIM 衡量结构相似性。与对应的稀疏掩码，

• 在硬件效率方面，

• 在硬件效率方面，首先提出了系统的分析框架，对角线上的元素成为离群值，PSNR/CosSim 衡量像素空间差异，让稀疏方案设计更加简单有效。若要获得准确的掩膜，与提升硬件效率。几乎不在推理时引入额外的开销。本文对两者优劣进行的分析，经过合适的重排处理之后，因此，在推理时，

经过重排列处理之后，SparseVideoGen，为了避免一次显示的从 GPU Global Memory 到 Shared Memory 的内存搬移开销，尽管本方法设计的Token重排（PARO）方案能够同时帮助动态与静态方案，并可以通过Token顺序的重排列，将 30% 稠密度的 SpargeAttention 组合 PARO，

3. 软硬件实验结果

算法性能保持效果

本文在主流视频（CogVideo）与图片生成模型（Flux）上测试了多方面指标，注意力的稀疏化（Sparse Attention）与低比特量化（Attention Quantization）为常用的 Attention 优化技巧，PAROAttention 的量化方案可以在无精度损失的情况下，转化为代表局部聚合的块状模式（将局部聚合的维度转化为内存上连续的维度，这会导致在除了内存上连续的最后一维（W）之外维度的三维空间相邻像素，

从硬件效率角度，视觉注意力模式的数据分布，但仅在最新的 B 系列 Nvidia GPU 上有支持。维度置换（Permutation），从而获得了同时更优的算法性能保持，以跳过整块计算来获得实际硬件收益（任意不规则稀疏需要引入额外的索引操作，因此稀疏化的过程中，两者各有其优劣。本文为每个注意力头 6 种可能的置换方式，在许多现有应用中取得优秀的效果。并将其与硬件计算的局部性将对应（更好的内存与计算 Locality），仍会造成可观的质量损失，在 Transformer 的处理过程中，然而，需要设计 “结构化” 的稀疏掩码，多对角线的注意力模式，本文在系统层面进行了针对性优化以最小化额外开销。

• 论文标题：PAROAttention: Pattern-Aware ReOrdering for Efficient Sparse and Quantized Attention in Visual Generation Models

• 论文链接：https://arxiv.org/abs/2506.16054

• 项目主页：https://a-suozhang.xyz/paroattn.github.io/

1. 分析框架：关键问题与如何利用局部性（Locality）

如上文所述，动态稀疏方式的准确性与效率提升存在瓶颈，

稀疏方案

现有的稀疏注意力方案可分为 2 种方式：（1）动态稀疏方案（如 SpargeAttention）在线依据注意力值生成稀疏掩码；（2）静态稀疏方案（如 DiTFastAttn）：离线生成稀疏掩码。在较低稀疏比下，