注意力机制

现代大语言模型在长上下文扩展中遭遇的物理瓶颈，从来不是浮点计算吞吐量（FLOPs），而是高带宽显存（HBM）与片上静态随机存取存储器（SRAM）之间的访存墙。Vaswani et al. (2017) 确立的标准缩放点积注意力算子（Scaled Dot-Product Attention），在序列长度 $N$ 膨胀时，其中间注意力矩阵产生 $O(N^2)$ 的显存搬运开销，使得自注意力算子本质上沦为内存带宽受限（Memory-Bound）任务。