一条路径,六个阶段
按知识依赖排序,不按发布时间排名。初学者从 01 开始;熟悉 Transformer 的读者可以直接选 Sparse GQA、Block-wise Token Merging,或回到原算法主干。
来源边界:Step 5 的专有设计以你提供的文章为准;公式与小例子是教学解释。600B / 27B、92 层、1M 与局部 8× 均保留原文口径,不视为独立复现。查看来源说明
测验完成 0 / 33
展开原有算法演进图 · 固定状态与跨层检索支线
箭头表示本课程的理解顺序与机制联系,不表示所有架构都依次替代前者。GQA / Sparse GQA 的显式位置路线与这条固定状态路线并行。
都在“省”,省的对象却不同
| 机制 | 改变什么 | 不能据此推断 |
|---|---|---|
| GQA / MLA | KV 头共享 / 每个位置的表示压缩 | 历史位置数变成常数 |
| Sparse GQA | 本次参与注意力的历史位置 | 所有未选位置的 KV 都被删除 |
| Block-wise Token Merging | 按原文,复用与合并相邻查询的选择工作 | 删掉文本、块大小等于 8、整网快 8× |
| Linear / Delta / KDA | 把历史关联写入固定状态 | 任意细节均可无损恢复 |
| MoE / AttnRes | 选专家 / 选跨层表示 | 它们都在选择历史 token |
| Context Compaction | 工作历史与任务状态的上下文表示 | 等同于模型内部的注意力压缩 |
动手算:一个部分快 8 倍,整机能快多少?
教学模型:其余耗时不变,且没有新增开销或重叠变化。滑块不是 Step 5 的实测数据。