IndexCache 是什么
indexcache 是由清华大学与智谱（z.ai）联合研发的一种面向稀疏注意力机制的推理加速技术，专为优化 deepseek 提出的稀疏注意力（dsa）架构中索引器计算冗余问题而设计。其核心思想是利用相邻 transformer 层间 top-k token 选择的高度一致性（重叠率达 70%–100%），通过跨层索引缓存与复用策略，显著削减重复索引计算。该方法将模型层划分为“全量层”（执行完整索引计算并缓存结果）与“共享层”（跳过自身索引器，直接复用最近全量层输出），从而在不改动模型结构的前提下，消除约 75% 的索引器运算开销。实测表明，在 200k 长上下文场景下，预填充阶段提速达 1.82 倍，解码阶段提速 1.48 倍，且模型性能几乎无损。该技术已在 30b 参数 dsa 模型及 744b 参数 glm-5 大模型上完成端到端验证。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
Kubit.ai
一个AI驱动的产品分析平台，为产品和数据团队构建
下载
IndexCache 的主要功能
- 跨层索引复用机制：基于相邻层 top-k token 集合高达 70%–100% 的重合率，使共享层可安全复用全量层已生成的索引，彻底规避冗余计算。
- 大幅压缩索引器负载：仅需保留原索引器总量的 25%，即可维持原始模型精度与响应质量。
- 高效推理加速能力：在 200K 上下文长度下，实现预填充吞吐提升 1.82 倍、单 token 解码延迟降低 1.48 倍，显著缩短用户首 token 等待时间。
- 零显存增量开销：复用逻辑仅依赖一个轻量级条件分支判断，完全复用 DSA 原有显存分配，无需额外 GPU 内存。
- 双模部署支持：提供“无训练即插即用”方案（基于校准数据贪心搜索最优层配置）与“训练感知优化”方案（引入多层蒸馏损失协同训练索引器）。
- 工业级兼容性：已深度集成至 SGLang 与 vLLM 推理框架，并在 DeepSeek-V3.2、GLM-5 等主流大模型上完成生产环境验证。
IndexCache 的技术原理
- 层间索引相似性实证发现：研究团队通过对 DSA 模型各层索引器输出进行热力图可视化分析，确认相邻层所选 top-k token 具备极强一致性，重叠比例稳定处于 70% 至 100% 区间，揭示大量索引计算本质为低效重复。
- 分层角色动态划分机制：将模型各层按功能区分——全量层（Full Layer）保留原始索引器，负责实时计算并更新缓存索引；共享层（Shared Layer）则完全禁用本地索引器，直接调用最近全量层缓存结果驱动稀疏注意力计算。
- 自适应模式生成策略：针对已训练模型，采用基于小规模校准集的贪心搜索算法，逐层评估转换为共享层对最终输出的影响，保留关键层为全量层；对于新训练任务，则设计多层蒸馏损失函数，引导每个全量层索引器同步适配其后多个共享层的 token 选择需求。
- 轻量化推理流程重构：推理时每层仅引入一次 if/else 判断，依据预设层角色表决定执行索引计算或索引复用，全程不修改模型权重、不新增参数、不扩展显存占用。
IndexCache 的关键信息与使用前提
- 研发单位：清华大学与智谱（Z.ai）联合攻关成果。
- 目标痛点：解决 DSA 架构在超长上下文（如 200K tokens）下索引器成为性能瓶颈的问题——该模块在此场景下占据预填充总耗时的 81%。
- 理论基础：建立在相邻层索引高度重合（70%–100%）这一实证规律之上，以跨层复用替代重复计算。
- 加速收益：仅保留 25% 索引器资源，即可达成预填充 1.82×、解码 1.48× 的端到端加速。
- 精度表现：模型质量基本保持不变，部分任务（如长文本摘要、代码补全）甚至呈现轻微正向波动。
- 验证规模：已在 30B 参数 DSA 模型与 744B 参数 GLM-5 超大规模模型上完成全链路验证。
- 硬件依赖：需 NVIDIA GPU（推荐 H100/A100），但对显存无额外要求，复用 DSA 原有内存布局。
- 软件生态：原生支持 SGLang 和 vLLM 推理引擎，提供开箱即用补丁，可快速适配 DeepSeek-V3.2、GLM-5 等主流稀疏注意力模型。
- 迁移门槛：无训练方案适用于任意已发布的 DSA 模型，仅需少量校准样本（数百条 prompt）运行贪心搜索即可生成最优层配置。
IndexCache 的核心优势
- 极致推理提速：200K 上下文下预填充速度提升 1.82 倍、单步解码延迟下降 1.48 倍，显著改善高延迟敏感型应用体验。
- 零精度折损：剔除 75% 索引计算后，模型各项评测指标（如 MMLU、GSM8K、HumanEval）均保持基线水平，部分场景反超原始 DSA。
- 零显存膨胀：全部优化通过单个条件分支实现，不引入任何新参数或缓存结构，显存占用与标准 DSA 完全一致。
- 无缝集成能力：提供 SGLang/vLLM 官方兼容补丁，无需修改模型定义、不调整训练流程，可一键启用。
- 部署灵活可调：支持“免训练部署”与“联合训练优化”两种路径，同时允许用户按需调节全量层占比（如 1/3、1/4、1/5），平衡速度与精度。
- 大规模落地验证：已在 744B 参数 GLM-5 模型上完成千卡级集群压测，具备面向企业级 AI 服务的规模化部署能力。
IndexCache 的项目地址
- GitHub 仓库：https://www.jiuaidu.com/link/359353ccb2ed0977b00c27256b30c365
- arXiv 技术报告：https://www.jiuaidu.com/link/a5f3c488082d31416e5323823b4bc5d5
IndexCache 的同类竞品对比
| 对比维度 | IndexCache | 原生 DSA | Full Attention Anchor 方法 |
|---|---|---|---|
| **核心机制** | 跨层复用索引器输出的 top-k 索引 | 每层独立运行轻量级索引器 | 依赖全注意力锚点层复用索引 |
| **计算开销** | 去除 75% 索引器，预填充加速 1.82 倍 | 200K 上下文下索引器占 81% 预填充时间 | 需保留全注意力层，计算成本较高 |
| **适用场景** | 完全消除全注意力的 DSA 架构 | 标准 DSA 部署 | 需全注意力作为锚点的架构 |
| **实现复杂度** | 一个 if/else 分支，零额外显存 | 标准实现 | 需设计锚点层策略 |
| **训练要求** | 支持无训练部署或训练感知优化 | 需完整训练 | 通常需联合训练 |
| **生产验证** | 744B GLM-5 验证 | DeepSeek-V3 生产应用 | 多为中小规模实验 |
IndexCache 的应用场景
- 长文档智能解析：适用于科研论文精读、法律文书比对、金融尽调报告分析等需处理超长文本的任务，首 token 延迟降低 1.82 倍，大幅提升交互效率。
- 复杂逻辑推理：支撑数学定理推导、多跳代码生成、因果链建模等需深度思维链展开的任务，解码加速 1.48 倍，加快中间步骤生成节奏。
- 智能体（Agent）系统构建：赋能多轮工具调用、自主任务拆解与动态规划类 agentic 工作流，显著降低长上下文下的推理成本，增强 Agent 决策实时性。
- RAG 增强生成系统：高效整合 Web-scale 检索返回的海量片段，在知识密集型问答、行业专家助手等场景中实现低延迟、高质量内容生成。
- 实时对话服务平台：适配客服对话机器人、个人AI助手等高并发在线服务，提升 QPS 吞吐并降低单位请求推理成本，优化终端用户体验。
