上交大&爱丁堡大学联手破解AI"记忆过载"难题

上海交通大学LUMIA实验室与爱丁堡大学信息学院联合研发的上交新型KV缓存压缩技术——InfoKV，于2026年6月25日在预印本平台arXiv正式亮相（论文编号：arXiv:2606.26875v1）。大爱丁堡大学该研究针对大型语言模型（LLM）在长上下文推理中面临的联手“记忆过载”痛点，提出了一种融合前向影响力（Forward Influence）与信息熵的破解创新压缩框架，显著提升了模型在超长文本处理中的记忆效率与准确性。

一、过载 核心痛点：AI为何会“记忆过载”？难题

大型语言模型在处理长对话或复杂推理时，需依赖KV缓存（Key-Value Cache）存储历史上下文。上交随着序列长度增加，大爱丁堡大学KV缓存呈线性增长，联手导致内存占用激增，破解甚至超出硬件极限。记忆

• 传统比喻：如同速记员记录会议，过载随着时间推移，难题笔记簿越来越厚，上交查阅效率急剧下降。
• 现有局限：主流压缩方案（如SnapKV、PyramidKV）主要依赖注意力权重（Attention Weights），即仅保留当前查询最关注的“近期热点”。这种“短视”策略忽略了那些当前未直接提及、但对未来推理至关重要的“伏笔”信息，导致长程推理能力受损。

二、 创新视角：从“关注当下”到“预判未来”

研究团队指出，现有方法的核心缺陷在于仅依赖“向后看”的信号。为此，他们引入了前向影响力概念：衡量删除某个词语后，模型对未来内容预测分布的变化程度（通过KL散度量化）。

关键发现：信息熵的价值

实验显示，在长距离推理（如后续14000个词）中，仅靠注意力权重选出的关键信息影响力急剧衰减，而基于信息熵（Information Entropy）选出的词语则展现出持续且显著的影响力。

• 信息熵的本质：反映模型预测的不确定性。
• 低熵：预测确定（如“北京是中国的____”填“首都”），信息量低。
• 高熵：预测多变（如“实验结果表明____”），蕴含丰富语义与关键转折。
• 结论：高信息熵词语多为名词、动词等实质内容词，是长程推理的“锚点”；低熵词语多为功能词，可安全压缩。

三、 InfoKV机制：双信号融合框架

InfoKV框架巧妙结合了注意力权重（反映当前相关性）与信息熵（反映固有信息量），通过以下三步实现精准压缩：

1. 序列维度：Top-k受限信息熵计算
   为避免噪声干扰，仅对预测概率最高的前k个词计算熵值（Top-k Restricted Entropy），量化词语在序列中的“信息含量”。
2. 层次维度：语义演变程度评估
   计算Transformer中间层与最终层表示的余弦距离。距离越大，说明该词语语义尚未收敛，承载更多待解读信息，应予以保留。
3. 融合打分：加权求和
   将信息熵分数与层次变化程度相乘得到“熵分数”，再与注意力分数加权求和：
   $$ \text{Final Score} = \alpha \cdot \text{Attention} + (1-\alpha) \cdot \text{EntropyScore} $$
4. 参数优化：实验表明，当权重参数 $\alpha=0.9$时效果最佳。这意味着以注意力为主导，同时引入信息熵作为关键补充，以弥补长程推理短板。

四、 实验结果：长文本与长输出推理的双重突破

InfoKV在两类核心任务上均超越了现有SOTA方法：

1. 长文本输入推理（Long Context Inference）

• 基准：LongReason数据集（含大量干扰信息的超长背景）。
• 模型：Llama-3.1-8B-Instruct, Llama-3.2-3B-Instruct。
• 结果：
• 在40%缓存保留率下，InfoKV在16k上下文场景中得分55.32，优于SnapKV (53.15)、PyramidKV (53.67)。
• 在更严苛的20%缓存及64k超长文本场景下，InfoKV优势进一步扩大，验证了信息熵在长程依赖捕捉上的独特价值。

2. 长输出生成推理（Long Output Generation）

• 基准：DeepSeek-R1系列（R1-Distill-Qwen-7B/Llama-8B），涵盖IFEval（指令遵循）、AIME 2024（数学）、LiveCodeBench（编程）。
• 结果：
• 在仅保留12.5%缓存的情况下，InfoKV在IFEval任务上的表现甚至超过了使用完整缓存的基线模型。
• 这证明了长推理中存在大量冗余噪声，选择性删除低信息量内容反而能提升模型专注度，实现“少即是多”。

五、 参数消融与可视化洞察

关键参数选择

• 偏置项 $\tau$：设为 1时表现最稳定，平衡了层次距离与预测不确定性的贡献。
• Top-k 值：k=256为最优解，验证了低概率词对熵估计贡献有限且易引入噪声。
• 自适应策略的局限：虽然尝试了基于层间熵分布的动态预算分配，但因在不同模型架构上表现不一致，最终采用均匀分配策略以确保普适性。

可视化对比：注意力 vs. 信息熵

• 注意力权重：聚焦于当前查询直接相关的词（如“Option A/B/C”），适合短程定位。
• 信息熵：聚焦于承载实质语义的词（如“argument”、“mistakes”），适合长程逻辑支撑。
• 启示：InfoKV通过结合两者，实现了“眼下的相关性”与“内在的信息价值”的完美平衡。

六、 意义与展望

InfoKV不仅是一项技术优化，更是对AI“选择性遗忘”机制的重新定义。它让AI从“记住最近被问到的”转变为“记住最有信息量的”。

• 用户价值：大幅降低显存需求，使普通硬件也能流畅运行超长对话与复杂推理，提升回答的一致性与准确性。
• 局限与未来：信息熵仍是对未来重要性的间接估计，且自适应分配策略需进一步探索以适配不同模型架构。

Q&A 常见问题解答

Q1：KV缓存压缩技术是什么？为什么大模型推理需要它？
A：KV缓存是大模型处理文本时的“工作记忆”，记录每个词的关键状态。随着对话变长，缓存线性增长导致内存爆炸。KV缓存压缩通过智能丢弃“不重要”的历史记录，在保持推理质量的前提下大幅降低内存占用，使长文本处理成为可能。

Q2：InfoKV中的信息熵和注意力权重有什么本质区别？
A：
* 注意力权重：动态指标，反映“当前查询”与“历史词”的关联度，易偏向近期高频词，存在“短视”缺陷。
* 信息熵：静态指标，反映模型预测该词时的“不确定性”，衡量词语本身的信息含量。高熵词（如关键名词、动词）对长程推理更具持久价值。

Q3：InfoKV压缩到只保留12.5%缓存时，为什么在某些任务上表现反而超过了使用完整缓存的模型？
A：长推理过程中存在大量冗余噪声（如格式语句、过渡词）。完整缓存会分散模型注意力，干扰关键信息提取。InfoKV通过剔除低信息量内容，起到“降噪”作用，使模型能更专注地利用高价值信息进行推理，从而在特定任务上实现“以少胜多”。

本文地址：https://www.dr-wine.com/html/244e11399642.html