短上下文标准任务性能对比

在 MMLU、GSM8K、MBPP 等短上下文标准测试中，LCA 的性能与原始 MLA 几乎相同，表明其压缩机制不会损害模型的基础能力。

4. 兼容不同模型规模

MiniCPM3-4B 模型扩展性验证

LCA 在 MiniCPM3-4B 模型上同样有效，实现 2.2 倍预填充加速和 93% KV 缓存减少，验证了其在不同规模模型上的通用性。

5. 适配其他注意力变体

GQA 架构适配验证

LCA 的设计不依赖于 MLA，可推广到其他注意力机制。实验表明，将其适配到分组查询注意力（GQA）后，在 DeepSeek-R1-Distill-Qwen-7B 模型上仍能实现 3.25 倍推理加速和 93% 缓存减少。

五、实际意义

LCA 为长上下文 LLM 的实际部署提供了重要支持：

六、总结

LCA 通过直接在潜在空间进行上下文压缩，巧妙地将 KV 缓存减少与计算复杂度降低统一到一个框架中。其解耦的语义-位置处理策略、理论保证的近似误差界，以及广泛的实验验证，使其成为长上下文高效建模的一个有力解决方案。这项工作已被 ACL 2026 接收，期待更多研究者与开发者在此基础上进一步推动长上下文技术的发展。