DeepSeek V4-Pro 结合使用的 CSA/HCA 压缩注意力机制在序列维度上（而非逐 token）缩短 KV 缓存，在 100 万 token 上下文长度下，将单 token 推理的 FLOPs 降至 DeepSeek V3.2 的 27%，KV 缓存大小降至 10%。

DeepSeek V4 交替使用较温和的稀疏压缩（CSA）和压缩力度大得多的密集压缩（HCA），通过对成组的 token 进行摘要来缩小 KV 缓存，在百万 token 上下文长度下相对 DeepSeek V3.2 实现了报告中显著的效率提升。 ✦ AI 生成 · 平台预翻

Sebastian Raschka · Ahead of AI · 2026-05-16 · English original →

DeepSeek V4 论文报告称，在 100 万 token 的上下文长度下，DeepSeek V4-Pro 的单 token 推理 FLOPs 仅为 DeepSeek V3.2（使用 MLA 和 DeepSeek Sparse Attention，即 DSA）的 27%，KV 缓存大小仅为其 10%。

The DeepSeek V4 paper reports that, at a 1M-token context length, DeepSeek V4-Pro uses only 27% of the single-token inference FLOPs and 10% of the KV cache size compared with DeepSeek V3.2, which uses MLA and DeepSeek Sparse Attention (DSA).

阅读原文 ↗合理引用摘录 · 中文为平台译文