ZAYA1-8B 的 Compressed Convolutional Attention（压缩卷积注意力）直接在压缩后的潜在空间内执行注意力运算，而不像 MLA 那样只压缩存储的 KV 缓存，这样既减少了 KV 缓存大小，也减少了注意力计算的 FLOPs。

Zyphra 的 ZAYA1-8B 使用了 Compressed Convolutional Attention：它对 Q、K、V 进行压缩，并直接在压缩空间中计算注意力，同时在 Q/K 上加入卷积混合，以保留压缩过程中原本会丢失的局部上下文信息。 ✦ AI 生成 · 平台预翻

Sebastian Raschka · Ahead of AI · 2026-05-16 · English original →

CCA 对 Q、K、V 进行压缩，并直接在压缩后的潜在空间中执行注意力运算。这就是为什么 CCA 不仅能减少 KV 缓存大小，还能减少预填充（prefill）和训练过程中的注意力 FLOPs。

CCA compresses Q, K, and V and performs the attention operation directly in the compressed latent space. This is why CCA can reduce not only KV cache size, but also attention FLOPs during prefill and training.

阅读原文 ↗合理引用摘录 · 中文为平台译文