Laguna XS.2 为不同层分配不同数量的 query 头，给滑动窗口层分配更多 query 头，给全局/全注意力层分配更少 query 头，同时将 KV 头固定为 8 个。

Poolside 的 Laguna XS.2 引入了逐层的 query 头预算分配机制，在开销较低的滑动窗口层上多分配 query 头，在开销较高的全局注意力层上少分配 query 头，而不是给每一层分配相同的注意力预算。 ✦ AI 生成 · 平台预翻

Sebastian Raschka · Ahead of AI · 2026-05-16 · English original →

所以 Laguna XS.2 给滑动窗口层分配了更多的 query 头，给全局层分配了更少的 query 头，同时将 KV 头固定为 8 个。这就是配置中实际的逐层头数预算分配方式。

So Laguna XS.2 gives more query heads to sliding-window layers and fewer query heads to global layers, while keeping the KV heads fixed at 8. That is the actual layer-wise head budgeting in the config.

阅读原文 ↗合理引用摘录 · 中文为平台译文