Qwen3.6 可能是使用混合设计的开源权重 LLM 系列中最受欢迎的一个，它在非注意力部分用 Gated DeltaNet 层替代了 Mamba-2。

Raschka 指出，混合注意力/状态空间的趋势已经蔓延到 Qwen3.6——采用这种方法的开源权重模型系列中最受欢迎的一个，不过它用 Gated DeltaNet 层替换了 Mamba-2。 ✦ AI 生成 · 平台预翻

Sebastian Raschka · Ahead of AI · 2026-06-06 · English original →

这种交替使用注意力层和替代层的混合架构趋势，是今年相对流行的一个发展方向。可能使用类似混合设计中最受欢迎的开源权重 LLM 系列，大概就是 Qwen3.6，它在非注意力部分用 Gated DeltaNet 层而不是 Mamba-2 层。

This hybrid-architecture trend with alternating attention and alternative layers is a relatively popular development this year. The probably most popular open-weight LLM series that uses a similar hybrid design is probably Qwen3.6, which uses Gated DeltaNet layers instead of Mamba-2 layers for the non-attention portions.

阅读原文 ↗合理引用摘录 · 中文为平台译文