2026年的架构研究已不再局限于单纯把transformer做大,而是分化出了混合架构、state space(状态空间)层、MoE容量分配、激活行为以及表征几何等多个方向。

Raschka观察到,2026年的架构创新涵盖了多个新方向——混合设计、状态空间层、MoE容量路由等等——而不只是把transformer做得更大。 ✦ AI 生成 · 平台预翻

Sebastian Raschka · Ahead of AI · 2026-06-06 · English original →

目前来看,2026年让我觉得有意思的一点是,架构方面的工作已经超越了单纯把transformer做大这件事。围绕混合架构(例如Nemotron 3和Arcee Trinity)、state space(状态空间)层(Nemotron 3和Mamba-3)、MoE容量分配(Scaling Embeddings Outperforms Scaling Experts,以及Step 3.5 Flash)有大量工作在展开。

One thing I find interesting about 2026 so far is that architecture work goes beyond making transformers larger. There is a lot of work around hybrid architectures (for example, Nemotron 3, and Arcee Trinity), state space layers (Nemotron 3 and Mamba-3), MoE capacity allocation (Scaling Embeddings Outperforms Scaling Experts, and Step 3.5 Flash).

阅读原文 ↗合理引用摘录 · 中文为平台译文