ATRIUMsearch → argument graph
MechanismArticle

DeepSeek V4 的流形约束超连接(manifold-constrained hyper-connections, mHC)将残差流拓宽为多条并行的流,同时强制混合矩阵为双随机矩阵(doubly stochastic),使得更宽的残差通路足够稳定,能够以极小的开销扩展到生产环境。

DeepSeek V4 将流形约束超连接(mHC)投入生产:用若干条相互作用的流取代单一的残差流,并将其混合矩阵约束为非负且按行/列归一化,从而在大规模场景下稳定了更宽的残差通路。 ✦ AI 生成 · 平台预翻

Sebastian Raschka · Ahead of AI · 2026-05-16 · English original →

在 mHC 中,这种残差映射被投影到双随机矩阵的流形上,也就是说所有元素都是非负的,并且每一行和每一列的和都为 1。这使得残差混合的表现更像是在各条流之间进行稳定的信息重新分配。
In mHC, this residual mapping is projected onto the manifold of doubly stochastic matrices, meaning all entries are non-negative and each row and column sums to 1. This makes the residual mixing behave more like a stable redistribution of information across streams.

阅读原文 ↗合理引用摘录 · 中文为平台译文