Gemma 4 的逐层嵌入（per-layer embeddings）为每个 transformer 层提供了各自的小型、特定于 token 的向量，在不将整个 transformer 堆栈扩展到更大参数量的情况下增加了表示能力。

PLE 是与 KV 共享不同的另一种效率技巧：它存储了额外的、按层和按 token 划分的嵌入容量，查找成本很低，这使得 Gemma 4 的“E”系列模型拥有比其“激活”参数量所暗示的更多有效容量。 ✦ AI 生成 · 平台预翻

Sebastian Raschka · Ahead of AI · 2026-05-16 · English original →

PLE 设计让开销较大的 transformer 模块保持在较小的“有效”规模附近，同时将额外的容量存储在逐层嵌入表中。这些嵌入表的使用成本比增加更多的注意力或 FFN 权重要低得多，因为它们主要是可以被缓存的查找式参数。

The PLE design keeps the expensive transformer blocks closer to the smaller "effective" size, while storing additional capacity in per-layer embedding tables. These are much cheaper to use than adding more attention or FFN weights, since they are mainly lookup-style parameters that can be cached.

阅读原文 ↗合理引用摘录 · 中文为平台译文