神经网络和密码学中的加密算法都依赖于对输入信息进行打乱和混合，但两者的优化目标截然相反：密码的设计目标是让输入的微小差异在输出端产生巨大且不可预测的变化（即“雪崩效应”，差分密码分析正是利用了这一点），而神经网络则通过残差连接和LayerNorm，专门让梯度保持平滑、可微，而不是混沌无序。

Reiner Pope将神经网络和密码算法对比为“殊途同归却又背道而驰”的两种设计：两者都会打乱信息，但密码算法的优化目标是放大输入的微小差异（差分密码分析正针对这一点），而神经网络则依靠残差连接和LayerNorm，让整个系统保持平滑可微，以便于梯度下降。 ✦ AI 生成 · 平台预翻

Reiner Pope · Dwarkesh Podcast · 2026-04-29 · English original →

基本上，它想说的是：如果你取输入的一个微小差异，很难让输出的差异也保持很小。一个设计良好的密码，它全部的工作就是要让输出的差异变得非常大。区别就在于，这时候（神经网络）的优化目标是关于……让事情变复杂。它们不具备同样的残差连接，比如LayerNorm这类东西。

Basically, what it says is that if you take a small difference of the input, it's quite difficult to make the difference of the output be small. The whole job of a well-designed cipher is to make the difference in output very large. The distinction is that the optimization goals at that point are about complexifying. They don't have the same residual connections, like LayerNorms.

回到原声 ↗逐字转录 · 起于 124:02 · 中文为平台译文