激活函数

深度学习激活函数：从 Sigmoid 到 SwiGLU

[LATEXPAGE] 激活函数是插在神经网络每个神经元输出端的非线性变换。它的使命只有一个：让网络能够刻画非线性的输入—输出关系——没有它，一百层的网络在数学上仍然等价于一层线性回归。直观地说，激活函数决定了网络能不能"弯"：只能切直线的…