Sigmoid函数

Sigmoid函数是一种常用的神经网络激活函数，常用于二分类问题中对于概率值的预测。

函数表达式

Sigmoid函数的数学表达式可以写为：

$$ f(x) = \frac{1}{1 + e^{-x}} $$

代码实现

一般情况下，我们可以使用Numpy库的exp函数来计算指数部分，将公式转化为代码：

import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

特点

Sigmoid函数的特点如下：

• 取值范围为0至1之间，可以将输出值表示为概率。
• 对输入$ x $的变化非常敏感，容易出现梯度消失现象，在神经网络深度较大时可能会出现训练不稳定的情况。
• 由于指数运算较为耗时，在大规模数据运算时效率较低。

应用

Sigmoid函数广泛应用于神经网络中，在二分类问题中可以作为输出层的激活函数，对于概率的预测具有较为准确的效果。同时也可以在隐藏层中作为中间层非线性变换的函数。