ML | 常见损失函数

在机器学习中，损失函数（Loss Function）用于衡量模型在训练过程中的预测值与真实值之间的差异。通过最小化损失函数，我们可以让模型更好地拟合训练数据，从而提高模型的准确性。

常见的损失函数包括：

1. 均方误差（Mean Squared Error，简称MSE）

均方误差是回归问题中常用的损失函数，它计算预测值与真实值之间的平方差，并求取平均值。均方误差的公式如下：

MSE = (1/n) * Σ(y_pred - y_true)^2

其中，y_pred 是模型的预测值，y_true 是真实值，n 是样本数量。

均方误差越小，代表模型的预测值与真实值越接近。在训练过程中，我们尝试通过调整模型参数来最小化均方误差。

2. 交叉熵损失（Cross Entropy Loss）

交叉熵损失是分类问题中常用的损失函数。它对每个类别的预测概率与真实标签之间的差异进行度量。交叉熵损失可以用于多类别分类（Multi-Class Classification）和二分类（Binary Classification）问题。

对于多类别分类问题，交叉熵损失的公式如下：

CrossEntropyLoss = -Σ(y_true * log(y_pred))

对于二分类问题，交叉熵损失的公式可以简化为：

BinaryCrossEntropyLoss = -[y_true * log(y_pred) + (1 - y_true) * log(1 - y_pred)]

其中，y_pred 是模型对某个类别的预测概率，y_true 是真实标签。

通过最小化交叉熵损失，我们可以使模型的输出概率分布更接近真实标签的分布。

3. 对数损失（Log Loss）

对数损失也是用于分类问题的常见损失函数，也称为逻辑损失（Logistic Loss）或对数似然损失（Log-Likelihood Loss）。它只适用于二分类问题。

对数损失的公式如下：

LogLoss = -[y_true * log(y_pred) + (1 - y_true) * log(1 - y_pred)]

其中，y_pred 是模型对某个类别的预测概率，y_true 是真实标签。

对数损失的值越小，表示模型预测的概率分布与真实标签分布越接近。

4. Hinge损失

Hinge损失是支持向量机（SVM）中常用的损失函数，用于处理二分类问题。它鼓励模型对正确类别的预测概率与其他类别的预测概率之间有足够的间隔。

Hinge损失的公式如下：

HingeLoss = max(0, 1 - y_true * y_pred)

其中，y_pred 是模型对某个类别的预测概率，y_true 是真实标签。

Hinge损失使得模型对正确类别的预测概率尽量大于其他类别的预测概率并且大于等于1。

5. KL散度（Kullback-Leibler Divergence）

KL散度是用于度量两个概率分布之间差异的指标。它常用于生成模型（Generative Models）中，如变分自编码器（Variational Autoencoder）和生成对抗网络（Generative Adversarial Networks）。

KL散度的公式如下：

KLDivergence = Σ(y_true * log(y_true/y_pred))

其中，$y_true$ 是真实分布，$y_pred$ 是模型对某个类别的预测概率。

最小化KL散度可以使模型生成的分布逼近真实分布。

以上是常见的一些损失函数，在机器学习中具有重要的意义。根据不同的问题和模型，选择合适的损失函数可以提高模型的性能。