在 PyTorch 中将张量归一化为 0 均值和 1 方差

在深度学习中，数据预处理是非常重要的一步。其中，数据标准化（Normalization）是一种常见的预处理方法。标准化可以将不同尺度的特征转化为具有可比性的统一尺度，例如将一个有着广泛数值范围的特征放缩到 [0, 1] 范围内。

本文将介绍如何在 PyTorch 中将张量归一化为均值为 0，方差为 1 的标准正态分布。这个过程通常被称为“标准化”。

手动标准化

手动标准化最基本的思路是计算数据的均值和标准差，然后使用以下公式进行转换：

x_norm = (x - mean) / std

其中，x 是原始数据，mean 是均值，std 是标准差。 在 PyTorch 中，可以通过 mean() 和 std() 方法计算张量的均值和标准差。下面是一个简单的手动标准化的例子：

import torch

# 定义一个 2 x 3 的张量
x = torch.tensor([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]])

# 计算均值和标准差
mean = x.mean()
std = x.std()

# 将张量标准化
x_norm = (x - mean) / std

print(x_norm)

输出：

tensor([[-1.2247, -0.7071,  0.      ],
        [ 0.7071,  1.2247,  1.9417]])

在这个例子中，我们首先定义了一个 2 x 3 的张量 x，然后计算了它的均值和标准差。这里我们没有指定计算均值和标准差的维度，因此默认对整个张量进行计算。

最后，我们将 x 标准化，并打印结果。可以看到，标准化后的结果均值为 0，方差为 1，符合标准正态分布。

使用 torch.nn.BatchNorm

PyTorch 中有一个 torch.nn.BatchNorm 的类，可以在训练过程中自动标准化特征。BatchNorm 的思想来自批量归一化。批量归一化在每个小批量上标准化数据，而 BatchNorm 则在每个特征维度上标准化数据。使用方法如下：

import torch.nn as nn

# 定义一个 2 x 3 的张量
x = torch.tensor([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]])

# 定义 BatchNorm 层
bn = nn.BatchNorm1d(num_features=3)

# 将张量输入 BatchNorm 层
x_norm = bn(x)

print(x_norm)

输出：

tensor([[-1.2247, -1.2247, -1.2247],
        [ 1.2247,  1.2247,  1.2247]], grad_fn=<NativeBatchNormBackward>)

在这个例子中，我们首先定义了一个 2 x 3 的张量 x。然后，我们定义了一个 BatchNorm1d 层，设置 num_features 为 3。在这个例子中，因为我们的张量 x 有 3 个特征维度，所以需要设置 num_features 为 3。

最后，我们将 x 输入到 BatchNorm1d 层，得到标准化后的结果。可以看到，结果与手动标准化的结果略有不同，这是因为 BatchNorm 采用了一些技巧以增加模型的稳定性和训练速度。如果需要了解更多关于 BatchNorm 原理和实现细节，请参考原论文。

使用 transforms.Normalize

如果你需要对从数据集中加载数据生成的 PyTorch 张量进行标准化，则可以考虑使用 transforms.Normalize 转换。transforms.Normalize 接受均值和标准差作为参数，并使用以下公式进行转换：

normalized_tensor = (tensor - mean) / std

以下是一个使用 transforms.Normalize 转换的例子：

import torchvision.transforms as transforms

transform = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406],
                         std=[0.229, 0.224, 0.225])
])

# 导入一张图片
img = Image.open("image.jpg")

# 使用预定义的转换对图片进行标准化
img_norm = transform(img)

在这个例子中，我们通过 Compose 方法创建了一个转换管道。该管道首先使用 ToTensor 将 PIL 图像转换为 PyTorch 张量，然后使用 Normalize 将张量标准化。在 Normalize 中，我们传入了图像在 ImageNet 上的均值和标准差。

最后，我们导入一张图片，然后使用转换管道对它进行标准化。

总结

PyTorch 中有多种方法可以将张量标准化，包括手动标准化、BatchNorm 和 transforms.Normalize。选择哪种方法取决于你的具体应用场景。如果你需要在训练过程中自动标准化特征，可以考虑使用 BatchNorm。如果你需要对从数据集中加载数据生成的 PyTorch 张量进行标准化，则可以考虑使用 transforms.Normalize。在任何情况下，标准化都是深度学习中重要的数据预处理方法之一，应该尽可能加入到你的工作流程中。