pandas dropna 中的阈值含义 - Python

在使用 Pandas 进行数据清洗的时候，经常会使用到 dropna() 函数来删除缺失值。其中，该函数提供了 thresh 参数，表示删除缺失值之前必须存在的非缺失值的数量。本文即为介绍该参数的含义和使用方法。

thresh 参数的含义

thresh 参数的含义为：在删除缺失值之前，必须存在的非缺失值的数量。当一个 DataFrame 中有很多缺失值时，你可能不想删除所有缺失值，而是希望只删除缺失值较多的行或列。这时，就可以使用 thresh 参数。

例如，假设一个 DataFrame 中有 5 列数据，对应的缺失值数量分别为 1、0、3、2 和 1。如果设置 thresh=2，则只有第 2 列和第 5 列的缺失值会被删除，而其它列的缺失值会被保留。

使用方法

dropna() 函数的完整签名如下：

DataFrame.dropna(self, axis=0, how='any', thresh=None, subset=None, inplace=False)

在其中，thresh 参数可以传递一个整数，表示必须存在的非缺失值的数量。例如，要求非缺失值的数量至少为 2，可以按如下方式调用该函数：

df.dropna(thresh=2)

该语句会删除 DataFrame 中所有缺失值数量超过 3 的行或列。

示例

下面给出一个简单示例：

import pandas as pd
import numpy as np

# 创建一个 DataFrame，其中含有部分缺失值
df = pd.DataFrame({
    'A': [1, 2, np.nan, np.nan],
    'B': [2, np.nan, np.nan, 5]
})

# 删除缺失值数量超过 1 的行
df.dropna(thresh=2)

该语句会输出如下结果：

     A    B
0  1.0  2.0
3  NaN  5.0

注意到原始 DataFrame 中第 3 行缺失值数量为 2，已经被成功删除了。

总结

dropna() 函数的 thresh 参数可以用于控制删除缺失值的数量，将缺失值较多的行或列删除，同时保留缺失值较少的行列，从而更好地进行数据清洗和数据分析。