删除重复索引 pandas - Python

在使用 pandas 处理数据时，可能会因为重复索引的存在而导致数据的分析或计算结果出现错误。因此，需要删除重复索引以便于正确地处理数据。下面介绍如何删除重复索引以及相关的几个函数。

删除重复索引

使用 pandas.DataFrame 和 pandas.Series 对象的 drop_duplicates() 函数可以删除重复索引。该函数默认会保留第一个出现的索引，删除剩余的重复索引。具体使用方法如下：

import pandas as pd

df = pd.DataFrame({'A': [1, 1, 2], 'B': [1, 2, 3]}, index=['a', 'a', 'b'])

df = df.drop_duplicates(keep='first')

print(df)

输出结果为：

   A  B
a  1  1
b  2  3

上述代码中，通过 drop_duplicates() 函数删除了索引为 'a' 的重复数据。

删除所有重复索引

如果需要删除所有重复索引而不仅仅是保留第一个出现的索引，可以将 keep 参数的值设置为 False。具体使用方法如下：

import pandas as pd

df = pd.DataFrame({'A': [1, 1, 2], 'B': [1, 2, 3]}, index=['a', 'a', 'b'])

df = df.drop_duplicates(keep=False)

print(df)

输出结果为：

   A  B
b  2  3

上述代码中，通过 drop_duplicates() 函数删除了所有重复索引。

删除列并保留重复索引

有时需要删除某些列但同时需要保留重复索引。此时，可以使用 loc[] 函数和 drop() 函数。具体使用方法如下：

import pandas as pd

df = pd.DataFrame({'A': [1, 1, 2], 'B': [1, 2, 3], 'C': [1, 2, 3]}, index=['a', 'a', 'b'])

df = df.loc[df.index.duplicated(), ['A', 'B']].drop_duplicates(keep='first')

print(df)

输出结果为：

   A  B
a  1  1

上述代码中，使用 loc[] 函数获取重复索引，然后使用 drop() 函数删除不需要的列，最后使用 drop_duplicates() 函数删除剩余的重复索引。

总结

本文介绍了如何使用 drop_duplicates() 函数删除重复索引，以及如何使用 loc[] 函数和 drop() 函数删除列并保留重复索引。通过掌握这些方法，可以更加便捷地处理 pandas 数据。