如何迭代 PySpark 数据框中的行和列

在 PySpark 中，数据框是一种非常常见的数据结构，它类似于 Pandas 中的 DataFrame，可以方便地进行数据处理和分析。但是如果要对数据框进行迭代处理，可能有些不同于 Pandas 的方法。本文将介绍如何使用 PySpark 迭代数据框的行和列。

迭代数据框的行

对于数据框的行，PySpark 提供了两种迭代方法：

1. 使用 foreach() 方法迭代行

foreach() 方法可以很方便地对数据框的每一行进行迭代。

from pyspark.sql.functions import monotonically_increasing_id

# 创建一个示例数据框
data = [(1, "foo", 12.0),  (2, "bar", 23.0),  (3, "baz", 34.0)]
df = spark.createDataFrame(data, ["id", "name", "score"])
# 添加一个唯一标识列
df = df.withColumn("uid", monotonically_increasing_id())

# 定义一个回调函数，处理每一行数据
def my_function(row):
    print(row)

# 迭代数据框的每一行
df.foreach(my_function)

2. 将数据框转换为 RDD，使用 map() 方法迭代行

除了使用 foreach() 方法，我们还可以将数据框转换为一个 RDD，然后使用 RDD 提供的方法进行迭代。

# 将数据框转换为 RDD，每个元素为一行数据
rdd = df.rdd
# 使用 map() 方法对 RDD 的每个元素（即每一行数据）进行处理
rdd.map(my_function).collect()

迭代数据框的列

对于数据框的列，我们可以使用 for column in df.columns 来进行迭代。

# 迭代数据框的每一列
for column in df.columns:
    print(column)

有时候我们需要同时迭代数据框的列和行，可以使用 for row in df.collect() 和 row[column] 来实现。

# 同时迭代数据框的每一列和每一行
for row in df.collect():
    for column in df.columns:
        print(row[column])

总结

本文介绍了 PySpark 中迭代数据框行和列的方法。对于行，我们可以使用 foreach() 方法或将数据框转换为 RDD，使用 RDD 提供的方法进行迭代。对于列，我们可以使用 for column in df.columns 进行迭代。对于同时迭代行和列，可以使用 for row in df.collect() 和 row[column]。