将文本文件读入 PySpark 数据帧

在 PySpark 中，我们可以使用 SparkSession 对象来处理数据，并且使用 read 方法可以读取多种格式的数据，包括文本文件。当我们读取文本文件时，返回的是一个 PySpark 数据帧，这个数据帧包含了文件中的所有数据。在本文中，我们将介绍如何读取文本文件并将其存储为 PySpark 数据帧。

步骤

1. 导入 PySpark 模块

在使用 PySpark 之前，我们需要导入 PySpark 模块和 SparkSession 类。以下是导入这些模块的示例代码

from pyspark.sql import SparkSession

当我们在 PySpark 中创建了 SparkSession 对象时，它提供了与 Spark 集群通信所需的机制。

2. 创建 SparkSession 对象

接下来，我们需要创建 SparkSession 对象，并指定应用程序名称。以下是创建 SparkSession 对象的示例代码

spark = SparkSession.builder.appName('ReadTextFile').getOrCreate()

在上述代码中，我们使用了 builder 方法来构建 SparkSession 对象，并使用 appName 方法指定了应用程序的名称为 ReadTextFile。如果这个应用程序名称不存在，则创建一个新的 SparkSession 对象。

3. 读取文本文件

在创建了 SparkSession 对象之后，我们可以使用 read.text 方法来读取文本文件。以下是读取文本文件的示例代码

text_file = spark.read.text('path/to/text/file')

在上述代码中，我们使用了 read.text 方法来读取文本文件，并将其存储为 text_file 变量。其中，path/to/text/file 是文本文件的路径和文件名。

4. 浏览文件数据

最后，我们可以使用 show 方法来查看文件数据。以下是查看文件数据的示例代码

text_file.show(10)

在上述代码中，我们使用了 show 方法来显示文件前 10 行的数据。如果要查看文件的全部数据，则省略括号中的数字。

完整代码示例

from pyspark.sql import SparkSession

# 创建 SparkSession 对象
spark = SparkSession.builder.appName('ReadTextFile').getOrCreate()

# 读取文本文件
text_file = spark.read.text('path/to/text/file')

# 查看文件数据
text_file.show(10)

参考资料：

• PySpark SQL DataFrame and Dataset API - Text File
• Apache Spark Tutorial: Python Examples, RDD, and PySpark Guide