📌  相关文章
📜  Apache Pig TOKENIZE函数

📅  最后修改于: 2021-01-07 11:13:19             🧑  作者: Mango

Apache Pig TOKENIZE函数

Apache Pig TOKENIZE函数用于拆分现有字符串并在结果中生成一袋单词。

代币函数示例

在此示例中，我们将字符串拆分为标记。

执行TOKENIZE函数的步骤

  • 在本地计算机上创建一个文本文件，然后插入元组列表。
$ nano evaltokenize.txt

  • 检查插入文本文件中的元组。
$ cat evaltokenize.txt

  • 将文本文件上载到HDFS的特定目录中。
$ hdfs dfs -put evaltokenize.txt /pigexample
  • 打开Pig MapReduce运行模式。
$ pig
  • 加载包含数据的文件。
grunt> A = LOAD '/pigexample/evaltokenize.txt' USING PigStorage(',') AS (a1:chararray) ;
  • 现在，执行并验证数据。
grunt> DUMP A;

  • 让我们返回字符串的标记化形式。
grunt> Result = FOREACH A GENERATE TOKENIZE(a1);
grunt> DUMP Result;

在这里，我们得到了期望的输出。