mallet 使用 - 不管返回非零退出状态 1

Mallet是一款用于主题建模的Java开源软件包。它提供了许多命令行接口来处理文本数据和建立主题模型。这篇文章将以不管返回非零退出状态 1 为主题，介绍如何使用Mallet进行主题建模。

安装

在开始使用Mallet之前，需要先下载安装包并解压。Mallet可以从官方网站 http://mallet.cs.umass.edu/download.php 下载到最新版本。

解压后，将解压后的文件夹添加到环境变量中。

数据准备

在进行主题建模之前，需要准备好要分析的文本数据。数据可以是文本文件、网页、数据库等。本次将使用一个sample文件夹下的news文件夹中的文章进行主题建模。

在开始分析之前，需要对文本数据进行预处理。Mallet提供了一个命令行工具train-topics，该工具可以将文本数据预处理成Mallet所需的格式。

bin/mallet import-dir --input sample/news --output news.mallet --keep-sequence --remove-stopwords

其中--input指定输入文件夹，--output指定输出文件，--keep-sequence保留单词的序列信息，--remove-stopwords移除停用词。处理后的数据会存在news.mallet文件中。

主题建模

接下来就可以开始进行主题建模分析了。在Mallet中，主题建模的主要工具是 LDA （ Latent Dirichlet Allocation ，潜在狄利克雷分配）。

以默认值运行LDA:

bin/mallet train-topics --input news.mallet --num-topics 20  --output-state topic-state.gz --output-topic-keys news-keys.txt --output-doc-topics news-composition.txt

其中，--input指定输入文件，--num-topics指定主题数。运行结果会输出到文件中。

--output-state结果以gzip压缩形式输出到文件中。--output-topic-keys结果将各主题关键词输出到文件中。--output-doc-topics结果将运行结果中每个文件所中涵盖的主题输出到文件中。

主题建模的结果可以通过可视化工具进行更直观的展示。Mallet提供了一个简易的可视化工具来可视化主题。

bin/mallet run cc.mallet.topics.tui.TopicBrowser --input topic-state.gz --port 8000

其中，--input指定之前输出的结果。运行完成后，可以通过在浏览器访问 http://localhost:8000 来查看结果。

总结

在本文中，介绍了如何使用Mallet进行主题建模。首先，需要对文本数据进行预处理，并将其转化为Mallet所需的格式。然后，运行LDA命令进行主题建模，最后使用可视化工具进行结果展示。

参考文献

Mallet官方网站：http://mallet.cs.umass.edu/

Mallet Github：https://github.com/mimno/Mallet

Mallet用户手册：http://mallet.cs.umass.edu/topics.php