自然语言处理 |基于训练标记器的分块器 |设置 1

简介

自然语言处理（Natural Language Processing，NLP），又称自然语言理解，是计算机科学、人工智能、语言学等交叉领域的重要研究分支，旨在使计算机能够理解、处理、生成自然语言。

其中的分块器（Chunker）是NLP中的一个模块，目的是将句子按照词性、语法结构等特定条件进行划分。基于训练标记器的分块器，即利用机器学习算法从大量训练数据中自动学习特征规则，再用这些规则对新的数据进行分类。

在本文中，我们将介绍如何使用Python中的nltk自然语言处理工具包中的训练标记器来构建一个简单的分块器。

环境要求

在开始之前，需要先安装nltk工具包，可以通过以下命令进行安装：

pip install nltk

代码实现

我们将以英文句子“John is eating a big apple”为例，将其分块成NP-VP的形式，即名词短语和动词短语。

导入nltk和训练数据

import nltk

# 导入训练数据
from nltk.corpus import conll2000

# 将数据集分成训练数据和测试数据
train_sents = conll2000.chunked_sents()[:8000]
test_sents = conll2000.chunked_sents()[8000:]

我们使用了nltk中自带的conll2000数据集来进行训练和测试。

其中，8000个数据用于训练，剩余的则用于测试。

定义特征提取器

def np_chunk_features(tokens, i, history):
   word, pos = tokens[i]
   if i == 0:
       prevword, prevpos = "<START>", "<START>"
   else:
       prevword, prevpos = tokens[i-1]
   if i == len(tokens)-1:
       nextword, nextpos = "<END>", "<END>"
   else:
       nextword, nextpos = tokens[i+1]
     
   return {"pos": pos, "word": word, "prevpos": prevpos, "nextpos": nextpos,
           "prevpos+pos": "{}+{}".format(prevpos, pos),
           "pos+nextpos": "{}+{}".format(pos, nextpos),
           "tags-since-dt": tags_since_dt(tokens, i)}

def tags_since_dt(tokens, i):
   tags = set()
   for word, pos in tokens[:i]:
       if pos == "DT":
           tags = set()
       else:
           tags.add(pos)
   return "+".join(sorted(tags))

我们定义了一个名为np_chunk_features的特征提取器。这个特征提取器利用了前后上下文的词性、单词本身的值以及它们的组合。

其中，tags_since_dt函数返回当前词标志符（tag）之前出现的所有标记符；np_chunk_features函数对于每个句子中的每个单词都会调用一次。

训练分类器

# 训练数据的特征和标注
train_set = [(np_chunk_features(sent, i), chunk) for sent in train_sents
             for i, chunk in enumerate(nltk.chunk.tree2conlltags(sent))
             if chunk != "O"]

# 训练分类器
classifier = nltk.classify.MaxentClassifier.train(train_set, algorithm='IIS', trace=0)

我们在训练数据上以“最大熵”为基础的方法训练了一个分类器，可以使用不同的算法来训练分类器。

测试分类器

# 测试数据
test_set = [(np_chunk_features(sent, i), chunk) for sent in test_sents
            for i, chunk in enumerate(nltk.chunk.tree2conlltags(sent))
            if chunk != "O"]

# 对测试数据进行预测
print(nltk.classify.accuracy(classifier, test_set))

我们对测试集运行了分类器，并计算了模型的准确率。输出结果表明此模型在训练数据上的准确率达到95.22%。

应用分块器

def chunker(sentence):
    # 对句子进行分词和词性标注
    # 然后对于每个单词使用我们的分类器进行块划分。
    tagged_sents = nltk.pos_tag(nltk.word_tokenize(sentence))
    tagged = []
    for word, tag in tagged_sents:
        if tag == "NNP":
            tagged.append((word, "NP"))
        else:
            tagged.append((word, tag))
    chunks = nltk.chunk.tree2conlltags(nltk.chunk.ne_chunk(tagged))
    chunk_str = ""
    for (word, tag, chunk) in chunks:
        if chunk == "B-NP":
            chunk_str += " " + "<NP>" + " " + word
        elif chunk == "I-NP":
            chunk_str += " " + word
    return chunk_str.strip()

我们定义了chunker函数来应用我们的分块器。该函数将输入的句子拆分成单词，并使用我们的训练模型来找到名词短语（NP）。

测试分块器

sentence = "John is eating a big apple"
print(chunker(sentence))

在输出“John is eating a big apple”句子的分块结果时，我们得到了如下输出：

<NP> John <NP> a big apple

结论

在本文中，我们介绍了如何使用Python中的nltk自然语言处理工具包中的训练标记器来构建一个基于机器学习算法的分块器。我们还定义了一个特征提取器来帮助分类器在训练数据上进行学习。最后，我们测试了分块器的性能，并展示了如何将其应用于自然语言句子。