📜  NLP的应用

📅  最后修改于: 2020-11-23 04:44:50             🧑  作者: Mango


自然语言处理(NLP)是一种新兴技术,可衍生出我们当今所见的各种形式的AI,并将其用于创建人与机器之间的无缝以及交互界面将继续是当今和未来的头等大事。越来越多的认知应用。在这里,我们将讨论NLP的一些非常有用的应用程序。

机器翻译

机器翻译(MT)是将一种源语言或文本翻译成另一种语言的过程,是NLP的最重要应用之一。我们可以通过以下流程图了解机器翻译的过程-

机器翻译

机器翻译系统的类型

机器翻译系统有不同类型。让我们看看不同的类型是什么。

双语MT系统

双语MT系统会在两种特定语言之间进行翻译。

多语言MT系统

多语言MT系统可在任何一对语言之间进行翻译。它们本质上可以是单向的或双向的。

机器翻译方法(MT)

现在让我们了解机器翻译的重要方法。 MT的方法如下-

直接MT方法

它不那么流行,但是最古老的MT方法。使用这种方法的系统能够将SL(源语言)直接转换为TL(目标语言)。这样的系统本质上是双语的和单向的。

国际语教学法

使用Interlingua方法的系统将SL转换为称为Interlingua(IL)的中间语言,然后将IL转换为TL。可以通过以下MT金字塔了解Interlingua的方法-

国际语教学法

转移方式

此方法涉及三个阶段。

  • 在第一阶段,源语言(SL)文本将转换为面向SL的抽象表示形式。

  • 在第二阶段,面向SL的表示形式将转换为等效的面向目标语言(TL)的表示形式。

  • 在第三阶段,生成最终文本。

经验MT方法

这是MT的新兴方法。基本上,它以并行语料库的形式使用大量原始数据。原始数据包括文本及其翻译。基于类比,基于示例,基于内存的机器翻译技术使用经验MTapproach。

打击垃圾邮件

这些天最常见的问题之一是不需要的电子邮件。这使得垃圾邮件过滤器变得更加重要,因为这是针对此问题的第一道防线。

通过考虑主要的假阳性和假阴性问题,可以使用NLP功能来开发垃圾邮件过滤系统。

现有的用于垃圾邮件过滤的NLP模型

以下是一些现有的用于垃圾邮件过滤的NLP模型-

N-gram建模

N-Gram模型是较长字符串的N个字符切片。在此模型中,几种不同长度的N-gram被同时用于处理和检测垃圾邮件。

词干

垃圾邮件发送者(垃圾邮件的生成者)通常会更改垃圾邮件中攻击单词的一个或多个字符,以使它们可以破坏基于内容的垃圾邮件过滤器。这就是为什么我们可以说基于内容的过滤器如果无法理解电子邮件中单词或短语的含义就没有用。为了消除垃圾邮件过滤中的此类问题,开发了一种基于规则的词干技术,该技术可以匹配看起来相似和听起来相似的单词。

贝叶斯分类

现在,这已成为垃圾邮件过滤的一种广泛使用的技术。电子邮件中单词的出现率是根据统计技术中未经请求的(垃圾邮件)和合法的(火腿)电子邮件消息的数据库中典型出现的事件来衡量的。

自动汇总

在这个数字时代,最有价值的是数据,或者您可以说信息。但是,我们真的可以获得有用的信息以及所需的信息量吗?答案是“否”,因为信息超载,而我们对知识和信息的访问远远超出了我们理解信息的能力。我们非常需要自动文本摘要和信息,因为互联网上的信息泛滥不会停止。

文本摘要可以定义为创建较长文本文档的简短,准确摘要的技术。自动文本摘要将帮助我们在更少的时间内获得相关信息。自然语言处理(NLP)在开发自动文本摘要中起着重要作用。

问答式

自然语言处理(NLP)的另一个主要应用是问答。搜索引擎使我们可以触手可及的世界信息,但是在回答人类以自然语言发布的问题时,搜索引擎仍然缺乏。我们有像Google这样的大型科技公司也在朝这个方向努力。

问答是AI和NLP领域中的计算机科学学科。它专注于构建系统,该系统可以自动回答人类以自然语言发布的问题。理解自然语言的计算机系统具有程序系统的能力,可以将人类书写的句子翻译成内部表示,以便系统可以生成有效答案。可以通过对问题进行语法和语义分析来生成确切的答案。词汇差距,歧义性和多语言能力是NLP建立良好问答系统的挑战。

情绪分析

自然语言处理(NLP)的另一个重要应用是情感分析。顾名思义,情感分析用于识别多个职位之间的情感。它还用于识别没有明确表达情绪的情绪。公司正在使用情感分析,这是自然语言处理(NLP)的应用程序,用于在线识别其客户的意见和情感。它将帮助公司了解客户对产品和服务的看法。公司可以在情感分析的帮助下从客户的帖子中判断其整体声誉。这样,我们可以说,情感分析除了确定简单的极性外,还可以根据上下文理解情感,以帮助我们更好地理解所表达观点背后的含义。