Python NLTK | nltk.TweetTokenizer()

在NLTK nltk.TweetTokenizer()方法的帮助下，我们能够将单词流转换为小的小标记，以便我们可以在nltk.TweetTokenizer()方法的帮助下分析音频流。

Syntax : nltk.TweetTokenizer()
Return : Return the stream of token

示例 #1：
在这个例子中，当我们以字符串的形式传递音频流时，它将在nltk.TweetTokenizer()方法的帮助下从长字符串转换为小标记。

# import TweetTokenizer() method from nltk
from nltk.tokenize import TweetTokenizer
  
# Create a reference variable for Class TweetTokenizer
tk = TweetTokenizer()
  
# Create a string input
gfg = "Geeks for Geeks"
  
# Use tokenize method
geek = tk.tokenize(gfg)
  
print(geek)

输出 ：

[‘Geeks’, ‘for’, ‘Geeks’]

示例 #2：

# import TweetTokenizer() method from nltk
from nltk.tokenize import TweetTokenizer
  
# Create a reference variable for Class TweetTokenizer
tk = TweetTokenizer()
  
# Create a string input
gfg = ":-) <> () {} [] :-p"
  
# Use tokenize method
geek = tk.tokenize(gfg)
  
print(geek)

输出 ：

[‘:-)’, ”, ‘(‘, ‘)’, ‘{‘, ‘}’, ‘[‘, ‘]’, ‘:-p’]