📅 最后修改于: 2020-05-13 04:53:17 🧑 作者: Mango
任务是计算最频繁的单词，从而从动态来源中提取数据。
首先，在requestsmodule和beautiful soupmodule 的帮助下创建一个Web爬网程序，它将从网页中提取数据并将其存储在列表中。可能会有一些不需要的单词或符号(例如特殊符号，空格)，可以对其进行过滤以简化计数并获得所需的结果。在对每个单词计数之后，我们还可以对大多数(例如10或20个)常见单词进行计数。
使用的模块和库函数：
requests：将允许您发送HTTP / 1.1请求等。
beautifulsoup4：用于从HTML和XML文件中提取数据。
operator：导出一组与内部运算符相对应的有效函数。
collections：实现高性能容器数据类型。
以下是上述想法的实现：
# 检索网页后用于单词频率计数的Python3程序
import requests
from bs4 import BeautifulSoup
import operator
from collections import Counter
'''定义网络爬虫/核心蜘蛛的函数，它将从给定的网站获取信息，并将内容推送到第二个函数clean_wordlist()'''
def start(url):
# 空列表，用于存储从我们的网络爬虫获取的网站内容
wordlist = []
source_code = requests.get(url).text
# BeautifulSoup对象，它将对请求的URL进行ping操作
soup = BeautifulSoup(source_code, 'html.parser')
# 给定网页中的文本存储在标记下的类为
for each_text in soup.findAll('div', {'class':'entry-content'}):
content = each_text.text
# 使用split()将句子分解为单词并将其转换为小写
words = content.lower().split()
for each_word in words:
wordlist.append(each_word)
clean_wordlist(wordlist)
# 该功能删除所有不需要的符号
def clean_wordlist(wordlist):
clean_list =[]
for word in wordlist:
symbols = '!@#$%^&*()_-+={[}]|\;:"<>?/., '
for i in range (0, len(symbols)):
word = word.replace(symbols[i], '')
if len(word) > 0:
clean_list.append(word)
create_dictionary(clean_list)
# 创建一个字典，其中包含每个单词的计数和top_20个出现的单词
def create_dictionary(clean_list):
word_count = {}
for word in clean_list:
if word in word_count:
word_count[word] += 1
else:
word_count[word] = 1
''' 获取已爬网页面中每个单词的计数 -->
# operator.itemgetter()接受一个参数1(表示键)或0(表示对应值)
for key, value in sorted(word_count.items(),
key = operator.itemgetter(1)):
print ("% s : % s " % (key, value))
<-- '''
c = Counter(word_count)
# 返回出现次数最多的元素
top = c.most_common(10)
print(top)
# 测试代码
if __name__ == '__main__':
start("https://www.imangodoc.com")
输出：
[('to', 10), ('in', 7), ('is', 6), ('language', 6), ('the', 5),
('programming', 5), ('a', 5), ('c', 5), ('you', 5), ('of', 4)]