Python | 抓取网页并获得最常用单词的程序


任务是计算最频繁的单词,从而从动态来源中提取数据。
首先,在requestsmodule和beautiful soupmodule 的帮助下创建一个Web爬网程序,它将从网页中提取数据并将其存储在列表中。可能会有一些不需要的单词或符号(例如特殊符号,空格),可以对其进行过滤以简化计数并获得所需的结果。在对每个单词计数之后,我们还可以对大多数(例如10或20个)常见单词进行计数。

使用的模块和库函数:
requests将允许您发送HTTP / 1.1请求等。
beautifulsoup4用于从HTML和XML文件中提取数据。
operator导出一组与内部运算符相对应的有效函数。
collections实现高性能容器数据类型。
以下是上述想法的实现:

# 检索网页后用于单词频率计数的Python3程序
import requests
from bs4 import BeautifulSoup
import operator
from collections import Counter
'''定义网络爬虫/核心蜘蛛的函数,它将从给定的网站获取信息,并将内容推送到第二个函数clean_wordlist()'''
def start(url):
    # 空列表,用于存储从我们的网络爬虫获取的网站内容
    wordlist = []
    source_code = requests.get(url).text
    # BeautifulSoup对象,它将对请求的URL进行ping操作
    soup = BeautifulSoup(source_code, 'html.parser')
    # 给定网页中的文本存储在<div>标记下的类为<entry-content>
    for each_text in soup.findAll('div', {'class':'entry-content'}):
        content = each_text.text
        # 使用split()将句子分解为单词并将其转换为小写
        words = content.lower().split()
        for each_word in words:
            wordlist.append(each_word)
        clean_wordlist(wordlist)
# 该功能删除所有不需要的符号
def clean_wordlist(wordlist):
    clean_list =[]
    for word in wordlist:
        symbols = '!@#$%^&*()_-+={[}]|\;:"<>?/., '
        for i in range (0, len(symbols)):
            word = word.replace(symbols[i], '')
        if len(word) > 0:
            clean_list.append(word)
    create_dictionary(clean_list)
# 创建一个字典,其中包含每个单词的计数和top_20个出现的单词
def create_dictionary(clean_list):
    word_count = {}
    for word in clean_list:
        if word in word_count:
            word_count[word] += 1
        else:
            word_count[word] = 1
    ''' 获取已爬网页面中每个单词的计数 -->
    # operator.itemgetter()接受一个参数1(表示键)或0(表示对应值)
    for key, value in sorted(word_count.items(),
                    key = operator.itemgetter(1)):
        print ("% s : % s " % (key, value))
    <-- '''
    c = Counter(word_count)
    # 返回出现次数最多的元素
    top = c.most_common(10)
    print(top)
# 测试代码
if __name__ == '__main__':
    start("https://www.imangodoc.com")

输出:

[('to', 10), ('in', 7), ('is', 6), ('language', 6), ('the', 5),
 ('programming', 5), ('a', 5), ('c', 5), ('you', 5), ('of', 4)]

 

Made with ❤️ in Chengdu. Copyright reserved 2019-2022.

蜀ICP备20006366号-1