在Python使用 BeautifulSoup 从 HTML 中提取 JSON

如果您想从网页中提取JSON数据，可以使用 BeautifulSoup 库。 BeautifulSoup 是一个HTML和XML分析库，可以帮助我们解析和提取HTML和XML文件中的数据。在本文中，我们将介绍如何使用 BeautifulSoup 从HTML中提取JSON。

步骤

以下是我们提取HTML中JSON数据的步骤：

1. 将HTML转换为BeautifulSoup对象

   首先，打开并读取HTML文件，然后将其传递给 BeautifulSoup 对象。这可以使用以下代码完成：

   from bs4 import BeautifulSoup
   
   with open('index.html', 'r') as f:
       soup = BeautifulSoup(f, 'html.parser')
   

2. 找到HTML中的JSON数据

   在第一步之后，我们可以使用 BeautifulSoup 对象来查找HTML中包含的JSON数据。通常JSON数据是包含在一个 script 标签中的，因此我们可以按照以下步骤进行操作：

   # 找到第一个script标签
   script_tag = soup.find('script')
   
   # 获取script标签的内容
   script_text = script_tag.text
   
   # 提取JSON数据
   json_data = script_text.split(' = ')[1].strip(';')
   

   在上面的代码中，我们通过使用 find 方法找到了第一个 script 标签，并使用 text 属性获取其内容。接下来，我们使用 split 方法根据等号 = 将字符串分成两部分。我们只需要第二部分，所以使用索引“1”获取它。最后，我们使用 strip 方法删除字符串中的分号;。

3. 将JSON数据转换为Python对象

   现在我们已经提取了JSON数据，我们需要将它转换成Python对象。这可以使用以下代码完成：

   import json
   
   # 将JSON数据转换为Python对象
   python_obj = json.loads(json_data)
   

   在上面的代码中，我们使用 json.loads 方法将JSON数据转换为Python对象。

4. 访问Python对象中的数据

   现在我们已经将JSON数据转换为Python对象，我们可以使用Python代码访问其数据：

   # 访问Python对象中的数据
   print(python_obj['name'])
   

   在上面的代码中，我们使用键“name”访问Python对象中的数据并将其打印到控制台。

示例代码

下面是提取HTML中JSON数据的完整示例代码：

from bs4 import BeautifulSoup
import json

with open('index.html', 'r') as f:
    soup = BeautifulSoup(f, 'html.parser')

# 找到第一个script标签
script_tag = soup.find('script')

# 获取script标签的内容
script_text = script_tag.text

# 提取JSON数据
json_data = script_text.split(' = ')[1].strip(';')

# 将JSON数据转换为Python对象
python_obj = json.loads(json_data)

# 访问Python对象中的数据
print(python_obj['name'])

总结

在本文中，我们学习了如何使用 BeautifulSoup 库从HTML中提取JSON数据。我们了解了四个步骤：将HTML转换为 BeautifulSoup 对象，找到HTML中的JSON数据，将JSON数据转换为Python对象并访问其中的数据。您现在可以应用这些概念并从HTML中提取JSON数据以进行进一步的分析或使用。