📌  相关文章
📜  Scrapy-项目管道

📅  最后修改于: 2020-10-31 14:34:41             🧑  作者: Mango

描述

物料管道是一种处理报废物料的方法。将项目发送到项目管道时，它会被蜘蛛抓取并使用多个组件进行处理，这些组件将按顺序执行。

每当收到项目时，它都会决定以下任一操作-

  • 继续处理该项目。
  • 从管道中删除它。
  • 停止处理该项目。

物料管道通常用于以下目的-

  • 在数据库中存储报废的项目。
  • 如果收到的项目重复，则它将丢弃重复的项目。
  • 它将检查项目是否具有目标字段。
  • 清除HTML数据。

句法

您可以使用以下方法编写项目管道-

process_item(self, item, spider)

上面的方法包含以下参数-

  • 物品(物品对象或字典)-它指定了被抓取的物品。
  • 蜘蛛(蜘蛛对象)-抓取物品的蜘蛛。

您可以使用下表中给出的其他方法-

Sr.No Method & Description Parameters
1

open_spider(self, spider)

It is selected when spider is opened.

spider (spider object) − It refers to the spider which was opened.
2

close_spider(self, spider)

It is selected when spider is closed.

spider (spider object) − It refers to the spider which was closed.
3

from_crawler(cls, crawler)

With the help of crawler, the pipeline can access the core components such as signals and settings of Scrapy.

crawler (Crawler object) − It refers to the crawler that uses this pipeline.

例

以下是在不同概念中使用的项目管道的示例。

删除没有标签的项目

在以下代码中，管道为那些不包含增值税的商品平衡了(price)属性(excludes_vat属性)，并忽略了那些没有价格标签的商品-

from Scrapy.exceptions import DropItem  
class PricePipeline(object): 
   vat = 2.25 

   def process_item(self, item, spider): 
      if item['price']: 
         if item['excludes_vat']: 
            item['price'] = item['price'] * self.vat 
            return item 
         else: 
            raise DropItem("Missing price in %s" % item)

将项目写入JSON文件

以下代码会将所有蜘蛛中的所有已擦除项目存储到单个item.jl文件中，该文件每行在JSON格式的序列化表格中包含一个项目。代码中使用了JsonWriterPipeline类来显示如何编写项目管道-

import json  

class JsonWriterPipeline(object): 
   def __init__(self): 
      self.file = open('items.jl', 'wb') 

   def process_item(self, item, spider): 
      line = json.dumps(dict(item)) + "\n" 
      self.file.write(line) 
      return item

将项目写入MongoDB

您可以在Scrapy设置中指定MongoDB地址和数据库名称，并且MongoDB集合可以以item类命名。以下代码描述了如何使用from_crawler()方法正确收集资源-

import pymongo  

class MongoPipeline(object):  
   collection_name = 'Scrapy_list' 

   def __init__(self, mongo_uri, mongo_db): 
      self.mongo_uri = mongo_uri 
      self.mongo_db = mongo_db 

   @classmethod 
   def from_crawler(cls, crawler): 
      return cls( 
         mongo_uri = crawler.settings.get('MONGO_URI'), 
         mongo_db = crawler.settings.get('MONGO_DB', 'lists') 
      ) 
  
   def open_spider(self, spider): 
      self.client = pymongo.MongoClient(self.mongo_uri) 
      self.db = self.client[self.mongo_db] 

   def close_spider(self, spider): 
      self.client.close() 

   def process_item(self, item, spider): 
      self.db[self.collection_name].insert(dict(item)) 
      return item

复制过滤器

过滤器将检查重复的项目，并将其删除已处理的项目。在以下代码中，我们为商品使用了唯一的ID，但是Spider返回了许多具有相同ID的商品-

from scrapy.exceptions import DropItem  

class DuplicatesPipeline(object):  
   def __init__(self): 
      self.ids_seen = set() 

   def process_item(self, item, spider): 
      if item['id'] in self.ids_seen: 
         raise DropItem("Repeated items found: %s" % item) 
      else: 
         self.ids_seen.add(item['id']) 
         return item

激活物料管道

您可以通过将项目管道组件的类添加到ITEM_PIPELINES设置中来激活它，如以下代码所示。您可以按照整数的运行顺序将整数值分配给这些类(该值可以从较低的值到较高的值的类)，并且值将在0-1000范围内。

ITEM_PIPELINES = {
   'myproject.pipelines.PricePipeline': 100,
   'myproject.pipelines.JsonWriterPipeline': 600,
}