使用scarpy爬取文章并保存为json文本

关注

原创最新推荐文章于 2025-05-18 22:42:41 发布 338 阅读 AI 写同款· GEO 优化 ›

AI权益加码！Claude Code、Cursor等20+工具免费用！购周边限时加赠Coding Plan Lite，畅享主流AI工具！学习进阶更高效！阅读详情

        scarpy是python爬虫界最著名的框架,最近使用了下确实很方便,其底层使用的Twisted使用异步非阻塞的方式速度是相当的快(比自己用requests快多了),这里介绍下使用scarpy框架爬取文章和图片,并进行二层爬取文章的内容,然后以dict形式保存为json文件(也可以保存到其他存储介质,如数据库,其他文件存储介质)

      环境: python3.7 scarpy1.7.3 都是当前最新版

      安装: pip install scrapy=1.7.3

      创建项目: scrapy startproject demospider


一. 定义item(爬取的数据结构)
编辑items.py文件,定义各项数据

点击(此处)折叠或打开

import scrapy
class TutorialItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
link = scrapy.Field()
title = scrapy.Field()
text = scrapy.Field()
image_url = scrapy.Field()
author = scrapy.Field()
image_paths = scrapy.Field()

二. 定义爬取方法
这是最关键的一步，在这里将会解析获取到的html文本,使用scarpy自带的selector解析获取需要的数据。关于selector语法比较多,官方并没有给过多案例，推荐 https://www.jianshu.com/p/489c5d21cdc7, 虽然没有过多例子，但是理论比较全,想要的方法基本都可以找到。
在spider目录下新建demo_spider.py文件

点击(此处)折叠或打开

import scrapy
from demospider.items import TutorialItem
class ImageSpider(scrapy.Spider):
name = 'imagespider' # 应用名,执行时使用
start_urls = [
'http://www.itpub.net/category/yunwei/' # 可以写多个,分别进行爬取处理
]
def parse(self, response): #固定方法,response为每次处理后返回的html,这里主要处理采集第一层页面的数据
for article in response.css('article.xin_hover'):
item = TutorialItem() #必须要新建,不然获取的数据都会一样
item['link'] = article.css('div.post__thumb a::attr("href")').get()
item['image_url'] = article.css('div.post__thumb img::attr("data-src")').extract()
item['title'] = article.css('h3.post__title a::text').get()
item['author'] = article.css('a.entry-author__name::text').get()
#这里处理第二层连接,文章的具体内容页面
yield scrapy.Request(item['link'],meta={'item': item}, callback=self.context_parse)
def context_parse(self,response):
item = response.meta['item']
# 有两种方法采集文章内容,这里推荐xpath(xpath属于贪婪匹配,css精确匹配)
# item['text'] = response.css('div.entry-content p::text').extract()
item['text'] = response.xpath("//div[@class='entry-content typography-copy']//text()").extract()
yield item