Scrapy 入门_实战糗事百科段子

1.爬虫需求及效果

爬取糗事百科段子写入本地 txt 文件。

爬取效果

2.Scrapy项目搭建

# 新建项目
scrapy startproject qiushibaike
cd qiushibaike
# 构建爬虫文件
scrapy gensipder qiu qiushibaike.com

项目结构如下：

2.1 糗事百科反扒分析

爬虫文件，使用通用爬虫 CrawlSpider，并通过 rules 提取分页数据，最后通过 xpath 选择器提取数据

username ：用户名称

content ：发布的内容

laughableCount ：好笑数

commentCount：评论数

import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor


class QiuSpider(CrawlSpider):
    name = 'qiu'
    allowed_domains = ['qiushibaike.com']
    start_urls = ['https://www.qiushibaike.com/text/']

    # 提取有规律的链接
    rules = (
        Rule(LinkExtractor(allow=r'.*/text/page/\d{1,2}/$'), callback='parse_item', follow=True),
    )

    def parse_item(self, response):
        divlist = response.css('.col1 > div')
        for item in divlist:
                yield {
                    'username' : item.xpath('.//div[1]/a[2]/h2/text()').get().strip(),
                    'content' : item.xpath('.//a[1]/div/span/text()').get().strip(),
                    'laughableCount' : item.xpath('.//div[2]/span[1]/i/text()').get().strip(),
                    'commentCount' : item.xpath('.//div[2]/span[2]/a/i/text()').get().strip()
                }

直接爬取会出现

twisted.web._newclient.ResponseNeverReceived: [<twisted.python.failure.Failure twisted.internet.error.ConnectionDone: Connection was closed cleanly.>]

说明网站具有一定的反扒策略，尝试加 USER_AGENT再试试。