scrapy爬取豆瓣top250并插入到MySQL数据库（入门级）

1. 本地安装python，去官网下载想要的版本即可，安装之后通过命令行输入python进行验证：

C:\Users\jrkj-kaifa08\PycharmProjects\fzreport>python
Python 3.7.8 (tags/v3.7.8:4b47a5b6ba, Jun 28 2020, 08:53:46) [MSC v.1916 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.

如出现如上情景即安装成功。

2. 在本地环境中安装scrapy框架，还是在命令行中输入 pip install scrapy即可，安装之后可输入scrapy进行验证：

C:\Users\jrkj-kaifa08\PycharmProjects\fzreport>scrapy
Scrapy 2.2.0 - project: fzreport

Usage:
  scrapy <command> [options] [args]

Available commands:
  bench         Run quick benchmark test
  check         Check spider contracts
  commands
  crawl         Run a spider
  edit          Edit spider
  fetch         Fetch a URL using the Scrapy downloader
  genspider     Generate new spider using pre-defined templates
  list          List available spiders
  parse         Parse URL (using its spider) and print the results
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

Use "scrapy <command> -h" to see more info about a command

如出现如上情景即安装成功。

3. 在本次实验中，代码都是在PyCharm中编写，也可以去官网下载社区版，是免费的，傻瓜式安装即可。

4. 接下来进入正题，开始创建项目：

   （1）在电脑本地找到一个文件夹，用来存放你的python项目，在上面路径栏中cmd，回车

这样即可打开命令行，之后在命令行里面输入scrapy startproject DoubanMovie （创建一个叫DoubanMovie的项目）

d:\>scrapy startproject DoubanMovie
New Scrapy project 'DoubanMovie', using template directory 'c:\users\jrkj-kaifa08\appdata\local\programs\python\python37\lib\site-packages\scrapy\templates\project', created in:
    d:\DoubanMovie

You can start your first spider with:
    cd DoubanMovie
    scrapy genspider example example.com

然后执行 cd DoubanMovie （这里可以像在linux里面一样使用tab键进行补齐的）

进入到项目文件夹后执行 scrapy genspider douban movie.douban.com (创建一个网络爬虫在movie.douban.com基础上)

d:\>cd DoubanMovie
d:\DoubanMovie>scrapy genspider douban  movie.douban.com
Created spider 'douban' using template 'basic' in module:
  DoubanMovie.spiders.douban

（2）通过PyCharm打开创建好的项目会出现如下结构：

首先修改配置文件setting.py

ROBOTSTXT_OBEY = False

将原本的True改为False （是否遵守爬虫协议，学习阶段我们要改为False）

ITEM_PIPELINES = {
    'DoubanMovie.pipelines.Dou': 300,
}

还有这段代码的注释也要打开，这里的数值越低，速度越快。

（3）然后打开豆瓣电影

再按F12,可以看到所有的电影的信息都是包含在 < ol class=“grid_view”> 标签内

因为只是做测试，所以我们只取 排名 电影名称 评分 评分人数四个字段。

可以看到每个电影的信息都包含在一个li标签里面 所以其xpath路径为

'//ol[@class="grid_view"]/li'

排名的信息在em标签内，其xpath为

'.//div[@class="pic"]/em/text()'

电影名称的信息在a标签下第一个span里面 其xpath为

'.//div[@class="hd"]/a/span[1]/text()'

电影评分的信息在div class=star标签下的span class="rating_num"里面 其xpath为

'.//div[@class="star"]/span[@class="rating_num"]/text()'

电影评分人数的信息在div class=star标签下的span里面 其xpath为

'.//div[@class="star"]/span/text()'

之后就可以开始写items.py

import scrapy

class DouItem(scrapy.Item):
    # define the fields for your item here like:
    # 排名
    ranking = scrapy.Field()
    # 电影名称
    movie_name = scrapy.Field()
    # 评分
    score = scrapy.Field()
    # 评论人数
    score_num = scrapy.Field()
    pass

这个地方我自己理解的话可能类似于java的bo类，打开items.py文件的时候上面会有例子，按照例子敲就可以了。

之后就是重头戏 douban.py

# -*- coding: utf-8 -*-
import scrapy
from DoubanMovie.items import DouItem


class DouSpider(scrapy.Spider):
    name = 'douban'

    # allowed_domains = ['movie.douban.com']
    def start_requests(self):
        start_urls = 'https://movie.douban.com/top250'
        yield scrapy.Request(start_urls)

    def parse(self, response):
        item = DouItem()
        movies = response.xpath('//ol[@class="grid_view"]/li')
        for movie in movies:
            item['ranking'] = movie.xpath('.//div[@class="pic"]/em/text()').extract()[0]
            item['movie_name'] = movie.xpath('.//div[@class="hd"]/a/span[1]/text()').extract()[0]
            item['score'] = movie.xpath('.//div[@class="star"]/span[@class="rating_num"]/text()').extract()[0]
            item['score_num'] = movie.xpath('.//div[@class="star"]/span/text()').re(r'(\d+)人评价')[0]  # Selector也有一种.re()
            print(item['movie_name'], "------------------------")
            yield item
        next_url = response.xpath('//span[@class="next"]/a/@href').extract()
        if next_url:
            next_url = 'https://movie.douban.com/top250' + next_url[0]
            yield scrapy.Request(next_url)

然后是连接数据库的pipelines.py
这里需要下载pymysql组件，在命令行中 执行

pip install pymysql

接下来需要创建表了 打开mysql数据库,输入如下语句，因为测试，所以就所有数据类型都设成varchar了。

create table movieTable(
	ranking				varchar(5),
	movie_name			varchar(100),
	score				varchar(10),
	score_num			varchar(10)
)

接下来是pipelines.py的代码

import pymysql
import pymysql.cursors


class Dou(object):

    def __init__(self):
        # 连接MySQL数据库
        self.connect = pymysql.connect(host='localhost', user='zds', password='zds', db='zds', port=3306)
        self.cursor = self.connect.cursor()
        print("______________数据库连接已建立")

    def process_item(self, item, Spider):
        # 往数据库里面写入数据
        print("--------------正在插入数据")
        self.cursor.execute(
            'insert into movieTable(ranking,movie_name,score,score_num)VALUES ("{}","{}","{}","{}")'.format(item['ranking'], item['movie_name'], item['score'], item['score_num']))
        self.connect.commit()
        return item

    # 关闭数据库
    def close_spider(self, Spider):
        print("============正在关闭数据库连接")
        self.cursor.close()
        self.connect.close()

所有代码写完保存后即可在命令行中执行

C:\Users\jrkj-kaifa08\PycharmProjects\DoubanMovie>scrapy crawl douban

执行完成没有报错后，去数据库查看数据 ，发现数据已经插入进来了。

如果想把数据存放到文件里面 则可以在命令行里面执行

C:\Users\jrkj-kaifa08\PycharmProjects\DoubanMovie>scrapy crawl douban douban.csv

这样的话，数据就会存放到当前路径下的该douban.csv文件中。