Scrapy+Flask+Mongodb+Swift 开发全攻略（1）

作者：叶孤城___

先一一介绍一下上面4个东西。第一个叫做Scrapy的东西是用python写的爬虫框架。

Flask是python写的一个非常有名的web开发框架，python界有两个名气最大的web开发框架，Flask是其中之一，另一个叫做Django，为什么不用Django的原因就是Django太庞大了，我们开发服务端并不需要render html之类的view层，只需要提供Restful接口，所以使用Django开发不是个明智的选择，而且Django内置了很多多余的功能，而Flask比较精简，很多额外的功能都可以通过安装Flask的扩展来实现。

Mongodb是一个非关系型数据库，它存储数据的方式不同于mysql等关系型数据库，是以key-value形式存取数据的，总的来说数据格式有点像json。和mysql各有优劣。我们这里将会使用mongodb来做我们的数据库。

Swift不多说了，iOS开发都懂得。

那么，这个系列的教程到底是想干什么呢？简单来说，就是实现一个人完成获得资源+编写服务端+iOS客户端+服务端部署上线+客户端上AppStore。这是个漫长的过程，我也在学习过程中，可能过程中唯一轻松的就是iOS客户端编写的部分，所以我把这个部分放在最后，先做最难得。再做简单的。

我之前是从来没有写过服务端的，只有大四的时候写过一个月左右的JSP，那都是很多年前的老黄历了，当时用的好像还是serverlet之类的东西。

所以用python编写服务端我也是头一遭。肯定漏洞百出，代码极其ugly，不过他山之石，可以攻玉。每个人都可以在我写这篇的过程中提出意见和建议。我们共同进步。

废话不多说。我们开始第一步，写一个爬虫获取我们需要的资源。

其实这里的内容大部分学自我 前几天转发的那篇blog

看过我blog的同学应该有印象，我年前的时候有用BeautifulSoup和urllib这两个python框架写过一个爬虫，用来爬www.dbmeizi.com这个网站的美女图片。那么今天，我会用scrapy编写一个功能更完整的爬虫。他有如下几个功能。

1.爬取dbmeizi.com上每个图片的url和title。

2.把图片url和title和一些自定义字段放在mongodb里。

首先确保你的mac安装了xcode的commandline工具和python界的cocoapods，叫做pip，还有mongodb（可以去官网下载）。

然后安装scrapy这个python库，很简单。在Terminal里运行sudo pip install scrapy,输入密码之后点击回车。搞定。

我们的爬虫爬完数据之后需要把数据存入mongodb，所以需要一个用来连接mongodb的第三方库，这个库叫做"pymongo",我们也可以用pip来安装。

sudo pip install pymongo,就可以安装了。

接下来，用scrapy startproject（这两个单词合起来是一个命令）来生成一个爬虫。

输入scrapy startprojct dbmeizi

然后scrapy帮我们生成了这么一个模板。

现在重点关注一下这几个文件。

1.items.py，这里你可以吧items.py看作是mvc中的model，在items里我们定义了自己需要的模型。

2.piplines.py pipline俗称管道，这个文件主要用来把我们获取的item类型存入mongodb

3.spiders文件夹。 这里用来存放我们的爬虫文件。

4.settings.py 这里需要设置一些常量，例如mongodb的数据库名，数据库地址和数据库端口号等等。

第一步：定义Model层

我们可以先设想一下，dbmeizi.com这个网站，每一个美女图片包括哪些内容？

我们先看一张图。

这张图显示了dbmeizi.com这个网站里每张图片包含的信息。所以我们可以规定model有以下内容。

1.image的URL

2.image的title

3.可以设置一个star以后可以用来排序，让用户打分，看看哪个美女最受欢迎

4.还有一个id，防止后面插入数据库的时候插入重复数据

ok，所以打开items.py我们修改后的代码是这样的。

from scrapy.item import Item, Field class MeiziItem(Item):  # define the fields for your item here like:  # name = scrapy.Field()  datasrc = Field()  title = Field()  dataid = Field()  startcount = Field() 

我们定义了一个class叫做MeiziItem，继承自scrapy的类Item，然后为我们的类定义了4个属性，datasrc用来保存等下拉去的image-url，title用来保存图片的title，dataid用来记录图片id防止重复图片，starcount是喜欢次数，以后我们开发iOS端的时候可以设计一个喜欢的功能。每次用户喜欢那么startcount都+1.

第二步：编写爬虫

打开spiders文件夹，新建一个dbmeizi_scrapy.py文件。

在文件里写如下内容.

from scrapy import Spider from scrapy.selector import Selector from dbmeizi.items import MeiziItem class dbmeiziSpider(Spider):  name = "dbmeiziSpider"  allowed_domin =["dbmeizi.com"]  start_urls = [   "http://www.dbmeizi.com",   ]  def parse(self, response):   liResults = Selector(response).xpath('//li[@class="span3"]')   for li in liResults:    for img in li.xpath('.//img'):     item = MeiziItem()     item['title'] = img.xpath('@data-title').extract()     item['dataid'] = img.xpath('@data-id').extract()     item['datasrc'] = img.xpath('@data-src').extract()     item['startcount'] = 0     yield item 

可能很多人看到这就晕菜了。我尽量尝试讲的清楚明白。

首先我们定义了一个类名为dbmeiziSpider的类，继承自Spider类，然后这个类有3个基础的属性，name表示这个爬虫的名字，等一下我们在命令行状态启动爬虫的时候，爬虫的名字就是name规定的。

allowed_domin意思就是指在dbmeizi.com这个域名爬东西。

start_urls是一个数组，里面用来保存需要爬的页面，目前我们只需要爬首页。所以只有一个地址。

然后def parse就是定义了一个parse方法（肯定是override的，我觉得父类里肯定有一个同名方法），然后在这里进行解析工作，这个方法有一个response参数，你可以把response想象成，scrapy这个框架在把start_urls里的页面下载了，然后response里全部都是html代码和css代码。

然后，liResults = Selector(response).xpath('//li[@class="span3"]') 这句话什么意思呢？

这句话的意思就是从html里的最开始一直到最后，搜索所有class="span3"的li标签。

我们获得了li这个标签后，再通过for img in li.xpath('.//img'):这个循环取出所有img标签，最后一个for循环里新建我们之前创建的MeiziItem，然后赋值。

如果实在看不懂，那么你需要看两个东西一个是xpath，一个是我之前写的一片《iOS程序员写爬虫》那篇blog。

Ok，我们的爬虫写好了。

第三步：将我们的MeiziItem存入数据库中

打开settings.py，我们修改成如下样子。

BOT_NAME = 'dbmeizi' SPIDER_MODULES = ['dbmeizi.spiders'] NEWSPIDER_MODULE = 'dbmeizi.spiders' ITEM_PIPELINES = ['dbmeizi.pipelines.MongoDBPipeline',]  MONGODB_SERVER = "localhost" MONGODB_PORT = 27017 MONGODB_DB = "dbmeizi" MONGODB_COLLECTION = "meizi" # Crawl responsibly by identifying yourself (and your website) on the user-agent #USER_AGENT = 'stack (+http://www.yourdomain.com)'

请注意ITEM_PIPELINES那个常数，这个常数是用来规定我们获取爬虫爬下来的数据并将之转为model类型之后应该做什么事。很简单，这个常数告诉我们转为model类型之后区pipelines.py里找MongoDBPipeline这个class。这个class会替我们完成接下来的工作。

下面几个MONGODB打头的常数用来规定MONGODB的一些基本信息，比如server是哪个啊，端口是哪个之类的。

强烈建议自己去简单的学习一下mongodb基础知识。起码会简单的增删改查，在mongodb的shell里多练练，要不然完全看不懂。

在settings.py里修改之后，我们打开pipelines.py。修改如下。

import pymongo from scrapy.conf import settings from scrapy.exceptions import DropItem from scrapy import log class MongoDBPipeline(object):  def __init__(self):   connection = pymongo.MongoClient(    settings['MONGODB_SERVER'],    settings['MONGODB_PORT']   )   db = connection[settings['MONGODB_DB']]   self.collection = db[settings['MONGODB_COLLECTION']]  def process_item(self, item, spider):   valid = True   for data in item:    if not data:     valid = False     raise DropItem("Missing {0}!".format(data))   if valid:    self.collection.insert(dict(item))    log.msg("Meizi added to MongoDB database!",      level=log.DEBUG, spider=spider)   return item 

我们定义了一个类，名字叫做MongoDBPipeline，注意，这个名字是与我们在settings里的ITEM_PIPELINES这个常数里面规定的时一致的。注意别写错了。

init就是python中的构造方法，这个方法里我们主要是建立于mongodb的链接，所以用上了pymongo这个框架。然后将一个collection作为类的一个属性，在mongodb中，一个collection你可以想象成mysql中的一个table。

在process_item这个方法中，我们主要是将item存入数据库。注意self.collection.insert(dict(item))这句话，就是将我们的MeiziItem存入数据库。

ok，大功告成，我们现在运行一下。

1.启动mongodb

2.运行爬虫

3.检查我们的数据库是否有数据

大功告成。

如果你编写的爬虫老是运行不了，首先检查是否用pip安装了需要的框架，或者哪里写错了。

最后放上github地址:

https://github.com/zangqilong198812/DbMeiziScrapy