Learning Scrapy笔记（六）- Scrapy处理JSON API和AJAX页面
摘要：介绍了使用Scrapy处理JSON API和AJAX页面的方法
有时候，你会发现你要爬取的页面并不存在HTML源码，譬如，在浏览器打开 http://localhost:9312/static/ ，然后右击空白处，选择“查看网页源代码”，如下所示：
就会发现一片空白
留意到红线处指定了一个名为api.json的文件，于是打开浏览器的调试器中的Network面板，找到名为api.json的标签
在上图的红色框里就找到了原网页中的内容，这是一个简单的JSON API，有些复杂的API会要求你先登录，发送POST请求，或者返回一些更加有趣的数据结构。Python提供了一个用于解析JSON的库，可以通过语句json.loads(response.body)将JSON数据转变成Python对象
api.py文件的源代码地址：
https://github.com/Kylinlin/scrapybook/blob/master/ch05%2Fproperties%2Fproperties%2Fspiders%2Fapi.py
复制manual.py文件，重命名为api.py，做以下改动：
-
将spider名修改为api
-
将start_urls修改为JSON API的URL，如下
start_urls = ( 'http://web:9312/properties/api.json', )
如果在获取这个json的api之前，需要登录，就使用start_request()函数（参考 《Learning Scrapy笔记（五）- Scrapy登录网站》）
- 修改parse函数
def parse(self, response): base_url = "http://web:9312/properties/" js = json.loads(response.body) for item in js: id = item["id"] url = base_url + "property_%06d.html" % id # 构建一个每个条目的完整url yield Request(url, callback=self.parse_item)
上面的js变量是一个列表，每个元素都代表了一个条目，可以使用scrapy shell工具来验证：
scrapy shell http://web:9312/properties/api.json
运行该spider：scrapy crawl api
可以看到总共发送了31个request，获取了30个item
再观察上图中使用scrapy shell工具检查js变量的图，其实除了id字段外，还可以获取title字段，所以可以在parse函数中同时获取title字段，并将该字段的值传送到parse_item函数中填充到item里（省去了在parse_item函数中使用xpath来提取title的步骤），修改parse函数如下：
title = item["title"] yield Request(url, meta={"title": title},callback=self.parse_item) #meta变量是一个字典，用于向回调函数传递数据 在parse_item函数中，可以在response中提取这个字段
l.add_value('title', response.meta['title'], MapCompose(unicode.strip, unicode.title)) 正文到此结束
热门推荐
相关文章
Loading...
![[HBLOG]公众号](http://www.liuhaihua.cn/img/qrcode_gzh.jpg)
