- 安装virtualenv
sudo pip install virtualenv
- 安装virtualenvwrapper
sudo pip install virtualenvwrapper
小于 1 分钟
sudo pip install virtualenv
sudo pip install virtualenvwrapper
Scrapy内置了一些通用的爬虫基类,你可以通过继承这些基类来快速构建自己的爬虫。这些内置爬虫基类提供了许多常用功能,比如:通过指定的规则,sitemaps或者xml/csv格式的feed文件爬取网站的链接。
接下来的例子,假定你已经创建了scrapy项目,在items.py
中申明TestItem类:
import scrapy
class TestItem(scrapy.Item):
id = scrapy.Field()
name = scrapy.Field()
description = scrapy.Field()
class scrapy.spiders.CrawlSpider
cnpm install express --save
需要和express框架一起安装的模块:
bodyParser.json(options)
处理json数据
bodyParser.raw(options)
Buffer流数据
bodyParser.text(options)
文本数据
bodyParser.urlencoded(options)
UTF-8的编码数据from django.contrib import admin
from . import models
class 读书笔记Admin(admin.ModelAdmin):
list_display = ['name', 'create_time']
# Register your models here.
admin.site.register(models.读书笔记, 读书笔记Admin)
Python的web框架有Django、Tornado、Flask等多种
Django的优势:ORM、模型绑定、模版引擎、缓存、Session