pyspider 不兼容python3.7
安装之后运行命令
pyspider
报错async,是因为async从python3.7开始不能用作参数名了,将所有脚本里面的async换一个名字即可。
找到报错的文件将其中的async全部替换为自定义的变量名,比如说async1
我一... 拈花古佛 5年前 (2019-09-07) 7939℃ 0评论 0喜欢
为了能够将爬取到的数据存入本地数据库,现在本地创建一个mysql数据库example,然后
在数据库中建立一张表格douban_db,示例如下:
CREATE TABLE `douban_db` (
`url` varchar(20) NOT NULL,
`direc... 拈花古佛 9年前 (2015-07-25) 13895℃ 1喜欢
project
脚本分为不同的 project,不同的 project 之间的任务互相独立,建议为不同的站点建立不同的 project
project 属性
group – 分组标识,暂时仅用于区分
name – 脚本的名字,只允许 a-zA-Z0-9_
status – 任务状... 拈花古佛 9年前 (2015-07-14) 14515℃ 3评论 2喜欢
安装
python2.7环境(仅在 Linux 和 OSX 环境下测试通过)
pip install --allow-all-external -r requirements.txt
如果你使用 ubuntu,依赖以下二进制包:
apt-get install python py... 拈花古佛 9年前 (2015-06-24) 14164℃ 0评论 5喜欢