这是一个scrapy框架的爬虫
基于win10
、Python 3.6.2 64位
、Scrapy 1.4.0
开发
在Ubuntu 16.04
、Python 3.5.2 64位
Archlinux
、Python 3.6.2 64位
win10
、Python 3.6.2
、Python 3.5.2
下测试成功
2018/11/21 update: P站又改网页了,由于个人原因,短期内不会更新代码,目前已知按作者爬取已不可用, 但按收藏爬取和按搜索关键词爬取仍然是可用的。
先在settings.ini
进行配置,然后在main.py
文件目录下进入cmd, 输入python main.py
[PRJ]
/*
四种执行方式之一
COLLECTION 收藏
COLLECTION_PRIVATE 非公开收藏
ARTIST 画师作品
SEARCH 搜索内容
DAILY 日榜
*/
TARGET = COLLECTION
ACCOUNT =
PASSWORD =
[IMG]
MIN_WIDTH = 0 //图片筛选条件
MIN_HEIGHT = 0
MIN_FAV = 0
STORE_PATH = ./images // 图片储存目录,默认为工程目录下的image
R18 = False //仅下载R18
MULI_IMG_ENABLED = False // 是否下载图集
[ART] // 不受IMG中的收藏数限制
ID = 123456 // 画师ID,多个以空格分隔
[SRH]
TAGS = TAG_A TAG_B ... // 搜索内容
[DAILY] // 不受IMG中的收藏数限制
增加对COLLECTION中爬取内容的追踪,过滤曾经爬过的图片,以支持个人收藏的快速更新
对文件存储结构和打印日志部分的优化
支持爬取非公开收藏
应对Pixiv的页面改动,修改了部分数据的获取接口
由于找不到接口,不再支持Gif文件(如果找到了,还请通知一下)
指定目录不存在时自动创建
增加图集的下载和Title抓取
同时抓取图片相关信息,以json格式存储
存储cookie以自动登录
增加了日榜导出功能
增加了settings文件格式检查
可以同时添加多个画师
修复搜索时日语编码问题
修改了setting文件结构,可以配置默认账号密码
修复了打印日志上的一些问题
初始版本
最后,初次写爬虫,写得不是很好,有任何问题欢迎指教