B站用户信息爬虫 (求Star(^o^)/~ 仅供娱乐学习使用
git clone git@github.com:cwjokaka/bilibili_member_crawler.git
或者在https://github.com/cwjokaka/bilibili_member_crawler 下载zip文件
pip install -r requirements.txt
bilibili_member_crawler.py
:爬虫入口distributor.py
:任务分发器,负责生成任务到任务队列worker.py
:工作线程,负责从任务队列拉取任务,并把B站用户信息持久化到mysqlres_manager.py
:资源管理,用于管理任务队列variable.py
: 配置文件, 包含代理、数据库、线程设置等sql/bilibili.sql
:数据库初始化文件user-agents.txt
:浏览器agent列表文件exception/*
:各类异常PS:有时间会做相关统计 (溜了溜了