zongtui-webcrawler

众推,开源版的今日头条!

基于hadoop思维的分布式网络爬虫。

目前已经把webmagic的基础部分加入到工程中,下一步会根据这个继续修改,变成完全分布式的架构。

想参与加入的可以入群:众推 194338168