tom-crawler

基于Spring Boot 2.0 整合了 WebMagic爬虫框架


WebMagic:官方网站http://webmagic.io

webmagic是一个开源的Java垂直爬虫框架,目标是简化爬虫的开发流程,让开发者专注于逻辑功能的开发。webmagic的核心非常简单,但是覆盖爬虫的整个流程,也是很好的学习爬虫开发的材料。

基于redis的布隆过滤器