Scrapy1.6.0(爬取数据) + ElasticSearch6.8.0(存储数据并提供对外Restful Api) + Django 打造搜索引擎网站 (可配置数据存入Mysql)
线上演示地址: https://search.funpython.cn/
本仓库为爬虫端数据入库ElasticSearch代码,实现整个搜索需要结合Django网站端项目 https://github.com/mtianyan/mtianyanSearch
ElasticSearch6.8.0 + ElasticSearch-analysis-ik(中文分词) + Redis + Mysql
定期对伯乐在线博客文章,拉勾网职位,知乎的问题回答爬取进行了维护更新,并进行了存入Mysql 以及 存入ElasticSearch6的测试。
安装ElasticSearch6.8.0,配置ElasticSearch-analysis-ik插件,安装Redis(可选配置ElasticSearch-head)
git clone https://github.com/mtianyan/FunpySpiderSearchEngine
# 新建数据库mtian_search; Navicat导入mysql文件; 修改config_template配置信息,去除_template后缀。
# 执行 sites/es_* 配置ELasticPipeline
cd FunpySpiderSearchEngine
pip install -r requirements.txt
scrapy crawl zhihu
scrapy crawl lagou
scrapy crawl jobbole
等待空闲,工作了太忙了
感谢Bobby老师的这门课程,通过这门课程学到了很多很多,自己在踩坑填坑,持续更新版本,时效更新,解决的时候,收获的不只有知识,我觉得更多是解决问题的能力。
欢迎关注star项目!谢谢!你的关注支持是我继续分享前进的动力
很高兴我写的文章(或我的项目代码)对你有帮助,请我吃包辣条吧!
微信打赏:
支付宝打赏: