• Example Search by API
• Example Search by Word
• Project Search
• Top Packages
• Top Classes
• Top Methods
• Top Projects

• Java
• C++
• Python
• Scala
• Blog

Project: java-Crawler (GitHub Link)

• java-Crawler-master
  • src
    • 爬虫
      • 模拟登录
        • 模拟登录
          • MD5.java
          • SiteConfig.java
          • Henu.java
          • BASE64.java
        • 人人网模拟登录
          • Renren.java
        • 知乎模拟登录
          • GetProblem.java
      • 数据解析
        • 多玩图库爬取
          • Demo.java
        • 知乎问题爬取
          • getDome.java
        • 网易云热评爬取
          • MyClawer.java
        • 豆瓣图书深度爬取
          • DownLoadFile.java
          • MyClawler.java
          • HtmlUrlParserTool.java
          • Queue.java
          • LinkQueue.java
          • IPQueue.java
        • BiliBili弹幕爬取
          • getBiliBiliBofqi.java
        • 有道
          • You.java
        • HttpURLConnect
          • GetUrl.java
        • 电影资源爬取
          • Queue.java
          • LinkQueue.java
          • Demo.java
        • Book
          • GetBook.java
        • 知乎
          • Demo.java
        • 宽度网络爬虫
          • DownLoadFile.java
          • MyClawler.java
          • HtmlUrlParserTool.java
          • Queue.java
          • LinkQueue.java
        • Salt
          • My.java
        • vip
          • MyClawer.java
          • Queue.java
          • LinkQueue.java
          • Demo.java
          • HtmlURLParserTool.java
        • Stream
          • IO_StreamDemo.java
        • HttpClient
          • GetUrl.java
        • 爬取论坛文章
          • Demo.java
  • libs
    • javax.servlet.jar
    • commons-beanutils-1.7.0.jar
    • javax.transaction.jar
    • commons-logging-1.1.1.jar
    • webmagic-extension-0.6.1-SNAPSHOT.jar
    • javax.ejb.jar
    • commons-io-1.3.2.jar
    • spring-instrument-tomcat-4.1.2.RELEASE.jar
    • json-lib-2.2.3-jdk15.jar
    • json-path-0.8.1.jar
    • spring-instrument-4.1.2.RELEASE.jar
    • slf4j-api-1.7.6.jar
    • javax.resource.jar
    • commons-logging-1.2.jar
    • spring-oxm-4.1.2.RELEASE.jar
    • ezmorph-1.0.3.jar
    • httpmime-4.2.5.jar
    • commons-pool2-2.4.2.jar
    • spring-webmvc-portlet-4.1.2.RELEASE.jar
    • hamcrest-core-1.3.jar
    • javax.servlet.jsp.jar
    • json-smart-1.1.1.jar
    • slf4j-log4j12-1.7.6.jar
    • fluent-hc-4.5.jar
    • spring-aspects-4.1.2.RELEASE.jar
    • webmagic-core-0.6.1-SNAPSHOT.jar
    • spring-context-support-4.1.2.RELEASE.jar
    • javax.jms.jar
    • httpmime-4.5.jar
    • javax.servlet.jsp.jstl.jar
    • javax.annotation.jar
    • xsoup-0.3.1.jar
    • javax.persistence.jar
  • LICENSE
  • README.md
  • .idea
    • vcs.xml
    • java-Crawler.iml

Crawler

各类爬虫代码

欢迎关注公众号，开启和我的交流

模拟登录类

数据爬取类

关于爬虫代码讲解可以参考我的博客,代码编写时间均在2017年下半年，爬虫相应网站可能会有所更新，所以爬虫会出现些问题，如果发现了问题可以联系我，我会抽空重新写一下，当然也欢迎有人帮我改改代码Bug。

模拟登陆

henu青苹果教务系统模拟登录

人人网模拟登录

知乎模拟登录

数据爬取

BiliBili弹幕爬取

计算机书籍控资源书籍爬取

HttpClient使用

HttpURLConnect

唯品会商品爬取

豆瓣图书爬取

多玩图库爬取

宽度网络爬虫模板

天涯论坛文章爬取

网易云热评爬取

有道翻译

知乎问题爬虫