BigDataArchitect

注意:

同学们请先浏览下面的课程模块顺序和课程视频顺序。学习到相关模块请在该项目目录中去到子目录查看具体的README描述!

大数据架构师课程导读

1.  bigdata_hadoop
2.  bigdata_hive
3.  bigdata_hbase
4.  bigdata_hadoop_project
5.  bigdata_redis
6.  bigdata_zookeeper
7.  bigdata_spark

课程大纲目录,持续更新中。。。

hadoop阶段:

1.  hadoop-大数据启蒙-初识HDFS
2.  hadoop-HDFS理论基础读写流程
3.  hadoop-HDFS集群搭建-伪分布式模式
4.  hadoop-HDFS集群搭建-HA模式概念
5.  hadoop-HDFS集群搭建-HA模式验证
6.  hadoop-HDFS权限、企业级搭建、idea+maven开发HDFS
7.  hadoop-MapReduce原理精讲、轻松入门
8.  hadoop-MapReduce调度原理,Yarn原理
9.  hadoop-MapReduce-Yarn集群搭建、idea开发MR的WC程序
10. hadoop-MapReduce作业提交方式、源码-客户端提交源码
11. hadoop-MapReduce源码-MapTask-input源码精讲
12. hadoop-MapReduce源码-MapTask-output和ReduceTask精讲
13. hadoop-MapReduce开发-分组取TopN-API精炼
14. hadoop-MapReduce开发-推荐系统-大数据思维模式

hive阶段:

15. Hive的架构介绍及远程数据库模式安装
16. Hive的远程元数据服务模式安装及Hive SQL
17. Hive Serde、HiveServer2、Hive函数
18. Hive参数设置、运行方式、动态分区、分桶
19. Hive视图、索引、权限管理
20. Hive优化、文件类型、HiveServer2高可用

hbase阶段:

21. HBase架构介绍、数据模型
22. HBase伪分布式及完全分布式安装、HBase 基本命令
23. HBase Java API、Protocol Buffer简单介绍
24. HBase与MapReduce整合、Hbase表设计
25. Hbase优化及LSM树

hadoop项目阶段:

26. Hadoop项目-需求介绍及数据源产生流程需求介绍及数据流图
27. Hadoop项目-java端和js端数据产生代码讲解及flume简单介绍
28. Hadoop项目-Flume讲解及数据清洗模块准备工作
29. Hadoop项目-数据清洗代码分析、hive与hbase整合、指标分析思路
30. Hadoop项目-手敲用户新增指标模块代码
31. Hadoop项目-MR输出数据到mysql的输出格式化类、sqoop的简单介绍
32. Hadoop项目-Hive SQL分析用户浏览深度代码讲解及脚本编写

redis阶段:

33. redis 介绍及NIO原理介绍
34. redis的string类型&bitmap
35. redis的list、set、hash、sorted_set、skiplist
36. redis的消息订阅、pipeline、事务、modules、布隆过滤器、缓存LRU
37. redis的持久化RDB、fork、copyonwrite、AOF、RDB&AOF混合使用
38. redis的集群:主从复制、CAP、PAXOS、cluster分片集群01
39. redis的集群:主从复制、CAP、PAXOS、cluster分片集群02
40. redis开发:spring.data.redis、连接、序列化、high/low api

zookeeper阶段:

41. zookeeper介绍、安装、shell cli 使用,基本概念验证
42. zookeeper原理知识,paxos、zab、角色功能、API开发基础
43. zookeeper案例:分布式配置注册发现、分布式锁、ractive模式编程

spark阶段:

44. scala语言、语法、基础
45. scala语言、函数式编程、数据集处理
46. scala语言、iterator设计模式实现
47. scala语言、高级、隐式转换、样例类、模式匹配
48. spark基础:对比MapReduce复习、java/scala开发spark版wordcount
49. spark基础算子源码、基础api分类
50. spark算子进阶:集合类操作、排序取topN
51. spark算子进阶:聚合类操作、分区优化
持续更新中。。。。