不做相关开发挺久了,想不到大家都有Spring Boot整合Storm的需求。后续有时间我会重新封装一次,做一定的优化。欢迎先star或者watch关注。但是无相关时间日期,一切随缘~ 2018-12-06

storm_spring_boot_demo

依赖组件

word count table defination

CREATE USER 'test'@'%' IDENTIFIED BY '[email protected]';
GRANT ALL PRIVILEGES ON test.* TO [email protected]'%';
FLUSH  PRIVILEGES ; 

CREATE TABLE `word_count` (
  `targetDate` date NOT NULL,
  `word` varchar(255) COLLATE utf8_bin NOT NULL,
  `count` bigint(20) DEFAULT NULL,
  PRIMARY KEY (`targetDate`,`word`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin

模拟功能

PS

BUG

测试发现写入Kafka的数据正确,但是KafkaSpout消费的时候,偶尔会出现少量的重复消息。 原因暂时不明。 检查了Bolt都进行了ACK,理论上是不会重发的。 待研究。

效果图

拓扑图:拓扑图 Kafka的模拟数据:Kafka的模拟数据 MySQL的归档数据(At Least Once):MySQL的归档数据 Redis的实时数据:Redis的实时数据