flume-customized
基于Apache Flume NG v1.6.0版本定制
source
- targetPattern: 支持按天的滚动日志收集
- targetYoungestFileName:支持老版本的log4j按天滚动时，当前文件不包含日期格式
eventDeserializer
MultiLineDeserializer
多行日志读取&合并
- newLineStartPrefix：日志行分隔前缀
- wrappedByDocker: 是否被docker格式包裹
此类不可直接使用,必须放入flume源码的:org.apache.flume.serialization包路径下
然后在类:org.apache.flume.serialization.EventDeserializerType 增加枚举 MULTILINE
重新编译 module :flume-ng-core,将新生成的jar 替换原来的.
sink
MessagebusSink
增加了对基于RabbitMQ的消息总线的Sink支持
- batchSize: 日志批量发送的阈值
- zkConnectionStr: zookeeper的连接字符串(ip:port;ip:port)
- sourceSecret: 消息源secret
- sinkName: 消息槽name
- streamToken: 消息流token
消息总线的客户端，可通过编译消息总线得到
