微信搜索bigdata029 | 邀请体验:数阅–数据管理、OLAP分析与可视化平台 | 订阅本站 | 赞助作者:赞助作者

 分类:Flume

Apache Flume 1.7发布

Apache Flume 1.7发布
时隔一年多,Flume终于发布了1.7版本,该版本中新增了 Taildir Source (Flume中的TaildirSource),另外,对与Kafka的集成上做了很多的改进和优化。 Release Notes – Flume – Version v1...

6个月前 (10-19) 1900℃ 3喜欢

Flume使用Kafka Sink导致CPU过高的问题

Flume使用Kafka Sink导致CPU过高的问题
关键字:flume、kafka sink、high CPU 在日志收集服务器上使用Flume(1.6)的Kafka Sink将日志数据发送至Kafka,在Flume Agent启动之后,发现每个Agent的CPU使用率都非常高,而我们需要在每台机器上启动多个Flume Agent...

1年前 (2015-12-07) 4589℃ 4喜欢

Flume中的拦截器(Interceptor)介绍与使用(二)

Flume中的拦截器(Interceptor)介绍与使用(二)
关键字:flume、拦截器、interceptor Flume中的拦截器(interceptor),用户Source读取events发送到Sink的时候,在events header中加入一些有用的信息,或者对events的内容进行过滤,完成初步的数据清洗。这在实际业务场景中非常...

2年前 (2015-11-02) 4363℃ 4喜欢

Flume中的拦截器(Interceptor)介绍与使用(一)

Flume中的拦截器(Interceptor)介绍与使用(一)
关键字:flume、拦截器、interceptor Flume中的拦截器(interceptor),用户Source读取events发送到Sink的时候,在events header中加入一些有用的信息,或者对events的内容进行过滤,完成初步的数据清洗。这在实际业务场景中非常...

2年前 (2015-11-02) 7940℃ 8喜欢

Flume中的HDFS Sink配置参数说明

Flume中的HDFS Sink配置参数说明
关键字:flume、hdfs、sink、配置参数 Flume中的HDFS Sink应该是非常常用的,其中的配置参数也比较多,在这里记录备忘一下。 channel type hdfs path 写入hdfs的路径,需要包含文件系统标识,比如:hdfs://namenode/...

2年前 (2015-10-16) 9650℃ 12喜欢

Flume中的TaildirSource

Flume中的TaildirSource
关键字:Flume、TaildirSource、TailFile、Source 在通过Flume收集日志的业务场景中,一般都会遇到下面的情况,在日志收集服务器的某个目录下,会按照一段时间生成一个日志文件,并且日志会不断的追加到这个文件中,比如,每小时一个命名规则为log_2015...

2年前 (2015-10-15) 6322℃ 4喜欢