微信搜索bigdata029 | 邀请体验:数阅–数据管理、OLAP分析与可视化平台 | 订阅本站 | 赞助作者:赞助作者
Druid

海量数据实时OLAP分析系统-Druid.io安装配置和体验

海量数据实时OLAP分析系统-Druid.io安装配置和体验
关键字:druid、druid.io、实时olap、大数据实时分析 导读: 一、Druid简介 二、Druid架构组成及相关依赖 三、Druid集群配置 四、Druid集群启动 五、Druid查询 六、后记 一、Druid简介 Druid是一个为大型冷数据集上实时探索查询而设计的...

1年前 (2015-11-17) 10633℃ 12喜欢

Kafka

Kafka主要参数详解

Kafka主要参数详解
关键字:Kafka 参数 系统参数 #唯一标识在集群中的ID,要求是正数。 broker.id=0 #服务端口,默认9092 port=9092 #监听地址 host.name=debugo01 # 处理网络请求的最大线程数 num.network.threads=2 # 处理磁...

1年前 (2015-11-04) 3616℃ 2喜欢

Flume

Flume中的拦截器(Interceptor)介绍与使用(二)

Flume中的拦截器(Interceptor)介绍与使用(二)
关键字:flume、拦截器、interceptor Flume中的拦截器(interceptor),用户Source读取events发送到Sink的时候,在events header中加入一些有用的信息,或者对events的内容进行过滤,完成初步的数据清洗。这在实际业务场景中非常...

1年前 (2015-11-02) 3551℃ 2喜欢

Flume

Flume中的拦截器(Interceptor)介绍与使用(一)

Flume中的拦截器(Interceptor)介绍与使用(一)
关键字:flume、拦截器、interceptor Flume中的拦截器(interceptor),用户Source读取events发送到Sink的时候,在events header中加入一些有用的信息,或者对events的内容进行过滤,完成初步的数据清洗。这在实际业务场景中非常...

1年前 (2015-11-02) 6438℃ 5喜欢

Kafka

Kafka分区机制介绍与示例

Kafka分区机制介绍与示例
关键字:Kafka分区、Partition Kafka中可以将Topic从物理上划分成一个或多个分区(Partition),每个分区在物理上对应一个文件夹,以”topicName_partitionIndex”的命名方式命名,该文件夹下存储这个分区的所有消息(.log)和索引文件...

1年前 (2015-10-30) 8177℃ 19喜欢

Hadoop

Hadoop多用户资源管理–Fair Scheduler介绍与配置

Hadoop多用户资源管理–Fair Scheduler介绍与配置
关键字:Hadoop 多用户、资源、fair scheduler 在一个公司内部的Hadoop Yarn集群,肯定会被多个业务、多个用户同时使用,共享Yarn的资源,如果不做资源的管理与规划,那么整个Yarn的资源很容易被某一个用户提交的Application占满,其它任务只能等...

1年前 (2015-10-26) 8548℃ 8喜欢

大数据平台

60款顶级大数据开源工具

60款顶级大数据开源工具
关键字:大数据、开源 一、Hadoop相关工具 1. Hadoop Apache的Hadoop项目已几乎与大数据划上了等号。它不断壮大起来,已成为一个完整的生态系统,众多开源工具面向高度扩展的分布式计算。 支持的操作系统:Windows、Linux和OS X。 相关链接:http...

1年前 (2015-10-23) 3025℃ 4喜欢

Flume

Flume中的HDFS Sink配置参数说明

Flume中的HDFS Sink配置参数说明
关键字:flume、hdfs、sink、配置参数 Flume中的HDFS Sink应该是非常常用的,其中的配置参数也比较多,在这里记录备忘一下。 channel type hdfs path 写入hdfs的路径,需要包含文件系统标识,比如:hdfs://namenode/...

1年前 (2015-10-16) 7302℃ 8喜欢

Flume

Flume中的TaildirSource

Flume中的TaildirSource
关键字:Flume、TaildirSource、TailFile、Source 在通过Flume收集日志的业务场景中,一般都会遇到下面的情况,在日志收集服务器的某个目录下,会按照一段时间生成一个日志文件,并且日志会不断的追加到这个文件中,比如,每小时一个命名规则为log_2015...

1年前 (2015-10-15) 4908℃ 3喜欢

Hive

连接Hive的客户端界面工具–SQuirrel SQL Client

连接Hive的客户端界面工具–SQuirrel SQL Client
关键字:Hive客户端、界面、SQuirrel SQL Client 刚看到一个可以连接Hive的客户端界面工具–SQuirrel SQL Client,试了一下,用起来还行,在这里记录一下安装及使用方法。 SQuirrel SQL Client是一个用Java写的数...

1年前 (2015-09-29) 16404℃ 15喜欢