微信搜索bigdata029 | 邀请体验:数阅–数据管理、OLAP分析与可视化平台 | 订阅本站 | 赞助作者:赞助作者
Druid

Druid.io实时OLAP数据分析存储系统介绍

Druid.io实时OLAP数据分析存储系统介绍
关键字:druid,druid.io,olap,realtime 导读: 简介 架构:整体架构、实时节点、历史节点、协调节点、Broker节点、Indexer节点、ZooKeeper Druid vs 其他系统:Druid vs Impala/Shark、Druid vs Ela...

2年前 (2015-11-19) 7636℃ 6喜欢

Druid

查询Druid中的数据

查询Druid中的数据
关键字:druid.io、druid query Druid查询是通过HTTP REST方式发送查询请求,查询的描述写在一个JSON文件中,可以处理查询请求的服务包括Broker、Historical和Realtime,这几个服务节点都提供了相同的查询接口,但一般是将查询请求发送...

2年前 (2015-11-19) 5359℃ 13喜欢

Druid

海量数据实时OLAP分析系统-Druid.io安装配置和体验

海量数据实时OLAP分析系统-Druid.io安装配置和体验
关键字:druid、druid.io、实时olap、大数据实时分析 导读: 一、Druid简介 二、Druid架构组成及相关依赖 三、Druid集群配置 四、Druid集群启动 五、Druid查询 六、后记 一、Druid简介 Druid是一个为大型冷数据集上实时探索查询而设计的...

2年前 (2015-11-17) 19756℃ 22喜欢

Kafka

Kafka主要参数详解

Kafka主要参数详解
关键字:Kafka 参数 系统参数 #唯一标识在集群中的ID,要求是正数。 broker.id=0 #服务端口,默认9092 port=9092 #监听地址 host.name=debugo01 # 处理网络请求的最大线程数 num.network.threads=2 # 处理磁...

2年前 (2015-11-04) 6650℃ 4喜欢

Flume

Flume中的拦截器(Interceptor)介绍与使用(二)

Flume中的拦截器(Interceptor)介绍与使用(二)
关键字:flume、拦截器、interceptor Flume中的拦截器(interceptor),用户Source读取events发送到Sink的时候,在events header中加入一些有用的信息,或者对events的内容进行过滤,完成初步的数据清洗。这在实际业务场景中非常...

2年前 (2015-11-02) 6576℃ 6喜欢

Flume

Flume中的拦截器(Interceptor)介绍与使用(一)

Flume中的拦截器(Interceptor)介绍与使用(一)
关键字:flume、拦截器、interceptor Flume中的拦截器(interceptor),用户Source读取events发送到Sink的时候,在events header中加入一些有用的信息,或者对events的内容进行过滤,完成初步的数据清洗。这在实际业务场景中非常...

2年前 (2015-11-02) 11867℃ 12喜欢

Kafka

Kafka分区机制介绍与示例

Kafka分区机制介绍与示例
关键字:Kafka分区、Partition Kafka中可以将Topic从物理上划分成一个或多个分区(Partition),每个分区在物理上对应一个文件夹,以”topicName_partitionIndex”的命名方式命名,该文件夹下存储这个分区的所有消息(.log)和索引文件...

2年前 (2015-10-30) 18502℃ 32喜欢

Hadoop

Hadoop多用户资源管理–Fair Scheduler介绍与配置

Hadoop多用户资源管理–Fair Scheduler介绍与配置
关键字:Hadoop 多用户、资源、fair scheduler 在一个公司内部的Hadoop Yarn集群,肯定会被多个业务、多个用户同时使用,共享Yarn的资源,如果不做资源的管理与规划,那么整个Yarn的资源很容易被某一个用户提交的Application占满,其它任务只能等...

2年前 (2015-10-26) 13262℃ 13喜欢

大数据平台

60款顶级大数据开源工具

60款顶级大数据开源工具
关键字:大数据、开源 一、Hadoop相关工具 1. Hadoop Apache的Hadoop项目已几乎与大数据划上了等号。它不断壮大起来,已成为一个完整的生态系统,众多开源工具面向高度扩展的分布式计算。 支持的操作系统:Windows、Linux和OS X。 相关链接:http...

2年前 (2015-10-23) 4884℃ 6喜欢

Flume

Flume中的HDFS Sink配置参数说明

Flume中的HDFS Sink配置参数说明
关键字:flume、hdfs、sink、配置参数 Flume中的HDFS Sink应该是非常常用的,其中的配置参数也比较多,在这里记录备忘一下。 channel type hdfs path 写入hdfs的路径,需要包含文件系统标识,比如:hdfs://namenode/...

2年前 (2015-10-16) 15793℃ 29喜欢

Flume

Flume中的TaildirSource

Flume中的TaildirSource
关键字:Flume、TaildirSource、TailFile、Source 在通过Flume收集日志的业务场景中,一般都会遇到下面的情况,在日志收集服务器的某个目录下,会按照一段时间生成一个日志文件,并且日志会不断的追加到这个文件中,比如,每小时一个命名规则为log_2015...

2年前 (2015-10-15) 9504℃ 5喜欢