微信搜索bigdata029 | 邀请体验:数阅–数据管理、OLAP分析与可视化平台 | 联系作者:lxw1234@qq.com | 赞助作者:赞助作者
Kafka

Kafka分区机制介绍与示例

Kafka分区机制介绍与示例
关键字:Kafka分区、Partition Kafka中可以将Topic从物理上划分成一个或多个分区(Partition),每个分区在物理上对应一个文件夹,以”topicName_partitionIndex”的命名方式命名,该文件夹下存储这个分区的所有消息(.log)和索引文件...

3年前 (2015-10-30) 25439℃ 38喜欢

Hadoop

Hadoop多用户资源管理–Fair Scheduler介绍与配置

Hadoop多用户资源管理–Fair Scheduler介绍与配置
关键字:Hadoop 多用户、资源、fair scheduler 在一个公司内部的Hadoop Yarn集群,肯定会被多个业务、多个用户同时使用,共享Yarn的资源,如果不做资源的管理与规划,那么整个Yarn的资源很容易被某一个用户提交的Application占满,其它任务只能等...

3年前 (2015-10-26) 16719℃ 18喜欢

大数据平台

60款顶级大数据开源工具

60款顶级大数据开源工具
关键字:大数据、开源 一、Hadoop相关工具 1. Hadoop Apache的Hadoop项目已几乎与大数据划上了等号。它不断壮大起来,已成为一个完整的生态系统,众多开源工具面向高度扩展的分布式计算。 支持的操作系统:Windows、Linux和OS X。 相关链接:http...

3年前 (2015-10-23) 5894℃ 6喜欢

Flume

Flume中的HDFS Sink配置参数说明

Flume中的HDFS Sink配置参数说明
关键字:flume、hdfs、sink、配置参数 Flume中的HDFS Sink应该是非常常用的,其中的配置参数也比较多,在这里记录备忘一下。 channel type hdfs path 写入hdfs的路径,需要包含文件系统标识,比如:hdfs://namenode/...

3年前 (2015-10-16) 20594℃ 38喜欢

Flume

Flume中的TaildirSource

Flume中的TaildirSource
关键字:Flume、TaildirSource、TailFile、Source 在通过Flume收集日志的业务场景中,一般都会遇到下面的情况,在日志收集服务器的某个目录下,会按照一段时间生成一个日志文件,并且日志会不断的追加到这个文件中,比如,每小时一个命名规则为log_2015...

3年前 (2015-10-15) 13227℃ 6喜欢

Hive

连接Hive的客户端界面工具–SQuirrel SQL Client

连接Hive的客户端界面工具–SQuirrel SQL Client
关键字:Hive客户端、界面、SQuirrel SQL Client 刚看到一个可以连接Hive的客户端界面工具–SQuirrel SQL Client,试了一下,用起来还行,在这里记录一下安装及使用方法。 SQuirrel SQL Client是一个用Java写的数...

3年前 (2015-09-29) 29586℃ 18喜欢

Kafka

Kafka Java API实现的简单Producer和Consumer

Kafka Java API实现的简单Producer和Consumer
关键字:Kafka Java API、producer、consumer 前面的文章《Kafka安装配置测试》中安装配置了分布式的Kafka集群,并且使用自带的kafka-console-producer.sh和kafka-console-consumer.sh模拟测试了发送消息...

3年前 (2015-09-24) 14736℃ 15喜欢

Kafka

Kafka安装配置测试

Kafka安装配置测试
关键字:Kafka安装、配置、测试 之前转的文章《Kafka架构和原理深度剖析》中介绍了Kafka的原理,本文记录一下其安装配置和测试的过程。 Kafka的整体架构: 本文中的配置: 在两台机器Node1和Node2上,分别部署了两个broker,Zookeeper使用的是单...

3年前 (2015-09-24) 11829℃ 13喜欢

Kafka

Kafka架构和原理深度剖析

Kafka架构和原理深度剖析
关键字:Kafka、Kafka架构、Kafka原理 背景介绍 Kafka简介 Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下: 以时间复杂度为O(1)的方式提供消息持久化能力,并保证即使对TB级以上数据也能保证常数时间的访问性能 高吞吐率。即使在非常廉价的...

3年前 (2015-09-24) 16668℃ 22喜欢

Hive

Hive存储过程HQL/SQL(二)– 在Hive存储过程中读写MySQL表

Hive存储过程HQL/SQL(二)– 在Hive存储过程中读写MySQL表
关键字:Hive存储过程、PL/HQL、HQL/SQL、MySQL 通过PL/HQL可以在一个脚本中同时访问多个数据库系统。在实际业务场景中,经常会有需要将Hive和RDBMS中的数据结合分析,比如: 往RDBMS中写入Hive分析的审计信息; 从RDBMS中获取一些维表的数据...

3年前 (2015-09-21) 7229℃ 7喜欢

Hive

Hive存储过程HQL/SQL(一)–hplsql命令行

Hive存储过程HQL/SQL(一)–hplsql命令行
关键字:Hive存储过程、HQL/SQL、hplsql命令行、PL/HQL Command Line PL/HQL主要是通过命令行工具来执行一个SQL查询语句或者是一个SQL脚本。 进入hplsql-0.3.11,执行./ hplsql即可显示命令行的用法: [liuxiaowe...

3年前 (2015-09-17) 14019℃ 15喜欢

Hive

Hive存储过程系列文章

Hive存储过程系列文章
在Hive中实现存储过程–HQL/SQL Hive中创建和调用存储过程及自定义函数 Hive存储过程HQL/SQL(一)–hplsql命令行 Hive存储过程HQL/SQL(二)– 在Hive存储过程中读写MySQL表     持续更新中。。。 您可以关...

3年前 (2015-09-16) 14372℃ 10喜欢

Hive

Hive中创建和调用存储过程及自定义函数

Hive中创建和调用存储过程及自定义函数
关键字:Hive 存储过程 前面的文章《在Hive中实现存储过程–HQL/SQL》中介绍了如何使用HPL/SQL在Hive中实现存储过程,执行类似Oracle PL/SQL的功能。 一般的业务场景是数据开发人员开发好一个存储过程,然后周期性的调用,传入不同的参数即可。 本文继续介...

3年前 (2015-09-16) 8818℃ 7喜欢