微信搜索bigdata029 | 邀请体验:数阅–数据管理、OLAP分析与可视化平台 | 订阅本站 | 赞助作者:赞助作者
Flume

Flume中的TaildirSource

Flume中的TaildirSource
关键字:Flume、TaildirSource、TailFile、Source 在通过Flume收集日志的业务场景中,一般都会遇到下面的情况,在日志收集服务器的某个目录下,会按照一段时间生成一个日志文件,并且日志会不断的追加到这个文件中,比如,每小时一个命名规则为log_2015...

1年前 (2015-10-15) 5790℃ 4喜欢

Hive

连接Hive的客户端界面工具–SQuirrel SQL Client

连接Hive的客户端界面工具–SQuirrel SQL Client
关键字:Hive客户端、界面、SQuirrel SQL Client 刚看到一个可以连接Hive的客户端界面工具–SQuirrel SQL Client,试了一下,用起来还行,在这里记录一下安装及使用方法。 SQuirrel SQL Client是一个用Java写的数...

2年前 (2015-09-29) 18445℃ 16喜欢

Kafka

Kafka Java API实现的简单Producer和Consumer

Kafka Java API实现的简单Producer和Consumer
关键字:Kafka Java API、producer、consumer 前面的文章《Kafka安装配置测试》中安装配置了分布式的Kafka集群,并且使用自带的kafka-console-producer.sh和kafka-console-consumer.sh模拟测试了发送消息...

2年前 (2015-09-24) 6691℃ 10喜欢

Kafka

Kafka安装配置测试

Kafka安装配置测试
关键字:Kafka安装、配置、测试 之前转的文章《Kafka架构和原理深度剖析》中介绍了Kafka的原理,本文记录一下其安装配置和测试的过程。 Kafka的整体架构: 本文中的配置: 在两台机器Node1和Node2上,分别部署了两个broker,Zookeeper使用的是单...

2年前 (2015-09-24) 7743℃ 10喜欢

Kafka

Kafka架构和原理深度剖析

Kafka架构和原理深度剖析
关键字:Kafka、Kafka架构、Kafka原理 背景介绍 Kafka简介 Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下: 以时间复杂度为O(1)的方式提供消息持久化能力,并保证即使对TB级以上数据也能保证常数时间的访问性能 高吞吐率。即使在非常廉价的...

2年前 (2015-09-24) 8081℃ 12喜欢

Hive

Hive存储过程HQL/SQL(二)– 在Hive存储过程中读写MySQL表

Hive存储过程HQL/SQL(二)– 在Hive存储过程中读写MySQL表
关键字:Hive存储过程、PL/HQL、HQL/SQL、MySQL 通过PL/HQL可以在一个脚本中同时访问多个数据库系统。在实际业务场景中,经常会有需要将Hive和RDBMS中的数据结合分析,比如: 往RDBMS中写入Hive分析的审计信息; 从RDBMS中获取一些维表的数据...

2年前 (2015-09-21) 3790℃ 4喜欢

Hive

Hive存储过程HQL/SQL(一)–hplsql命令行

Hive存储过程HQL/SQL(一)–hplsql命令行
关键字:Hive存储过程、HQL/SQL、hplsql命令行、PL/HQL Command Line PL/HQL主要是通过命令行工具来执行一个SQL查询语句或者是一个SQL脚本。 进入hplsql-0.3.11,执行./ hplsql即可显示命令行的用法: [liuxiaowe...

2年前 (2015-09-17) 6169℃ 9喜欢

Hive

Hive存储过程系列文章

Hive存储过程系列文章
在Hive中实现存储过程–HQL/SQL Hive中创建和调用存储过程及自定义函数 Hive存储过程HQL/SQL(一)–hplsql命令行 Hive存储过程HQL/SQL(二)– 在Hive存储过程中读写MySQL表     持续更新中。。。 您可以关...

2年前 (2015-09-16) 7361℃ 6喜欢

Hive

Hive中创建和调用存储过程及自定义函数

Hive中创建和调用存储过程及自定义函数
关键字:Hive 存储过程 前面的文章《在Hive中实现存储过程–HQL/SQL》中介绍了如何使用HPL/SQL在Hive中实现存储过程,执行类似Oracle PL/SQL的功能。 一般的业务场景是数据开发人员开发好一个存储过程,然后周期性的调用,传入不同的参数即可。 本文继续介...

2年前 (2015-09-16) 3324℃ 3喜欢

Hive

在Hive中实现存储过程–HQL/SQL

在Hive中实现存储过程–HQL/SQL
关键字:Hive 存储过程、PL/HQL、HQL/SQL、Procedural SQL on Hadoop 目前版本的Hive中没有提供类似存储过程的功能,使用Hive做数据开发时候,一般是将一段一段的HQL语句封装在Shell或者其他脚本中,然后以命令行的方式调用,完成一个业务...

2年前 (2015-09-16) 6980℃ 10喜欢

Hive

Hive中如何快速的复制一张分区表(包括数据)

Hive中如何快速的复制一张分区表(包括数据)
关键字:Hive 复制表 Hive中有时候会遇到复制表的需求,复制表指的是复制表结构和数据。 如果是针对非分区表,那很简单,可以使用CREATE TABLE new_table AS SELECT * FROM old_table; 那么如果是分区表呢? 首先想到的办法可能是: ...

2年前 (2015-09-11) 3914℃ 13喜欢

Hadoop

合并HDFS和本地文件系统中的小文件

合并HDFS和本地文件系统中的小文件
关键字:hadoop hdfs 小文件、appendToFile、getmerge 众所周知,HDFS中过多的小文件,会给NameNode造成很大的压力,所谓的小文件,是指远远小于文件块大小的文件。 在使用HDFS的过程中,应尽量避免生成过多的小文件。 本文以TextFile为例...

2年前 (2015-09-10) 4765℃ 3喜欢

Spark

Spark1.5发布

Spark1.5发布
Apache Spark社区刚刚发布了1.5版本,大家一定想知道这个版本的主要变化,这篇文章告诉你答案。 DataFrame执行后端优化(Tungsten第一阶段) DataFrame可以说是整个Spark项目最核心的部分,在1.5这个开发周期内最大的变化就是Tungsten项目...

2年前 (2015-09-10) 2025℃ 3喜欢