微信搜索bigdata029 | 邀请体验:数阅–数据管理、OLAP分析与可视化平台 | 订阅本站 | 赞助作者:赞助作者

 分类:Hive

连接Hive的客户端界面工具–SQuirrel SQL Client

连接Hive的客户端界面工具–SQuirrel SQL Client
关键字:Hive客户端、界面、SQuirrel SQL Client 刚看到一个可以连接Hive的客户端界面工具–SQuirrel SQL Client,试了一下,用起来还行,在这里记录一下安装及使用方法。 SQuirrel SQL Client是一个用Java写的数...

2年前 (2015-09-29) 22272℃ 16喜欢

Hive存储过程HQL/SQL(二)– 在Hive存储过程中读写MySQL表

Hive存储过程HQL/SQL(二)– 在Hive存储过程中读写MySQL表
关键字:Hive存储过程、PL/HQL、HQL/SQL、MySQL 通过PL/HQL可以在一个脚本中同时访问多个数据库系统。在实际业务场景中,经常会有需要将Hive和RDBMS中的数据结合分析,比如: 往RDBMS中写入Hive分析的审计信息; 从RDBMS中获取一些维表的数据...

2年前 (2015-09-21) 4952℃ 5喜欢

Hive存储过程HQL/SQL(一)–hplsql命令行

Hive存储过程HQL/SQL(一)–hplsql命令行
关键字:Hive存储过程、HQL/SQL、hplsql命令行、PL/HQL Command Line PL/HQL主要是通过命令行工具来执行一个SQL查询语句或者是一个SQL脚本。 进入hplsql-0.3.11,执行./ hplsql即可显示命令行的用法: [liuxiaowe...

2年前 (2015-09-17) 8689℃ 10喜欢

Hive存储过程系列文章

Hive存储过程系列文章
在Hive中实现存储过程–HQL/SQL Hive中创建和调用存储过程及自定义函数 Hive存储过程HQL/SQL(一)–hplsql命令行 Hive存储过程HQL/SQL(二)– 在Hive存储过程中读写MySQL表     持续更新中。。。 您可以关...

2年前 (2015-09-16) 9692℃ 8喜欢

Hive中创建和调用存储过程及自定义函数

Hive中创建和调用存储过程及自定义函数
关键字:Hive 存储过程 前面的文章《在Hive中实现存储过程–HQL/SQL》中介绍了如何使用HPL/SQL在Hive中实现存储过程,执行类似Oracle PL/SQL的功能。 一般的业务场景是数据开发人员开发好一个存储过程,然后周期性的调用,传入不同的参数即可。 本文继续介...

2年前 (2015-09-16) 4678℃ 5喜欢

在Hive中实现存储过程–HQL/SQL

在Hive中实现存储过程–HQL/SQL
关键字:Hive 存储过程、PL/HQL、HQL/SQL、Procedural SQL on Hadoop 目前版本的Hive中没有提供类似存储过程的功能,使用Hive做数据开发时候,一般是将一段一段的HQL语句封装在Shell或者其他脚本中,然后以命令行的方式调用,完成一个业务...

2年前 (2015-09-16) 9662℃ 12喜欢

Hive中如何快速的复制一张分区表(包括数据)

Hive中如何快速的复制一张分区表(包括数据)
关键字:Hive 复制表 Hive中有时候会遇到复制表的需求,复制表指的是复制表结构和数据。 如果是针对非分区表,那很简单,可以使用CREATE TABLE new_table AS SELECT * FROM old_table; 那么如果是分区表呢? 首先想到的办法可能是: ...

2年前 (2015-09-11) 5907℃ 16喜欢

Java API 写 Hive Orc文件

Java API 写 Hive Orc文件
关键字:Hive Orc、Java API 读写Hive OrcFile 接前面的文章 《Java API 读取Hive Orc文件》,本文中介绍使用Java API写Orc格式的文件。 下面的代码将三行数据: 张三,20 李四,22 王五,30 写入HDFS上的/tmp/lxw...

2年前 (2015-08-18) 4934℃ 5喜欢

Java API 读取Hive Orc文件

Java API 读取Hive Orc文件
关键字:Hive Orc、Java API 读取Hive OrcFile Orc是Hive特有的一种列式存储的文件格式,它有着非常高的压缩比和读取效率,因此很快取代了之前的RCFile,成为Hive中非常常用的一种文件格式。 在实际业务场景中,可能需要使用Java API,或者M...

2年前 (2015-08-18) 5245℃ 5喜欢

[一起学Hive]之十八-Hive UDF开发

[一起学Hive]之十八-Hive UDF开发
关键字:Hive udf、UDF、GenericUDF Hive中,除了提供丰富的内置函数(见[一起学Hive]之二–Hive函数大全-完整版)之外,还允许用户使用Java开发自定义的UDF函数。 开发自定义UDF函数有两种方式,一个是继承org.apache.hadoop.hi...

2年前 (2015-08-17) 7286℃ 1喜欢

[一起学Hive]之十七-从Hive表中进行数据抽样-Sampling

[一起学Hive]之十七-从Hive表中进行数据抽样-Sampling
关键字:Hive数据取样、Hive Sampling、Hive TABLESAMPLE. 在Hive中提供了数据取样(SAMPLING)的功能,用来从Hive表中根据一定的规则进行数据取样,Hive中的数据取样支持分桶表取样和数据块取样。 16.1 数据块取样(Block Sam...

2年前 (2015-08-06) 6145℃ 0喜欢

Hive和SparkSQL自定义UDF中依赖第三方Jar包

Hive和SparkSQL自定义UDF中依赖第三方Jar包
关键字:Hive udf、SparkSQL udf、 第三方jar包 当在Hive和SparkSQL中使用的自定义UDF函数需要依赖第三方jar包时,可以将所有jar包通过类似于fatjar等插件打在一起,但显得太麻烦、太累赘了。 其实只需要在运行时候将依赖的第三方jar包和ud...

2年前 (2015-07-23) 5601℃ 4喜欢

[一起学Hive]之十六-Hive的WEB页面接口-HWI

[一起学Hive]之十六-Hive的WEB页面接口-HWI
关键字:Hive WEB接口、Hive HWI Hive提供给用户的交互接口一般有三种:Hive命令行(Hive Command Line)、JDBC/ODBC以及Hive WEB Interface(HWI)。对于开发者来说,最常用的是Hive命令行。如果是将Hive开放给数据...

2年前 (2015-07-20) 7072℃ 2喜欢

[一起学Hive]之十五-分析Hive表和分区的统计信息(Statistics)

[一起学Hive]之十五-分析Hive表和分区的统计信息(Statistics)
关键字:Hive统计信息、分析Hive表、Hive Statistics 类似于Oracle的分析表,Hive中也提供了分析表和分区的功能,通过自动和手动分析Hive表,将Hive表的一些统计信息存储到元数据中。 表和分区的统计信息主要包括:行数、文件数、原始数据大小、所占存储大...

2年前 (2015-07-15) 11803℃ 1喜欢