关键字:Hive客户端、界面、SQuirrel SQL Client
刚看到一个可以连接Hive的客户端界面工具–SQuirrel SQL Client,试了一下,用起来还行,在这里记录一下安装及使用方法。
SQuirrel SQL Client是一个用Java写的数...
9年前 (2015-09-29) 62021℃
30喜欢
关键字:Hive存储过程、PL/HQL、HQL/SQL、MySQL
通过PL/HQL可以在一个脚本中同时访问多个数据库系统。在实际业务场景中,经常会有需要将Hive和RDBMS中的数据结合分析,比如:
往RDBMS中写入Hive分析的审计信息;
从RDBMS中获取一些维表的数据...
9年前 (2015-09-21) 16060℃
14喜欢
关键字:Hive存储过程、HQL/SQL、hplsql命令行、PL/HQL Command Line
PL/HQL主要是通过命令行工具来执行一个SQL查询语句或者是一个SQL脚本。
进入hplsql-0.3.11,执行./ hplsql即可显示命令行的用法:
[liuxiaowe...
9年前 (2015-09-17) 36259℃
20喜欢
在Hive中实现存储过程–HQL/SQL
Hive中创建和调用存储过程及自定义函数
Hive存储过程HQL/SQL(一)–hplsql命令行
Hive存储过程HQL/SQL(二)– 在Hive存储过程中读写MySQL表
持续更新中。。。
您可以关...
9年前 (2015-09-16) 38970℃
30喜欢
关键字:Hive 存储过程
前面的文章《在Hive中实现存储过程–HQL/SQL》中介绍了如何使用HPL/SQL在Hive中实现存储过程,执行类似Oracle PL/SQL的功能。
一般的业务场景是数据开发人员开发好一个存储过程,然后周期性的调用,传入不同的参数即可。
本文继续介...
9年前 (2015-09-16) 32455℃
25喜欢
关键字:Hive 存储过程、PL/HQL、HQL/SQL、Procedural SQL on Hadoop
目前版本的Hive中没有提供类似存储过程的功能,使用Hive做数据开发时候,一般是将一段一段的HQL语句封装在Shell或者其他脚本中,然后以命令行的方式调用,完成一个业务...
9年前 (2015-09-16) 35579℃
22喜欢
关键字:Hive 复制表
Hive中有时候会遇到复制表的需求,复制表指的是复制表结构和数据。
如果是针对非分区表,那很简单,可以使用CREATE TABLE new_table AS SELECT * FROM old_table;
那么如果是分区表呢?
首先想到的办法可能是:
...
9年前 (2015-09-11) 36992℃
47喜欢
关键字:Hive HQL Job数量、Hive执行计划、Hive LineageInfo
本文介绍使用Hive的API获取一条HQL的最终执行计划,从而获取这条HQL的Job数量,另外,介绍使用API分析一条HQL中所包含的输入表和输出表。这些信息在做元数据管理和Hive表的血缘...
9年前 (2015-09-01) 49290℃
36喜欢
关键字:Hive Orc、Java API 读写Hive OrcFile
接前面的文章 《Java API 读取Hive Orc文件》,本文中介绍使用Java API写Orc格式的文件。
下面的代码将三行数据:
张三,20
李四,22
王五,30
写入HDFS上的/tmp/lxw...
9年前 (2015-08-18) 23185℃
9喜欢
关键字:Hive Orc、Java API 读取Hive OrcFile
Orc是Hive特有的一种列式存储的文件格式,它有着非常高的压缩比和读取效率,因此很快取代了之前的RCFile,成为Hive中非常常用的一种文件格式。
在实际业务场景中,可能需要使用Java API,或者M...
9年前 (2015-08-18) 19888℃
16喜欢
关键字:Hive udf、UDF、GenericUDF
Hive中,除了提供丰富的内置函数(见[一起学Hive]之二–Hive函数大全-完整版)之外,还允许用户使用Java开发自定义的UDF函数。
开发自定义UDF函数有两种方式,一个是继承org.apache.hadoop.hi...
9年前 (2015-08-17) 30308℃
7喜欢
关键字:Hive数据取样、Hive Sampling、Hive TABLESAMPLE.
在Hive中提供了数据取样(SAMPLING)的功能,用来从Hive表中根据一定的规则进行数据取样,Hive中的数据取样支持分桶表取样和数据块取样。
16.1 数据块取样(Block Sam...
9年前 (2015-08-06) 27442℃
5喜欢
关键字:Hive udf、SparkSQL udf、 第三方jar包
当在Hive和SparkSQL中使用的自定义UDF函数需要依赖第三方jar包时,可以将所有jar包通过类似于fatjar等插件打在一起,但显得太麻烦、太累赘了。
其实只需要在运行时候将依赖的第三方jar包和ud...
9年前 (2015-07-23) 20160℃
11喜欢
关键字:Hive WEB接口、Hive HWI
Hive提供给用户的交互接口一般有三种:Hive命令行(Hive Command Line)、JDBC/ODBC以及Hive WEB Interface(HWI)。对于开发者来说,最常用的是Hive命令行。如果是将Hive开放给数据...
9年前 (2015-07-20) 23615℃
7喜欢
关键字:Hive统计信息、分析Hive表、Hive Statistics
类似于Oracle的分析表,Hive中也提供了分析表和分区的功能,通过自动和手动分析Hive表,将Hive表的一些统计信息存储到元数据中。
表和分区的统计信息主要包括:行数、文件数、原始数据大小、所占存储大...
9年前 (2015-07-15) 52235℃
10喜欢