关键字：Hive 存储过程
前面的文章《在Hive中实现存储过程–HQL/SQL》中介绍了如何使用HPL/SQL在Hive中实现存储过程，执行类似Oracle PL/SQL的功能。
一般的业务场景是数据开发人员开发好一个存储过程，然后周期性的调用，传入不同的参数即可。
本文继续介...
9年前 (2015-09-16) 32249℃
25喜欢
关键字：Hive 存储过程、PL/HQL、HQL/SQL、Procedural SQL on Hadoop
目前版本的Hive中没有提供类似存储过程的功能，使用Hive做数据开发时候，一般是将一段一段的HQL语句封装在Shell或者其他脚本中，然后以命令行的方式调用，完成一个业务...
9年前 (2015-09-16) 35345℃
22喜欢
关键字：Hive 复制表
Hive中有时候会遇到复制表的需求，复制表指的是复制表结构和数据。
如果是针对非分区表，那很简单，可以使用CREATE TABLE new_table AS SELECT * FROM old_table;
那么如果是分区表呢？
首先想到的办法可能是：
...
9年前 (2015-09-11) 36741℃
47喜欢
关键字：Hive HQL Job数量、Hive执行计划、Hive LineageInfo
本文介绍使用Hive的API获取一条HQL的最终执行计划，从而获取这条HQL的Job数量，另外，介绍使用API分析一条HQL中所包含的输入表和输出表。这些信息在做元数据管理和Hive表的血缘...
9年前 (2015-09-01) 48784℃
36喜欢
关键字：Hive Orc、Java API 读写Hive OrcFile
接前面的文章 《Java API 读取Hive Orc文件》,本文中介绍使用Java API写Orc格式的文件。
下面的代码将三行数据：
张三,20
李四,22
王五,30
写入HDFS上的/tmp/lxw...
9年前 (2015-08-18) 22923℃
9喜欢
关键字：Hive Orc、Java API 读取Hive OrcFile
Orc是Hive特有的一种列式存储的文件格式，它有着非常高的压缩比和读取效率，因此很快取代了之前的RCFile，成为Hive中非常常用的一种文件格式。
在实际业务场景中，可能需要使用Java API，或者M...
9年前 (2015-08-18) 19657℃
16喜欢
关键字：Hive udf、UDF、GenericUDF
Hive中，除了提供丰富的内置函数（见[一起学Hive]之二–Hive函数大全-完整版）之外，还允许用户使用Java开发自定义的UDF函数。
开发自定义UDF函数有两种方式，一个是继承org.apache.hadoop.hi...
9年前 (2015-08-17) 30090℃
7喜欢
关键字：Hive数据取样、Hive Sampling、Hive TABLESAMPLE.
在Hive中提供了数据取样（SAMPLING）的功能，用来从Hive表中根据一定的规则进行数据取样，Hive中的数据取样支持分桶表取样和数据块取样。
16.1 数据块取样（Block Sam...
9年前 (2015-08-06) 27078℃
5喜欢
关键字：Hive udf、SparkSQL udf、 第三方jar包
当在Hive和SparkSQL中使用的自定义UDF函数需要依赖第三方jar包时，可以将所有jar包通过类似于fatjar等插件打在一起，但显得太麻烦、太累赘了。
其实只需要在运行时候将依赖的第三方jar包和ud...
9年前 (2015-07-23) 19986℃
11喜欢
关键字：Hive WEB接口、Hive HWI
Hive提供给用户的交互接口一般有三种：Hive命令行(Hive Command Line)、JDBC/ODBC以及Hive WEB Interface（HWI）。对于开发者来说，最常用的是Hive命令行。如果是将Hive开放给数据...
9年前 (2015-07-20) 23299℃
7喜欢
关键字：Hive统计信息、分析Hive表、Hive Statistics
类似于Oracle的分析表，Hive中也提供了分析表和分区的功能，通过自动和手动分析Hive表，将Hive表的一些统计信息存储到元数据中。
表和分区的统计信息主要包括：行数、文件数、原始数据大小、所占存储大...
9年前 (2015-07-15) 51843℃
10喜欢
关键字：MapReduce、Hive、子目录、递归、输入、Input、mapreduce.input.fileinputformat.input.dir.recursive、hive.mapred.supports.subdirectories
一般情况下，传递给MapReduc...
9年前 (2015-07-08) 24967℃
13喜欢
关键字：Hive元数据、Hive元数据表结构
之前在 “[一起学Hive]之一–Hive概述，Hive是什么”中介绍过，Hive自己维护了一套元数据，用户通过HQL查询时候，Hive首先需要结合元数据，将HQL翻译成MapReduce去执行。
本文介绍一下Hive元数据中重要的一...
9年前 (2015-07-08) 47346℃
31喜欢
关键字：Hive整合HBase、Hive操作HBase表
十二、Hive整合HBase，操作HBase表
HBase是被设计用来做k-v查询的，但有时候，也会遇到基于HBase表的复杂统计，写MR很不方便。Hive考虑到了这点，提供了操作HBase表的接口。
关于Hive操作HB...
9年前 (2015-06-30) 40160℃
17喜欢
关键字： Hive 优化、HQL 优化、Hive数据倾斜
十一、Hive SQL的优化
本章只是从HQL层面介绍一下，日常开发HQL中需要注意的一些优化点，不涉及Hadoop层面的参数、配置等优化。
其中大部分是我之前发过的博客文章，这里整理了下。
11.1 使用分...
9年前 (2015-06-29) 53616℃
29喜欢
