微信搜索lxw1234bigdata | 邀请体验:数阅–数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

标签:一起学Hive

Hive

[一起学Hive]之二十-自定义HiveServer2的用户安全认证

[一起学Hive]之二十-自定义HiveServer2的用户安全认证
关键字:hiveserver2、用户安全 HiveServer2提供了JDBC链接操作Hive的功能,非常实用,但如果在使用HiveServer2时候,不注意安全控制,将非常危险,因为任何人都可以作为超级用户来操作Hive及HDFS数据。 比如:在配置HiveServer2的时候...

9年前 (2016-01-15) 33115℃ 19喜欢

Hive

[一起学Hive]之十八-Hive UDF开发

[一起学Hive]之十八-Hive UDF开发
关键字:Hive udf、UDF、GenericUDF Hive中,除了提供丰富的内置函数(见[一起学Hive]之二–Hive函数大全-完整版)之外,还允许用户使用Java开发自定义的UDF函数。 开发自定义UDF函数有两种方式,一个是继承org.apache.hadoop.hi...

9年前 (2015-08-17) 30351℃ 7喜欢

Hive

[一起学Hive]之十七-从Hive表中进行数据抽样-Sampling

[一起学Hive]之十七-从Hive表中进行数据抽样-Sampling
关键字:Hive数据取样、Hive Sampling、Hive TABLESAMPLE. 在Hive中提供了数据取样(SAMPLING)的功能,用来从Hive表中根据一定的规则进行数据取样,Hive中的数据取样支持分桶表取样和数据块取样。 16.1 数据块取样(Block Sam...

9年前 (2015-08-06) 27529℃ 5喜欢

Hive

[一起学Hive]之十六-Hive的WEB页面接口-HWI

[一起学Hive]之十六-Hive的WEB页面接口-HWI
关键字:Hive WEB接口、Hive HWI Hive提供给用户的交互接口一般有三种:Hive命令行(Hive Command Line)、JDBC/ODBC以及Hive WEB Interface(HWI)。对于开发者来说,最常用的是Hive命令行。如果是将Hive开放给数据...

10年前 (2015-07-20) 23675℃ 7喜欢

Hive

[一起学Hive]之十五-分析Hive表和分区的统计信息(Statistics)

[一起学Hive]之十五-分析Hive表和分区的统计信息(Statistics)
关键字:Hive统计信息、分析Hive表、Hive Statistics 类似于Oracle的分析表,Hive中也提供了分析表和分区的功能,通过自动和手动分析Hive表,将Hive表的一些统计信息存储到元数据中。 表和分区的统计信息主要包括:行数、文件数、原始数据大小、所占存储大...

10年前 (2015-07-15) 52308℃ 10喜欢

Hive

[一起学Hive]之十四-Hive的元数据表结构详解

[一起学Hive]之十四-Hive的元数据表结构详解
关键字:Hive元数据、Hive元数据表结构 之前在 “[一起学Hive]之一–Hive概述,Hive是什么”中介绍过,Hive自己维护了一套元数据,用户通过HQL查询时候,Hive首先需要结合元数据,将HQL翻译成MapReduce去执行。 本文介绍一下Hive元数据中重要的一...

10年前 (2015-07-08) 47700℃ 31喜欢

Hive

[一起学Hive]之十三-Hive整合HBase,操作HBase表

[一起学Hive]之十三-Hive整合HBase,操作HBase表
关键字:Hive整合HBase、Hive操作HBase表 十二、Hive整合HBase,操作HBase表 HBase是被设计用来做k-v查询的,但有时候,也会遇到基于HBase表的复杂统计,写MR很不方便。Hive考虑到了这点,提供了操作HBase表的接口。 关于Hive操作HB...

10年前 (2015-06-30) 40642℃ 17喜欢

Hive

[一起学Hive]之十二-Hive SQL的优化

[一起学Hive]之十二-Hive SQL的优化
关键字: Hive 优化、HQL 优化、Hive数据倾斜 十一、Hive SQL的优化   本章只是从HQL层面介绍一下,日常开发HQL中需要注意的一些优化点,不涉及Hadoop层面的参数、配置等优化。 其中大部分是我之前发过的博客文章,这里整理了下。 11.1 使用分...

10年前 (2015-06-29) 55585℃ 29喜欢

Hive

[一起学Hive]之九-Hive的查询语句SELECT

[一起学Hive]之九-Hive的查询语句SELECT
关键字:Hive SELECT、ORDER BY、SORT BY、DISTRIBUTE BY、CLUSTER BY、Hive子查询、Hive虚拟列 八、Hive的查询语句SELECT 在所有的数据库系统中,SELECT语句是使用最多,也最复杂的一块,Hive中的查询语句SELEC...

10年前 (2015-06-24) 34717℃ 13喜欢

Hive

[一起学Hive]之八-使用Hive命令行

[一起学Hive]之八-使用Hive命令行
Hive提供的几种用户交互接口中,最常用的就是命令行接口。本文简单介绍一下Hive命令行接口(Hive Command Line)及Hive交互Shell(Hive Interactive Shell)的一些使用。 七、使用Hive命令行 7.1 Hive Command Lin...

10年前 (2015-06-16) 47399℃ 23喜欢

Hive

[一起学Hive]之七-向Hive表中加载数据

[一起学Hive]之七-向Hive表中加载数据
在Hive中建好表之后,需要将数据加载进来,以便做后续查询分析,本文介绍向Hive表中加载数据的几种方式。 6.1 建表时候直接指定 如果你的数据已经在HDFS上存在,已经为结构化数据,并且数据所在的HDFS路径不需要维护,那么可以直接在建表的时候使用location指定数据所在...

10年前 (2015-06-15) 21542℃ 29喜欢

Hive

[一起学Hive]之六-Hive的动态分区

[一起学Hive]之六-Hive的动态分区
前面文章介绍了Hive中是支持分区的。 关系型数据库(如Oracle)中,对分区表Insert数据时候,数据库自动会根据分区字段的值,将数据插入到相应的分区中,Hive中也提供了类似的机制,即动态分区(Dynamic Partition),只不过,使用Hive的动态分区,需要进行...

10年前 (2015-06-15) 60775℃ 39喜欢