关键字：Hive存储过程、HQL/SQL、hplsql命令行、PL/HQL Command Line
PL/HQL主要是通过命令行工具来执行一个SQL查询语句或者是一个SQL脚本。
进入hplsql-0.3.11，执行./ hplsql即可显示命令行的用法：
[liuxiaowe...
9年前 (2015-09-17) 36268℃
20喜欢
在Hive中实现存储过程–HQL/SQL
Hive中创建和调用存储过程及自定义函数
Hive存储过程HQL/SQL（一）–hplsql命令行
Hive存储过程HQL/SQL（二）– 在Hive存储过程中读写MySQL表
持续更新中。。。
您可以关...
9年前 (2015-09-16) 38979℃
30喜欢
关键字：Hive 存储过程
前面的文章《在Hive中实现存储过程–HQL/SQL》中介绍了如何使用HPL/SQL在Hive中实现存储过程，执行类似Oracle PL/SQL的功能。
一般的业务场景是数据开发人员开发好一个存储过程，然后周期性的调用，传入不同的参数即可。
本文继续介...
9年前 (2015-09-16) 32459℃
25喜欢
关键字：Hive 存储过程、PL/HQL、HQL/SQL、Procedural SQL on Hadoop
目前版本的Hive中没有提供类似存储过程的功能，使用Hive做数据开发时候，一般是将一段一段的HQL语句封装在Shell或者其他脚本中，然后以命令行的方式调用，完成一个业务...
9年前 (2015-09-16) 35590℃
22喜欢
关键字：Hive 复制表
Hive中有时候会遇到复制表的需求，复制表指的是复制表结构和数据。
如果是针对非分区表，那很简单，可以使用CREATE TABLE new_table AS SELECT * FROM old_table;
那么如果是分区表呢？
首先想到的办法可能是：
...
9年前 (2015-09-11) 36994℃
47喜欢
关键字：hadoop hdfs 小文件、appendToFile、getmerge
众所周知，HDFS中过多的小文件，会给NameNode造成很大的压力，所谓的小文件，是指远远小于文件块大小的文件。
在使用HDFS的过程中，应尽量避免生成过多的小文件。
本文以TextFile为例...
9年前 (2015-09-10) 28935℃
13喜欢
Apache Spark社区刚刚发布了1.5版本，大家一定想知道这个版本的主要变化，这篇文章告诉你答案。
DataFrame执行后端优化（Tungsten第一阶段）
DataFrame可以说是整个Spark项目最核心的部分，在1.5这个开发周期内最大的变化就是Tungsten项目...
9年前 (2015-09-10) 7163℃
3喜欢
关键字：Hive HQL Job数量、Hive执行计划、Hive LineageInfo
本文介绍使用Hive的API获取一条HQL的最终执行计划，从而获取这条HQL的Job数量，另外，介绍使用API分析一条HQL中所包含的输入表和输出表。这些信息在做元数据管理和Hive表的血缘...
9年前 (2015-09-01) 49298℃
36喜欢
关键字：数据仓库、极限存储、历史拉链表、更新
在之前介绍过数据仓库中的历史拉链表《数据仓库数据模型之：极限存储–历史拉链表》，
使用这种方式即可以记录历史，而且最大程度的节省存储。这里简单介绍一下这种历史拉链表的更新方法。
本文中假设：
数据仓库中订单历史表的刷新频率为一天，当...
9年前 (2015-08-27) 89951℃
144喜欢
关键字：互联网、大数据、数据仓库、数据平台、架构
导读：
整体架构
数据采集
数据存储与分析
数据共享
数据应用
实时计算
任务调度与监控
元数据管理
总结
一直想整理一下这块内容，既然是漫谈，就想起什么说什么吧。我一直是在互联网行业，就以互联网行业来说。
先大概列一下互联网...
9年前 (2015-08-19) 80233℃
196喜欢
Spark On Yarn：提交Spark应用程序到Yarn
在Yarn上运行spark-shell和spark-sql命令行
SparkSQL On Yarn with Hive，操作和访问Hive表
持续更新中。。。
您可以关注 我的博客，或者 加入邮件列表...
9年前 (2015-08-19) 25558℃
16喜欢
关键字：SparkSQL on Yarn、SparkSQL Hive On Yarn
前面的文章介绍过如何向Yarn中提交Spark应用程序《Spark On Yarn：提交Spark应用程序到Yarn》,
以及在Yarn上运行spark-shell和spark-sql命令行《在...
9年前 (2015-08-19) 18710℃
15喜欢
关键字：Hive Orc、Java API 读写Hive OrcFile
接前面的文章 《Java API 读取Hive Orc文件》,本文中介绍使用Java API写Orc格式的文件。
下面的代码将三行数据：
张三,20
李四,22
王五,30
写入HDFS上的/tmp/lxw...
9年前 (2015-08-18) 23186℃
9喜欢
关键字：Hive Orc、Java API 读取Hive OrcFile
Orc是Hive特有的一种列式存储的文件格式，它有着非常高的压缩比和读取效率，因此很快取代了之前的RCFile，成为Hive中非常常用的一种文件格式。
在实际业务场景中，可能需要使用Java API，或者M...
9年前 (2015-08-18) 19889℃
16喜欢
关键字：ArrayList排序、HashMap排序、集合排序、升序、降序、key排序、value排序
最近在需求中经常需要对Java的集合，特别是Map根据key或者value进行升序降序排序，在这里整理记录一下，对java不熟，用于以后备查。
主要使用Collections提供...
9年前 (2015-08-18) 19370℃
4喜欢
