微信搜索lxw1234bigdata | 邀请体验：数阅–数据管理、OLAP分析与可视化平台 | 赞助作者：赞助作者

热门排行

Hive

Hive存储过程HQL/SQL（一）–hplsql命令行

Hive存储过程HQL/SQL（一）–hplsql命令行
关键字：Hive存储过程、HQL/SQL、hplsql命令行、PL/HQL Command Line PL/HQL主要是通过命令行工具来执行一个SQL查询语句或者是一个SQL脚本。 进入hplsql-0.3.11，执行./ hplsql即可显示命令行的用法： [liuxiaowe...

9年前 (2015-09-17) 35501℃ 20喜欢

Hive

Hive存储过程系列文章

Hive存储过程系列文章
在Hive中实现存储过程–HQL/SQL Hive中创建和调用存储过程及自定义函数 Hive存储过程HQL/SQL（一）–hplsql命令行 Hive存储过程HQL/SQL（二）– 在Hive存储过程中读写MySQL表     持续更新中。。。 您可以关...

9年前 (2015-09-16) 37425℃ 30喜欢

Hive

Hive中创建和调用存储过程及自定义函数

Hive中创建和调用存储过程及自定义函数
关键字：Hive 存储过程 前面的文章《在Hive中实现存储过程–HQL/SQL》中介绍了如何使用HPL/SQL在Hive中实现存储过程，执行类似Oracle PL/SQL的功能。 一般的业务场景是数据开发人员开发好一个存储过程，然后周期性的调用，传入不同的参数即可。 本文继续介...

9年前 (2015-09-16) 31733℃ 25喜欢

Hive

在Hive中实现存储过程–HQL/SQL

在Hive中实现存储过程–HQL/SQL
关键字：Hive 存储过程、PL/HQL、HQL/SQL、Procedural SQL on Hadoop 目前版本的Hive中没有提供类似存储过程的功能，使用Hive做数据开发时候，一般是将一段一段的HQL语句封装在Shell或者其他脚本中，然后以命令行的方式调用，完成一个业务...

9年前 (2015-09-16) 34703℃ 22喜欢

Hive

Hive中如何快速的复制一张分区表（包括数据）

Hive中如何快速的复制一张分区表（包括数据）
关键字：Hive 复制表 Hive中有时候会遇到复制表的需求，复制表指的是复制表结构和数据。 如果是针对非分区表，那很简单，可以使用CREATE TABLE new_table AS SELECT * FROM old_table; 那么如果是分区表呢？ 首先想到的办法可能是： ...

9年前 (2015-09-11) 36135℃ 47喜欢

Hadoop

合并HDFS和本地文件系统中的小文件

合并HDFS和本地文件系统中的小文件
关键字：hadoop hdfs 小文件、appendToFile、getmerge 众所周知，HDFS中过多的小文件，会给NameNode造成很大的压力，所谓的小文件，是指远远小于文件块大小的文件。 在使用HDFS的过程中，应尽量避免生成过多的小文件。 本文以TextFile为例...

9年前 (2015-09-10) 28125℃ 13喜欢

Spark

Spark1.5发布

Spark1.5发布
Apache Spark社区刚刚发布了1.5版本，大家一定想知道这个版本的主要变化，这篇文章告诉你答案。 DataFrame执行后端优化（Tungsten第一阶段） DataFrame可以说是整个Spark项目最核心的部分，在1.5这个开发周期内最大的变化就是Tungsten项目...

9年前 (2015-09-10) 6864℃ 3喜欢

数据仓库/数据库

数据仓库中历史拉链表的更新方法

数据仓库中历史拉链表的更新方法
关键字：数据仓库、极限存储、历史拉链表、更新 在之前介绍过数据仓库中的历史拉链表《数据仓库数据模型之：极限存储–历史拉链表》， 使用这种方式即可以记录历史，而且最大程度的节省存储。这里简单介绍一下这种历史拉链表的更新方法。 本文中假设： 数据仓库中订单历史表的刷新频率为一天，当...

9年前 (2015-08-27) 86992℃ 144喜欢

大数据平台

大数据环境下互联网行业数据仓库/数据平台的架构之漫谈

大数据环境下互联网行业数据仓库/数据平台的架构之漫谈
关键字：互联网、大数据、数据仓库、数据平台、架构 导读： 整体架构 数据采集 数据存储与分析 数据共享 数据应用 实时计算 任务调度与监控 元数据管理 总结 一直想整理一下这块内容，既然是漫谈，就想起什么说什么吧。我一直是在互联网行业，就以互联网行业来说。 先大概列一下互联网...

9年前 (2015-08-19) 78701℃ 196喜欢

Spark

Spark On Yarn系列文章

Spark On Yarn系列文章
Spark On Yarn：提交Spark应用程序到Yarn 在Yarn上运行spark-shell和spark-sql命令行 SparkSQL On Yarn with Hive，操作和访问Hive表   持续更新中。。。 您可以关注 我的博客，或者 加入邮件列表...

9年前 (2015-08-19) 24520℃ 16喜欢

Spark

SparkSQL On Yarn with Hive，操作和访问Hive表

SparkSQL On Yarn with Hive，操作和访问Hive表
关键字：SparkSQL on Yarn、SparkSQL Hive On Yarn 前面的文章介绍过如何向Yarn中提交Spark应用程序《Spark On Yarn：提交Spark应用程序到Yarn》, 以及在Yarn上运行spark-shell和spark-sql命令行《在...

9年前 (2015-08-19) 18030℃ 15喜欢

Hadoop

Java API 写 Hive Orc文件

Java API 写 Hive Orc文件
关键字：Hive Orc、Java API 读写Hive OrcFile 接前面的文章 《Java API 读取Hive Orc文件》,本文中介绍使用Java API写Orc格式的文件。 下面的代码将三行数据： 张三,20 李四,22 王五,30 写入HDFS上的/tmp/lxw...

9年前 (2015-08-18) 22335℃ 9喜欢

Hadoop

Java API 读取Hive Orc文件

Java API 读取Hive Orc文件
关键字：Hive Orc、Java API 读取Hive OrcFile Orc是Hive特有的一种列式存储的文件格式，它有着非常高的压缩比和读取效率，因此很快取代了之前的RCFile，成为Hive中非常常用的一种文件格式。 在实际业务场景中，可能需要使用Java API，或者M...

9年前 (2015-08-18) 19194℃ 16喜欢

编程语言

Java中ArrayList和HashMap的排序

Java中ArrayList和HashMap的排序
关键字：ArrayList排序、HashMap排序、集合排序、升序、降序、key排序、value排序 最近在需求中经常需要对Java的集合，特别是Map根据key或者value进行升序降序排序，在这里整理记录一下，对java不熟，用于以后备查。 主要使用Collections提供...

9年前 (2015-08-18) 18993℃ 4喜欢