关键字:hiveserver2、ha、高可用、high availability、ZooKeeper Service Discovery
在生产环境中使用Hive,强烈建议使用HiveServer2来提供服务,好处很多:
1. 在应用端不用部署Hadoop和Hive客户端;
2....
9年前 (2016-05-27) 67141℃
73喜欢
Hive从1.1之后,支持使用Spark作为执行引擎,配置使用Spark On Yarn作为Hive的执行引擎,首先需要注意以下两个问题:
Hive的版本和Spark的版本要匹配;
具体来说,你使用的Hive版本编译时候用的哪个版本的Spark,那么就需要使用相同版本的Spark...
9年前 (2016-05-27) 43568℃
38喜欢
Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区。
下载Apache Kylin v1.5.2源代码及二进制安装包,
请访问下载页面(http://...
9年前 (2016-05-27) 8656℃
0喜欢
本文作者:李栋,来自Kyligence公司,也是Apache Kylin Committer & PMC member,在加入Kyligence之前曾就职于eBay、微软。
1.Apache Kylin是什么?
在现在的大数据时代,越来越多的企...
9年前 (2016-05-26) 31108℃
19喜欢
注:本文由王联辉在高可用架构群分享,本文转载自高可用架构「 ArchNotes 」
王联辉,曾在腾讯,Intel 等公司从事大数据相关的工作。2013 年 – 2016 年先后负责腾讯 Yarn 集群和 Spark 平台的运营与研发。曾负责 Intel Hadoop ...
9年前 (2016-05-20) 25124℃
23喜欢
本文转自:http://tech.meituan.com/spark-tuning-pro.html
感谢原作者
前言
继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优...
9年前 (2016-05-16) 19753℃
26喜欢
本文转自:http://tech.meituan.com/spark-tuning-pro.html
感谢原作者
前言
在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、 流式...
9年前 (2016-05-16) 18129℃
45喜欢
前面介绍了将Saiku和Kylin结合起来做OLAP多维分析,Saiku也支持多种其他数据源,如MySQL,JDBC等,本文介绍将Saiku和Hive结合起来使用的方法,并解决期间遇到的问题。
注:Saiku社区版(Saiku CE)的下载地址为:
http://communit...
9年前 (2016-05-13) 26815℃
26喜欢
Cube是一种典型的多维数据分析技术,一个Cube可以有多个事实表,多个维表构成。如果您还不了解这些概念,建议您搜索下数据仓库、OLAP、Cube、星型模型、事实表、维度表等等。比如一个简单例子,分析网站流量的Cube,包含一个事实表和四个维度表:
事实表可能有以下字段:
天、来...
9年前 (2016-05-12) 22598℃
28喜欢
资源列表:
关系数据库管理系统(RDBMS)
框架
分布式编程
分布式文件系统
文件数据模型
Key -Map 数据模型
键-值数据模型
图形数据模型
NewSQL数据库
列式数据库
时间序列数据库
类SQL处理
数据摄取
...
9年前 (2016-05-09) 19081℃
13喜欢
关于Kylin的介绍和使用请参考之前的文章
《分布式大数据多维分析(OLAP)引擎Apache Kylin安装配置及使用示例》
Kylin对外提供的是SQL查询接口,基于Kylin构建OLAP多维分析系统,第一种方案是针对业务,定制开发一个前端界面,将界面上用户的选择和操作,翻译...
9年前 (2016-05-03) 39073℃
22喜欢
内容已被屏蔽。。。。。。
Enjoy it!
您可以关注 lxw的大数据田地 ,或者 加入邮件列表 ,随时接收博客更新的通知邮件。
&nbs...
9年前 (2016-05-03) 15680℃
10喜欢
关键字:olap、Kylin
Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。
Kylin OLAP引擎基础框架,包括元...
9年前 (2016-04-27) 64807℃
84喜欢
1 . 校验密码强度
密码的强度必须是包含大小写字母和数字的组合,不能使用特殊字符,长度在8-10之间。
^(?=.*\\d)(?=.*[a-z])(?=.*[A-Z]).{8,10}$
2. 校验中文
字符串仅能是中文。
^[\\u4e00-\\u9fa5]{0,}$
...
9年前 (2016-04-26) 9462℃
9喜欢
根据Maneesh Varshney的漫画改编,以简洁易懂的漫画形式讲解HDFS存储机制与运行原理,非常适合Hadoop/HDFS初学者理解。
一、角色出演
如上图所示,HDFS存储相关角色与功能如下:
Client:客户端,系统使用者,调用HDFS API操作文件;与NN交...
9年前 (2016-04-22) 23667℃
97喜欢