微信搜索bigdata029 | 邀请体验:数阅–数据管理、OLAP分析与可视化平台 | 订阅本站 | 赞助作者:赞助作者

lxw1234@qq.com的文章

Hive

Hive2.0中HiveServer2的WEB UI界面

Hive2.0中HiveServer2的WEB UI界面
Hive从2.0版本开始,为HiveServer2提供了一个简单的WEB UI界面,界面中可以直观的看到当前链接的会话、历史日志、配置参数以及度量信息。 https://cwiki.apache.org/confluence/display/Hive/Setting+Up+Hiv...

1年前 (2016-06-01) 5257℃ 6喜欢

Hive

Hive中使用ORC遇到的protobuf版本问题

Hive中使用ORC遇到的protobuf版本问题
Hive从0.11版本开始提供了ORC的文件格式,ORC文件不仅仅是一种列式文件存储格式,最重要的是有着很高的压缩比,并且对于MapReduce 来说是可切分(Split)的。因此,在Hive中使用ORC作为表的文件存储格式,不仅可以很大程度的节省HDFS存储资源,而且对数据的查...

1年前 (2016-05-30) 2395℃ 1喜欢

Hive

HiveServer2的高可用-HA配置

HiveServer2的高可用-HA配置
关键字:hiveserver2、ha、高可用、high availability、ZooKeeper Service Discovery 在生产环境中使用Hive,强烈建议使用HiveServer2来提供服务,好处很多: 1. 在应用端不用部署Hadoop和Hive客户端; 2....

1年前 (2016-05-27) 7228℃ 9喜欢

Hive

Hive使用Spark on Yarn作为执行引擎

Hive使用Spark on Yarn作为执行引擎
Hive从1.1之后,支持使用Spark作为执行引擎,配置使用Spark On Yarn作为Hive的执行引擎,首先需要注意以下两个问题: Hive的版本和Spark的版本要匹配; 具体来说,你使用的Hive版本编译时候用的哪个版本的Spark,那么就需要使用相同版本的Spark...

1年前 (2016-05-27) 6068℃ 12喜欢

Kylin

Apache Kylin v1.5.2 发布日志

Apache Kylin v1.5.2 发布日志
Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区。 下载Apache Kylin v1.5.2源代码及二进制安装包, 请访问下载页面(http://...

1年前 (2016-05-27) 2200℃ 0喜欢

Spark

Spark的RDD原理以及2.0特性的介绍

Spark的RDD原理以及2.0特性的介绍
注:本文由王联辉在高可用架构群分享,本文转载自高可用架构「 ArchNotes 」 王联辉,曾在腾讯,Intel 等公司从事大数据相关的工作。2013 年 – 2016 年先后负责腾讯 Yarn 集群和 Spark 平台的运营与研发。曾负责 Intel Hadoop ...

1年前 (2016-05-20) 6146℃ 9喜欢

Spark

Spark性能优化指南——高级篇

Spark性能优化指南——高级篇
本文转自:http://tech.meituan.com/spark-tuning-pro.html 感谢原作者 前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优...

1年前 (2016-05-16) 5089℃ 11喜欢

Spark

Spark性能优化指南——基础篇

Spark性能优化指南——基础篇
本文转自:http://tech.meituan.com/spark-tuning-pro.html 感谢原作者   前言 在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、 流式...

1年前 (2016-05-16) 4789℃ 22喜欢

Hive

Saiku结合Hive做大数据多维数据分析

Saiku结合Hive做大数据多维数据分析
前面介绍了将Saiku和Kylin结合起来做OLAP多维分析,Saiku也支持多种其他数据源,如MySQL,JDBC等,本文介绍将Saiku和Hive结合起来使用的方法,并解决期间遇到的问题。 注:Saiku社区版(Saiku CE)的下载地址为: http://communit...

1年前 (2016-05-13) 6595℃ 12喜欢

Kylin

Apache Kylin原理学习之Cube的创建与Build

Apache Kylin原理学习之Cube的创建与Build
Cube是一种典型的多维数据分析技术,一个Cube可以有多个事实表,多个维表构成。如果您还不了解这些概念,建议您搜索下数据仓库、OLAP、Cube、星型模型、事实表、维度表等等。比如一个简单例子,分析网站流量的Cube,包含一个事实表和四个维度表: 事实表可能有以下字段: 天、来...

1年前 (2016-05-12) 5658℃ 13喜欢

大数据平台

最全的“大数据”学习资源

最全的“大数据”学习资源
资源列表:   关系数据库管理系统(RDBMS)   框架   分布式编程   分布式文件系统   文件数据模型   Key -Map 数据模型   键-值数据模型   图形数据模型   NewSQL数据库   列式数据库   时间序列数据库   类SQL处理   数据摄取  ...

1年前 (2016-05-09) 5316℃ 8喜欢

Kylin

使用Saiku+Kylin构建多维分析OLAP平台

使用Saiku+Kylin构建多维分析OLAP平台
关于Kylin的介绍和使用请参考之前的文章 《分布式大数据多维分析(OLAP)引擎Apache Kylin安装配置及使用示例》 Kylin对外提供的是SQL查询接口,基于Kylin构建OLAP多维分析系统,第一种方案是针对业务,定制开发一个前端界面,将界面上用户的选择和操作,翻译...

1年前 (2016-05-03) 10491℃ 12喜欢

其他

内容已被屏蔽

内容已被屏蔽
内容已被屏蔽。。。。。。       Enjoy it! 您可以关注 lxw的大数据田地 ,或者 加入邮件列表 ,随时接收博客更新的通知邮件。             &nbs...

1年前 (2016-05-03) 4240℃ 7喜欢