本文转载自公众号 DBAplus社群 , 作者:谢麟炯
谢麟炯,唯品会大数据平台高级技术架构经理,主要负责大数据自助多维分析平台,离线数据开发平台及分析引擎团队的开发和管理工作,加入唯品会以来还曾负责流量基础数据的采集和数据仓库建设以及移动流量分析等数据产品的工作。
海量数据实...
7年前 (2017-07-17) 38063℃
92喜欢
之前介绍过的《一站式用户自助数据接入与分析平台》,经过4人/月的开发,现V1.0版本上线,供公司内部用户使用。
V1.0版本前端基于Caravel改造,查询模型数据使用的OLAP引擎有三种:Kylin、Hive+SparkSQL以及MySQL;
其中,对于事实表数据量非常小(&l...
8年前 (2016-10-11) 23761℃
27喜欢
关键字:caravel、python3、hiveserver2、sparksql、spark thrift server、impyla
之前在Caravel中想通过pyhive连接Spark Thrift Server做查询分析,发现pyhive不支持python3。
这两天找到...
8年前 (2016-09-29) 24840℃
8喜欢
上篇文章《在Apache Kylin中使用Count Distinct》中介绍了Apache Kylin中Count Distinct的实现,如果业务中能接受1.22%的误差,那么肯定首选近似算法,因为它能节省很多资源和时间。如果业务中必须使用精确去重,那么就看看本文的例子(针对...
8年前 (2016-08-26) 20640℃
23喜欢
Apache Kylin,很好的解决了海量数据OLAP的底层存储与分析引擎,但还缺一个数据可视化工具,可以使用户非常方便的通过图形化分析探索海量数据,而不用写SQL。于是我们发现了Caravel。
原生的Caravel并不支持Kylin,也不支持多表关联,经过好友Rocky和我的...
9年前 (2016-06-20) 177579℃
80喜欢
关键字:caravel、olap、kylin、数据可视化
经过我和好友Rocky一段时间的修改和调试,现已将初版的Caravel For Kylin上传至Github,供大家使用,如有发现任何的问题,可通过本博客或github联系我们。
GitHub地址:
https://git...
9年前 (2016-06-13) 28776℃
11喜欢
关键字:kylin、streaming table
Kylin从1.5版本开始,引入了Streaming Table,目的是为了减低OLAP分析的延时(比如Druid、ElasticSearch都支持实时数据流)。
Streaming Table周期性的从Kafka中读取数据,根...
9年前 (2016-06-13) 22566℃
13喜欢
关键词:caravel、olap、kylin、数据可视化
Caravel(曾用名Panoramix),是由知名在线房屋短租公司Airbnb开源的一款数据探索与可视化工具,该工具在可视化、易用性和交互性上非常有特色,用户可以轻松对数据进行可视化分析。官网地址为: http://ai...
9年前 (2016-06-06) 67849℃
92喜欢
本文作者:李栋,来自Kyligence公司,也是Apache Kylin Committer & PMC member,在加入Kyligence之前曾就职于eBay、微软。
1.Apache Kylin是什么?
在现在的大数据时代,越来越多的企...
9年前 (2016-05-26) 31102℃
19喜欢
前面介绍了将Saiku和Kylin结合起来做OLAP多维分析,Saiku也支持多种其他数据源,如MySQL,JDBC等,本文介绍将Saiku和Hive结合起来使用的方法,并解决期间遇到的问题。
注:Saiku社区版(Saiku CE)的下载地址为:
http://communit...
9年前 (2016-05-13) 26798℃
26喜欢
Cube是一种典型的多维数据分析技术,一个Cube可以有多个事实表,多个维表构成。如果您还不了解这些概念,建议您搜索下数据仓库、OLAP、Cube、星型模型、事实表、维度表等等。比如一个简单例子,分析网站流量的Cube,包含一个事实表和四个维度表:
事实表可能有以下字段:
天、来...
9年前 (2016-05-12) 22594℃
28喜欢
关于Kylin的介绍和使用请参考之前的文章
《分布式大数据多维分析(OLAP)引擎Apache Kylin安装配置及使用示例》
Kylin对外提供的是SQL查询接口,基于Kylin构建OLAP多维分析系统,第一种方案是针对业务,定制开发一个前端界面,将界面上用户的选择和操作,翻译...
9年前 (2016-05-03) 39060℃
22喜欢
关键字:olap、Kylin
Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。
Kylin OLAP引擎基础框架,包括元...
9年前 (2016-04-27) 64776℃
84喜欢