微信搜索bigdata029 | 邀请体验:数阅–数据管理、OLAP分析与可视化平台 | 订阅本站 | 赞助作者:赞助作者

 分类:大数据平台

华扬数据自助分析系统V1.0

华扬数据自助分析系统V1.0
之前介绍过的《一站式用户自助数据接入与分析平台》,经过4人/月的开发,现V1.0版本上线,供公司内部用户使用。 V1.0版本前端基于Caravel改造,查询模型数据使用的OLAP引擎有三种:Kylin、Hive+SparkSQL以及MySQL; 其中,对于事实表数据量非常小(&l...

1年前 (2016-10-11) 6084℃ 21喜欢

Python3环境下Caravel连接SparkSQL(ThriftServer)

Python3环境下Caravel连接SparkSQL(ThriftServer)
关键字:caravel、python3、hiveserver2、sparksql、spark thrift server、impyla 之前在Caravel中想通过pyhive连接Spark Thrift Server做查询分析,发现pyhive不支持python3。 这两天找到...

1年前 (2016-09-29) 5710℃ 2喜欢

AdMaster 如何驾驭百亿级Key实时Redis 集群

AdMaster 如何驾驭百亿级Key实时Redis 集群
注:本文转载自公众号AdMaster   作为技术驱动的营销数据公司,AdMaster每天处理超过100亿的数据请求,每天对1000亿数据进行上千种维度计算,每天增加超过5T数据量,为来自各行业的客户提供7*24小时数据应用服务。在这样领先的技术布局下,无论是数据实时...

1年前 (2016-09-06) 2336℃ 5喜欢

大数据环境下互联网行业数据仓库/数据平台的架构之漫谈-续

大数据环境下互联网行业数据仓库/数据平台的架构之漫谈-续
关键字:互联网、大数据、数据仓库、数据平台、架构 导读: 整体架构 数据采集 离线计算 实时计算 多维分析OLAP 机器学习 Ad-Hoc查询 数据可视化 上次写的《大数据环境下互联网行业数据仓库/数据平台的架构之漫谈》一文,已是一年前的事了,经过一年的沉淀与公司业务的发展,...

1年前 (2016-07-21) 7564℃ 23喜欢

一站式用户自助数据接入与分析平台

一站式用户自助数据接入与分析平台
一站式用户自助数据接入与分析平台,也可以当做一个提供大数据分析服务的云平台,用户可以基于平台数据仓库中已有的事实表和维度表(有访问权限),自助建立分析模型,进行OLAP分析与可视化;也可以将自己的数据接入到平台,在已接入的数据上自助建立分析模型,进行OLAP分析与可视化。对于前者...

1年前 (2016-07-13) 5438℃ 8喜欢

开源数据可视化工具(For Apache Kylin)使用说明

开源数据可视化工具(For Apache Kylin)使用说明
Apache Kylin,很好的解决了海量数据OLAP的底层存储与分析引擎,但还缺一个数据可视化工具,可以使用户非常方便的通过图形化分析探索海量数据,而不用写SQL。于是我们发现了Caravel。 原生的Caravel并不支持Kylin,也不支持多表关联,经过好友Rocky和我的...

1年前 (2016-06-20) 25746℃ 35喜欢

Saiku结合Hive做大数据多维数据分析

Saiku结合Hive做大数据多维数据分析
前面介绍了将Saiku和Kylin结合起来做OLAP多维分析,Saiku也支持多种其他数据源,如MySQL,JDBC等,本文介绍将Saiku和Hive结合起来使用的方法,并解决期间遇到的问题。 注:Saiku社区版(Saiku CE)的下载地址为: http://communit...

1年前 (2016-05-13) 7451℃ 12喜欢

最全的“大数据”学习资源

最全的“大数据”学习资源
资源列表:   关系数据库管理系统(RDBMS)   框架   分布式编程   分布式文件系统   文件数据模型   Key -Map 数据模型   键-值数据模型   图形数据模型   NewSQL数据库   列式数据库   时间序列数据库   类SQL处理   数据摄取  ...

1年前 (2016-05-09) 5806℃ 8喜欢

使用Saiku+Kylin构建多维分析OLAP平台

使用Saiku+Kylin构建多维分析OLAP平台
关于Kylin的介绍和使用请参考之前的文章 《分布式大数据多维分析(OLAP)引擎Apache Kylin安装配置及使用示例》 Kylin对外提供的是SQL查询接口,基于Kylin构建OLAP多维分析系统,第一种方案是针对业务,定制开发一个前端界面,将界面上用户的选择和操作,翻译...

1年前 (2016-05-03) 11476℃ 15喜欢

数据分析及制作工具

数据分析及制作工具
微信大数据分析工具 新媒体指数:http://www.gsdata.cn 数据可视化工具 百度ECharts:http://echarts.baidu.com/ Cytoscape:http://www.cytoscape.org/ 图表秀:http://www.tubiaox...

2年前 (2016-04-22) 2271℃ 0喜欢

从数据仓库到大数据,数据平台这25年是怎样进化的?

从数据仓库到大数据,数据平台这25年是怎样进化的?
从「数据仓库」一词到现在的「大数据」,中间经历了太多的知识、架构模式的演进与变革。数据平台这25年究竟是怎样进化的?让InfoQ特约老司机为你讲解。 我是从2000年开始接触数据仓库,大约08年开始进入互联网行业。很多从传统企业数据平台转到互联网同学是否有感觉:非互联网企业、互联...

2年前 (2016-03-23) 3905℃ 5喜欢

一个母婴电子商务网站贝贝网的大数据平台及机器学习实践

一个母婴电子商务网站贝贝网的大数据平台及机器学习实践
关键字:大数据平台、机器学习 贝贝网的主要产品是垂直的母婴类,母婴相对一般的电子商务网站有一些特点:第一个特点是商品周期短,在母婴网站上的商品,在线的时间不会超过5-7天,第二个是用户需求的变化快,在母婴行业,可能是用户的需求变化最快的领域,比如是用户处在怀孕当中,关心的是孕妈的...

2年前 (2016-02-16) 8655℃ 29喜欢