之前介绍过的《一站式用户自助数据接入与分析平台》,经过4人/月的开发,现V1.0版本上线,供公司内部用户使用。
V1.0版本前端基于Caravel改造,查询模型数据使用的OLAP引擎有三种:Kylin、Hive+SparkSQL以及MySQL;
其中,对于事实表数据量非常小(<5万)的模型,直接保存在MySQL中,供前端分析查询使用;对于数据量中等(>5万,<100万)的模型,默认使用Hive+SparkSQL来查询分析;对于数据量较大(>100万)的模型,在Kylin中建立Cube,供前端分析查询使用;
设计该系统的主要目的一是为了使产品、运营、数据分析同事能快捷方便灵活的管理和分析自己的数据,而不用依赖开发资源;
二是为了减少数据开发人员的临时数据任务,做过数据开发的同学应该深有体会,很多时间都被临时取数给占掉了。
该系统目前核心功能如下:
1. 自助数据接入:目前支持文本(包括excel)数据接入和MySQL数据接入;
2. 自助建模:基于接入成功的数据,建立分析模型;该过程包括选择事实表、选择维度、选择指标、定义关联维度表等;
3. 自助分析:基于建立成功的模型,进行自助分析;该过程包括选择任意时间范围、选择任意维度与指标组合、自定义过滤条件等,对模型中的数据进行多维OLAP分析探索;
4. 自助报表:可以将自助分析的结果保存成一张报表,下次直接点击报表即可查看结果;
5. 自助仪表盘:可以将多个报表组合成一个仪表盘,在仪表盘中同时展示多张报表的结果;
该系统目前面向的内部用户有以下几类:
1. 产品、运营、数据分析人员:他们可以自助接入数据、自助建模、自助分析、自助报表、自助仪表盘;
2. 数据开发人员:他们将数据仓库中已有的数据建立好模型(事实表、维度表),供产品、运营、数据分析人员使用;
3. BOSS:不论是大小BOSS,他们到系统中只会看一下报表和仪表盘;
下面是录制的几个演示视频,每个视频大概1M~2M,请等待加载完成,如果看不清楚,请全屏播放:
1. 自助数据接入(文本文件):
示例中将一个保存了地域信息的文本文件接入到系统中;
2. 自助建立多表关联模型:
示例中通过将事实表和维度表进行关联,建立了一个分析模型;
3. 自助报表:
示例中将自助分析的结果定制保存成一张报表;
4. 自助仪表盘:
示例中将多个报表定制保存成一个仪表盘;
详询QQ.
如果觉得本博客对您有帮助,请 赞助作者 。
转载请注明:lxw的大数据田地 » 华扬数据自助分析系统V1.0