微信搜索lxw1234bigdata | 邀请体验:数阅–数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

华扬数据自助分析系统V1.0

大数据平台 lxw1234@qq.com 23776℃ 12评论

之前介绍过的《一站式用户自助数据接入与分析平台》,经过4人/月的开发,现V1.0版本上线,供公司内部用户使用。

V1.0版本前端基于Caravel改造,查询模型数据使用的OLAP引擎有三种:Kylin、Hive+SparkSQL以及MySQL;

其中,对于事实表数据量非常小(<5万)的模型,直接保存在MySQL中,供前端分析查询使用;对于数据量中等(>5万,<100万)的模型,默认使用Hive+SparkSQL来查询分析;对于数据量较大(>100万)的模型,在Kylin中建立Cube,供前端分析查询使用;

 

设计该系统的主要目的一是为了使产品、运营、数据分析同事能快捷方便灵活的管理和分析自己的数据,而不用依赖开发资源;

二是为了减少数据开发人员的临时数据任务,做过数据开发的同学应该深有体会,很多时间都被临时取数给占掉了。

lxw1234

该系统目前核心功能如下:

1. 自助数据接入:目前支持文本(包括excel)数据接入和MySQL数据接入;

2. 自助建模:基于接入成功的数据,建立分析模型;该过程包括选择事实表、选择维度、选择指标、定义关联维度表等;

3. 自助分析:基于建立成功的模型,进行自助分析;该过程包括选择任意时间范围、选择任意维度与指标组合、自定义过滤条件等,对模型中的数据进行多维OLAP分析探索;

4. 自助报表:可以将自助分析的结果保存成一张报表,下次直接点击报表即可查看结果;

5. 自助仪表盘:可以将多个报表组合成一个仪表盘,在仪表盘中同时展示多张报表的结果;

lxw1234

 

该系统目前面向的内部用户有以下几类:

1. 产品、运营、数据分析人员:他们可以自助接入数据、自助建模、自助分析、自助报表、自助仪表盘;

2. 数据开发人员:他们将数据仓库中已有的数据建立好模型(事实表、维度表),供产品、运营、数据分析人员使用;

3. BOSS:不论是大小BOSS,他们到系统中只会看一下报表和仪表盘;

 

下面是录制的几个演示视频,每个视频大概1M~2M,请等待加载完成,如果看不清楚,请全屏播放:

1. 自助数据接入(文本文件):

示例中将一个保存了地域信息的文本文件接入到系统中;

点此查看自助数据接入演示视频

2. 自助建立多表关联模型:

示例中通过将事实表和维度表进行关联,建立了一个分析模型;

点此查看自助建模演示视频

3. 自助报表:

示例中将自助分析的结果定制保存成一张报表;

点此查看自助报表演示视频

4. 自助仪表盘:

示例中将多个报表定制保存成一个仪表盘;

点此查看自助仪表盘演示视频

 


详询QQ.

 

如果觉得本博客对您有帮助,请 赞助作者

转载请注明:lxw的大数据田地 » 华扬数据自助分析系统V1.0

喜欢 (27)
分享 (0)
发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
(12)个小伙伴在吐槽
  1. 赞!
    云开_sky2016-10-11 15:30 回复
  2. 视频不是特别清楚,没声音 :twisted: caravel是修改过汉化后的
    云开2016-10-11 15:42 回复
    • 推荐使用chrome浏览器, 看不清楚请全屏,或者视频下载下来。 我这里很清楚。
      lxw1234@qq.com2016-10-11 15:45 回复
  3. 赞,我最近也在研究caravel,但是遇到很多问题,比如怎么汉化?图形上的时间轴为啥错位一天?显示比时间表里的少一天?想请教下.
    wo80002016-10-11 19:19 回复
    • Caravel0.9.1自带了中文语言包,可以修改;还有一些是在页面,js,css中汉化的; 时间差一天的问题,在数据表中设置时间偏移8(小时),即可正常显示。
      lxw1234@qq.com2016-10-11 21:29 回复
      • 自带语言包怎么使用?我看到配置文件里有这一项,但是我把默认换成zh,没有起到作用呢?具体还要做什么操作?还要哪步骤要做呢?望回复,谢谢!LANGUAGES = { 'en': {'flag': 'us', 'name': 'English'}, # 'fr': {'flag': 'fr', 'name': 'French'}, # 'zh': {'flag': 'cn', 'name': 'Chinese'}, }
        wo80002016-10-12 20:19 回复
      • 你好,晓文, # Setup default language BABEL_DEFAULT_LOCALE = 'en' # Your application default translation path BABEL_DEFAULT_FOLDER = 'babel/translations' # The allowed translation for you app LANGUAGES = { 'en': {'flag': 'us', 'name': 'English'}, # 'fr': {'flag': 'fr', 'name': 'French'}, # 'zh': {'flag': 'cn', 'name': 'Chinese'}, } 请问汉化是不是在这里配置?BABEL_DEFAULT_FOLDER 是不是配置这个地方就可以了?这个路径是指向哪里?
        wo80002016-10-13 16:42 回复
        • 后面的 # 'zh': {'flag': 'cn', 'name': 'Chinese'}注释掉了,需要同步打开。
          桃花籽2016-11-04 17:00 回复
  4. 方便的话加我微信,liuxh8888,谢谢!
    wo80002016-10-11 19:58 回复
    • 网站上可以找到我的QQ.
      lxw1234@qq.com2016-10-11 21:19 回复
  5. Caravel0.9.1自带了中文语言包 ? 能否告诉一下是哪个文件 ,怎么修改?谢谢,找了一下午都没找到。
    桃桃盼盼2016-10-12 17:16 回复
  6. 赶紧开源吧,哥哥
    jerry2016-12-27 21:37 回复