关于数据仓库的概念，这里不再累赘。先看下面的图（数据仓库建设的7个主要环节）：
本文，主要针对第三块数据仓库模型设计来讨论交流，尤其是互联网行业。
一、关于数据仓库数据模型
1. 数据仓库数据模型是指使用实体、属性及其关系对企业运营和逻辑规则进行统一的定义、编码和命名；是业务人...
6年前 (2018-01-11) 41642℃
162喜欢
一个公司的业务运营，不论规模大小，什么行业，都离不开数据的支撑。既然要数据，那么就得取数，谁来取数，怎么取？可能是一个销售人员在用Excel取，可能是一个DBA从生产数据库中查，也可能是一个数据开发人员写SQL或者写程序从数据仓库中取。
作为一个多年从事数据相关的开发者，深受“...
7年前 (2017-08-03) 32316℃
98喜欢
Kettle是一款国外开源的ETL以及简单的调度工具。
官网：http://www.pentaho.com/product/data-integration
之前Kettle在传统数据仓库中用的比较多，现在也集成了很多大数据相关的组件，比如：HDFS、MapReduce、HBas...
7年前 (2017-02-09) 30349℃
38喜欢
之前介绍过的《一站式用户自助数据接入与分析平台》，经过4人/月的开发，现V1.0版本上线，供公司内部用户使用。
V1.0版本前端基于Caravel改造，查询模型数据使用的OLAP引擎有三种：Kylin、Hive+SparkSQL以及MySQL；
其中，对于事实表数据量非常小（&l...
8年前 (2016-10-11) 22427℃
27喜欢
关键字：互联网、大数据、数据仓库、数据平台、架构
导读：
整体架构
数据采集
离线计算
实时计算
多维分析OLAP
机器学习
Ad-Hoc查询
数据可视化
上次写的《大数据环境下互联网行业数据仓库/数据平台的架构之漫谈》一文，已是一年前的事了，经过一年的沉淀与公司业务的发展，...
8年前 (2016-07-21) 28872℃
46喜欢
一站式用户自助数据接入与分析平台，也可以当做一个提供大数据分析服务的云平台，用户可以基于平台数据仓库中已有的事实表和维度表（有访问权限），自助建立分析模型，进行OLAP分析与可视化；也可以将自己的数据接入到平台，在已接入的数据上自助建立分析模型，进行OLAP分析与可视化。对于前者...
8年前 (2016-07-13) 21523℃
15喜欢
从「数据仓库」一词到现在的「大数据」，中间经历了太多的知识、架构模式的演进与变革。数据平台这25年究竟是怎样进化的？让InfoQ特约老司机为你讲解。
我是从2000年开始接触数据仓库，大约08年开始进入互联网行业。很多从传统企业数据平台转到互联网同学是否有感觉：非互联网企业、互联...
8年前 (2016-03-23) 15502℃
10喜欢
关键字：数据仓库、极限存储、历史拉链表、更新
在之前介绍过数据仓库中的历史拉链表《数据仓库数据模型之：极限存储–历史拉链表》，
使用这种方式即可以记录历史，而且最大程度的节省存储。这里简单介绍一下这种历史拉链表的更新方法。
本文中假设：
数据仓库中订单历史表的刷新频率为一天，当...
9年前 (2015-08-27) 87083℃
144喜欢
关键字：互联网、大数据、数据仓库、数据平台、架构
导读：
整体架构
数据采集
数据存储与分析
数据共享
数据应用
实时计算
任务调度与监控
元数据管理
总结
一直想整理一下这块内容，既然是漫谈，就想起什么说什么吧。我一直是在互联网行业，就以互联网行业来说。
先大概列一下互联网...
9年前 (2015-08-19) 78765℃
196喜欢
关联规则挖掘用于寻找给定数据集中项之间的有趣的关联或相关关系。
关联规则揭示了数据项间的未知的依赖关系，根据所挖掘的关联关系，可以从一个数据对象的信息来推断另一个数据对象的信息。
例如购物篮分析。牛奶 ⇒ 面包 [支持度：3%，置信度：40%]
支持度3%：意味3%顾客同时购买牛...
9年前 (2015-04-21) 12580℃
11喜欢
ETL，Extraction-Transformation-Loading的缩写，中文名称为数据抽取、转换和加载。
大多数据仓库的数据架构可以概括为：
数据源–>ODS(操作型数据存储)–>DW–>DM(dat...
9年前 (2015-04-17) 16906℃
63喜欢
在数据仓库的数据模型设计过程中，经常会遇到这样的需求：
数据量比较大;
2. 表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态等等;
3. 需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态，
比如，查看某一个用户...
9年前 (2015-04-17) 37474℃
72喜欢
