关键字:互联网、大数据、数据仓库、数据平台、架构
导读:
整体架构
数据采集
数据存储与分析
数据共享
数据应用
实时计算
任务调度与监控
元数据管理
总结
一直想整理一下这块内容,既然是漫谈,就想起什么说什么吧。我一直是在互联网行业,就以互联网行业来说。
先大概列一下互联网...
8年前 (2015-08-19) 75155℃
195喜欢
关键字:用户画像、标签
从1991年Tim Berners-Lee发明了万维网(World Wide Web)开始,到20年后2011年,互联网真正走向了一个新的里程碑,进入了“大数据时代”。经历了12、13两年热炒之后,人们逐渐冷静下来,更加聚焦于如何利用大数据挖 掘潜在的商业...
8年前 (2015-07-23) 11037℃
15喜欢
DataX介绍
DataX是一个在异构的数据库/文件系统之间高速交换数据的工具,实现了在任意的数据处理系统(RDBMS/Hdfs/Local filesystem)之间的数据交换。
目前成熟的数据导入导出工具比较多,但是一般都只能用于数据导入或者导出,并且只能支持一个或者几个特定...
8年前 (2015-05-29) 87048℃
109喜欢
京东技术开放日-京东大数据平台技术架构与应用视频、PPT下载
京东大数据基础架构和实践-王彦明
京东大数据基础架构和实践
链接: https://pan.baidu.com/s/1o9RlM0y
密码: ibkd
京东大数据分析与创新应用-邢志峰
京东大数据分析与...
8年前 (2015-05-28) 13773℃
20喜欢
计算及商业评论杂志给出了2015年Hadoop的10个预测。既包括了企业端的Hadoop(增长率,整合),也包括了技术整合,像Spark vs Hadoop和SQL for Hadoop。
这是你需要了解的2015年大数据分析工具的指南。
1. 市场份额增长至$2.2bn
根...
8年前 (2015-04-20) 4481℃
1喜欢
背景
大数据平台技术框架支持的开发语言多种多样,开发人员的背景差异也很大,这就产生出很多不同类型的程序(任务)运行在大数据平台之上,如:MapReduce、Hive、Pig、Spark、Java、Shell、Python等。
这些任务需要不同的运行环境,并且除了定时运行,各种类型...
8年前 (2015-04-17) 498612℃
689喜欢
一说到开源大数据处理平台,就不得不说此领域的开山鼻祖Hadoop,它是GFS和MapReduce的开源实现。虽然在此之前有很多类似的分布式存储和计算平台,但真正能实现工业级应用、降低使用门槛、带动业界大规模部署的就是Hadoop。得益于MapReduce框架的易用性和容错性, 以...
8年前 (2015-04-17) 8004℃
14喜欢