微信搜索bigdata029 | 邀请体验:数阅–数据管理、OLAP分析与可视化平台 | 订阅本站 | 赞助作者:赞助作者

 分类:大数据平台

海量数据实时OLAP分析系统-Druid.io安装配置和体验

海量数据实时OLAP分析系统-Druid.io安装配置和体验
关键字:druid、druid.io、实时olap、大数据实时分析 导读: 一、Druid简介 二、Druid架构组成及相关依赖 三、Druid集群配置 四、Druid集群启动 五、Druid查询 六、后记 一、Druid简介 Druid是一个为大型冷数据集上实时探索查询而设计的...

2年前 (2015-11-17) 16247℃ 20喜欢

60款顶级大数据开源工具

60款顶级大数据开源工具
关键字:大数据、开源 一、Hadoop相关工具 1. Hadoop Apache的Hadoop项目已几乎与大数据划上了等号。它不断壮大起来,已成为一个完整的生态系统,众多开源工具面向高度扩展的分布式计算。 支持的操作系统:Windows、Linux和OS X。 相关链接:http...

2年前 (2015-10-23) 4302℃ 5喜欢

Flume中的TaildirSource

Flume中的TaildirSource
关键字:Flume、TaildirSource、TailFile、Source 在通过Flume收集日志的业务场景中,一般都会遇到下面的情况,在日志收集服务器的某个目录下,会按照一段时间生成一个日志文件,并且日志会不断的追加到这个文件中,比如,每小时一个命名规则为log_2015...

2年前 (2015-10-15) 8004℃ 4喜欢

大数据环境下互联网行业数据仓库/数据平台的架构之漫谈

大数据环境下互联网行业数据仓库/数据平台的架构之漫谈
关键字:互联网、大数据、数据仓库、数据平台、架构 导读: 整体架构 数据采集 数据存储与分析 数据共享 数据应用 实时计算 任务调度与监控 元数据管理 总结 一直想整理一下这块内容,既然是漫谈,就想起什么说什么吧。我一直是在互联网行业,就以互联网行业来说。 先大概列一下互联网...

2年前 (2015-08-19) 24825℃ 82喜欢

如何构建用户画像

如何构建用户画像
关键字:用户画像、标签 从1991年Tim Berners-Lee发明了万维网(World Wide Web)开始,到20年后2011年,互联网真正走向了一个新的里程碑,进入了“大数据时代”。经历了12、13两年热炒之后,人们逐渐冷静下来,更加聚焦于如何利用大数据挖 掘潜在的商业...

2年前 (2015-07-23) 4060℃ 10喜欢

异构数据源海量数据交换工具-Taobao DataX 下载和使用

异构数据源海量数据交换工具-Taobao DataX 下载和使用
DataX介绍 DataX是一个在异构的数据库/文件系统之间高速交换数据的工具,实现了在任意的数据处理系统(RDBMS/Hdfs/Local filesystem)之间的数据交换。 目前成熟的数据导入导出工具比较多,但是一般都只能用于数据导入或者导出,并且只能支持一个或者几个特定...

2年前 (2015-05-29) 31836℃ 53喜欢

2015年有关Hadoop的10个预测

2015年有关Hadoop的10个预测
计算及商业评论杂志给出了2015年Hadoop的10个预测。既包括了企业端的Hadoop(增长率,整合),也包括了技术整合,像Spark vs Hadoop和SQL for Hadoop。 这是你需要了解的2015年大数据分析工具的指南。 1. 市场份额增长至$2.2bn 根...

2年前 (2015-04-20) 1691℃ 1喜欢

大数据平台任务调度与监控系统

背景 大数据平台技术框架支持的开发语言多种多样,开发人员的背景差异也很大,这就产生出很多不同类型的程序(任务)运行在大数据平台之上,如:MapReduce、Hive、Pig、Spark、Java、Shell、Python等。 这些任务需要不同的运行环境,并且除了定时运行,各种类型...

2年前 (2015-04-17) 108048℃ 144喜欢

浅谈开源大数据平台的演变

浅谈开源大数据平台的演变
一说到开源大数据处理平台,就不得不说此领域的开山鼻祖Hadoop,它是GFS和MapReduce的开源实现。虽然在此之前有很多类似的分布式存储和计算平台,但真正能实现工业级应用、降低使用门槛、带动业界大规模部署的就是Hadoop。得益于MapReduce框架的易用性和容错性, 以...

2年前 (2015-04-17) 3132℃ 9喜欢