微信搜索bigdata029 | 邀请体验:数阅–数据管理、OLAP分析与可视化平台 | 订阅本站 | 赞助作者:赞助作者

 分类:大数据平台

异构数据源海量数据交换工具-Taobao DataX 下载和使用

异构数据源海量数据交换工具-Taobao DataX 下载和使用
DataX介绍 DataX是一个在异构的数据库/文件系统之间高速交换数据的工具,实现了在任意的数据处理系统(RDBMS/Hdfs/Local filesystem)之间的数据交换。 目前成熟的数据导入导出工具比较多,但是一般都只能用于数据导入或者导出,并且只能支持一个或者几个特定...

2年前 (2015-05-29) 23385℃ 39喜欢

2015年有关Hadoop的10个预测

2015年有关Hadoop的10个预测
计算及商业评论杂志给出了2015年Hadoop的10个预测。既包括了企业端的Hadoop(增长率,整合),也包括了技术整合,像Spark vs Hadoop和SQL for Hadoop。 这是你需要了解的2015年大数据分析工具的指南。 1. 市场份额增长至$2.2bn 根...

2年前 (2015-04-20) 1384℃ 1喜欢

大数据平台任务调度与监控系统

背景 大数据平台技术框架支持的开发语言多种多样,开发人员的背景差异也很大,这就产生出很多不同类型的程序(任务)运行在大数据平台之上,如:MapReduce、Hive、Pig、Spark、Java、Shell、Python等。 这些任务需要不同的运行环境,并且除了定时运行,各种类型...

2年前 (2015-04-17) 74802℃ 112喜欢

浅谈开源大数据平台的演变

浅谈开源大数据平台的演变
一说到开源大数据处理平台,就不得不说此领域的开山鼻祖Hadoop,它是GFS和MapReduce的开源实现。虽然在此之前有很多类似的分布式存储和计算平台,但真正能实现工业级应用、降低使用门槛、带动业界大规模部署的就是Hadoop。得益于MapReduce框架的易用性和容错性, 以...

2年前 (2015-04-17) 2475℃ 8喜欢