微信搜索lxw1234bigdata | 邀请体验：数阅–数据管理、OLAP分析与可视化平台 | 赞助作者：赞助作者

热门排行

Spark

Spark1.3.1安装配置运行

Spark1.3.1安装配置运行
本文基于Spark1.3.1，介绍一下Spark基于hadoop-2.3.0-cdh5.0.0的安装配置和简单使用。 我是在一台机器上完成了Spark的部署，其实也是集群，只不过Master和Slave都在一台机器上。如果是多台机器的集群部署，步骤完全一样，只不过多些Slave而...

10年前 (2015-06-05) 10186℃ 4喜欢

其他

有用的网址收藏

有用的网址收藏
Apache的历史归档地址，非常有用，里面包含了Hadoop的所有历史版本，Hive的历史版本，HBase的历史版本下载。 http://archive.apache.org/dist/ CentOS软件包： http://vault.centos.org 如果觉得本博客对您有帮...

10年前 (2015-06-05) 6801℃ 4喜欢

Hive

[一起学Hive]之四-Hive的安装配置

[一起学Hive]之四-Hive的安装配置
其实Hive的安装配置应该放在第二章来介绍，晚了些，希望对Hive初学者有用。 三、Hive的安装配置 3.1 环境需求 Hadoop Client Mysql 3.2 下载并解压Hive0.13.1安装包 下载地址：http://archive.apache.org/dis...

10年前 (2015-06-05) 20733℃ 24喜欢

Hive

[一起学Hive]之三–Hive中的数据库(Database)和表(Table)

[一起学Hive]之三–Hive中的数据库(Database)和表(Table)
在前面的文章中，介绍了可以把Hive当成一个“数据库”，它也具备传统数据库的数据单元，数据库（Database/Schema）和表（Table）。 本文介绍一下Hive中的数据库（Database/Schema）和表（Table）的基础知识，由于篇幅原因，这里只是一些常用的、基础...

10年前 (2015-06-03) 53206℃ 66喜欢

Hive

[一起学Hive]之二–Hive函数大全-完整版

[一起学Hive]之二–Hive函数大全-完整版
Hive函数大全–完整版 现在虽然有很多SQL ON Hadoop的解决方案，像Spark SQL、Impala、Presto等等，但就目前来看，在基于Hadoop的大数据分析平台、数据仓库中，Hive仍然是不可替代的角色。尽管它的相应延迟大，尽管它启动MapRedu...

10年前 (2015-06-03) 73622℃ 79喜欢

Hive

[一起学Hive]之一–Hive概述，Hive是什么

[一起学Hive]之一–Hive概述，Hive是什么
1. Hive是什么 Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性，因此使用Hive构建的数据仓库也秉承了这些特性。 这是来自官方的解释。 简单来说，Hive就是在Hadoop上架了一层SQL接口，可以将SQL翻...

10年前 (2015-06-02) 39465℃ 86喜欢

大数据平台

异构数据源海量数据交换工具-Taobao DataX 下载和使用

异构数据源海量数据交换工具-Taobao DataX 下载和使用
DataX介绍 DataX是一个在异构的数据库/文件系统之间高速交换数据的工具，实现了在任意的数据处理系统(RDBMS/Hdfs/Local filesystem）之间的数据交换。 目前成熟的数据导入导出工具比较多，但是一般都只能用于数据导入或者导出，并且只能支持一个或者几个特定...

10年前 (2015-05-29) 94701℃ 110喜欢

Spark

Spark视频免费下载

Spark视频免费下载
Spark视频免费下载 1. Spark部署 http://pan.baidu.com/s/1bnCpUEz 提取码：3npw 2. Spark编程模型 http://pan.baidu.com/s/1o6Htm3o 提取码：jc64 3. Spark运行架构 http://pa...

10年前 (2015-05-27) 16012℃ 19喜欢

编程语言

Java使用Pipeline对Redis批量读写（hmset&hgetall）

Java使用Pipeline对Redis批量读写（hmset&hgetall）
一般情况下，Redis Client端发出一个请求后，通常会阻塞并等待Redis服务端处理，Redis服务端处理完后请求命令后会将结果通过响应报文返回给Client。 这有点类似于HBase的Scan，通常是Client端获取每一条记录都是一次RPC调用服务端。 在Redis中，...

10年前 (2015-05-26) 50221℃ 35喜欢

Spark

Spark Streaming+Flume对接实验

Spark Streaming+Flume对接实验
软件环境： flume-ng-core-1.4.0-cdh5.0.0 spark-1.2.0-bin-hadoop2.3 流程说明： Spark Streaming: 使用spark-streaming-flume_2.10-1.2.0插件，启动一个avro source，用来...

10年前 (2015-05-18) 19958℃ 14喜欢

Hive

Hive索引

Hive索引
Hive是支持索引的，但基本没用过，只做了下试验。 为什么大家都不用，肯定有它的弊端。 Hive索引机制： 在指定列上建立索引，会产生一张索引表（Hive的一张物理表），里面的字段包括，索引列的值、该值对应的HDFS文件路径、该值在文件中的偏移量; 在执行索引字段查询时候，首先额...

10年前 (2015-05-08) 27706℃ 57喜欢