微信搜索lxw1234bigdata | 邀请体验:数阅–数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

lxw1234@qq.com的文章

Spark

Spark1.3.1安装配置运行

Spark1.3.1安装配置运行
本文基于Spark1.3.1,介绍一下Spark基于hadoop-2.3.0-cdh5.0.0的安装配置和简单使用。 我是在一台机器上完成了Spark的部署,其实也是集群,只不过Master和Slave都在一台机器上。如果是多台机器的集群部署,步骤完全一样,只不过多些Slave而...

10年前 (2015-06-05) 10119℃ 4喜欢

其他

有用的网址收藏

有用的网址收藏
Apache的历史归档地址,非常有用,里面包含了Hadoop的所有历史版本,Hive的历史版本,HBase的历史版本下载。 http://archive.apache.org/dist/ CentOS软件包: http://vault.centos.org 如果觉得本博客对您有帮...

10年前 (2015-06-05) 6740℃ 4喜欢

Hive

[一起学Hive]之四-Hive的安装配置

[一起学Hive]之四-Hive的安装配置
其实Hive的安装配置应该放在第二章来介绍,晚了些,希望对Hive初学者有用。 三、Hive的安装配置 3.1 环境需求 Hadoop Client Mysql 3.2 下载并解压Hive0.13.1安装包 下载地址:http://archive.apache.org/dis...

10年前 (2015-06-05) 20642℃ 24喜欢

Hive

[一起学Hive]之三–Hive中的数据库(Database)和表(Table)

[一起学Hive]之三–Hive中的数据库(Database)和表(Table)
在前面的文章中,介绍了可以把Hive当成一个“数据库”,它也具备传统数据库的数据单元,数据库(Database/Schema)和表(Table)。 本文介绍一下Hive中的数据库(Database/Schema)和表(Table)的基础知识,由于篇幅原因,这里只是一些常用的、基础...

10年前 (2015-06-03) 53034℃ 66喜欢

Hive

[一起学Hive]之二–Hive函数大全-完整版

[一起学Hive]之二–Hive函数大全-完整版
Hive函数大全–完整版 现在虽然有很多SQL ON Hadoop的解决方案,像Spark SQL、Impala、Presto等等,但就目前来看,在基于Hadoop的大数据分析平台、数据仓库中,Hive仍然是不可替代的角色。尽管它的相应延迟大,尽管它启动MapRedu...

10年前 (2015-06-03) 73367℃ 79喜欢

Hive

[一起学Hive]之一–Hive概述,Hive是什么

[一起学Hive]之一–Hive概述,Hive是什么
1. Hive是什么 Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性,因此使用Hive构建的数据仓库也秉承了这些特性。 这是来自官方的解释。 简单来说,Hive就是在Hadoop上架了一层SQL接口,可以将SQL翻...

10年前 (2015-06-02) 39293℃ 86喜欢

大数据平台

异构数据源海量数据交换工具-Taobao DataX 下载和使用

异构数据源海量数据交换工具-Taobao DataX 下载和使用
DataX介绍 DataX是一个在异构的数据库/文件系统之间高速交换数据的工具,实现了在任意的数据处理系统(RDBMS/Hdfs/Local filesystem)之间的数据交换。 目前成熟的数据导入导出工具比较多,但是一般都只能用于数据导入或者导出,并且只能支持一个或者几个特定...

10年前 (2015-05-29) 94160℃ 110喜欢

Spark

Spark视频免费下载

Spark视频免费下载
Spark视频免费下载 1. Spark部署 http://pan.baidu.com/s/1bnCpUEz 提取码:3npw 2. Spark编程模型 http://pan.baidu.com/s/1o6Htm3o 提取码:jc64 3. Spark运行架构 http://pa...

10年前 (2015-05-27) 15863℃ 19喜欢

编程语言

Java使用Pipeline对Redis批量读写(hmset&hgetall)

Java使用Pipeline对Redis批量读写(hmset&hgetall)
一般情况下,Redis Client端发出一个请求后,通常会阻塞并等待Redis服务端处理,Redis服务端处理完后请求命令后会将结果通过响应报文返回给Client。 这有点类似于HBase的Scan,通常是Client端获取每一条记录都是一次RPC调用服务端。 在Redis中,...

10年前 (2015-05-26) 50034℃ 35喜欢

Spark

Spark Streaming+Flume对接实验

Spark Streaming+Flume对接实验
软件环境: flume-ng-core-1.4.0-cdh5.0.0 spark-1.2.0-bin-hadoop2.3 流程说明: Spark Streaming: 使用spark-streaming-flume_2.10-1.2.0插件,启动一个avro source,用来...

10年前 (2015-05-18) 19795℃ 14喜欢

Hive

Hive索引

Hive索引
Hive是支持索引的,但基本没用过,只做了下试验。 为什么大家都不用,肯定有它的弊端。 Hive索引机制: 在指定列上建立索引,会产生一张索引表(Hive的一张物理表),里面的字段包括,索引列的值、该值对应的HDFS文件路径、该值在文件中的偏移量; 在执行索引字段查询时候,首先额...

10年前 (2015-05-08) 27539℃ 57喜欢