微信搜索bigdata029 | 邀请体验:数阅–数据管理、OLAP分析与可视化平台 | 订阅本站 | 赞助作者:赞助作者
大数据平台

大数据环境下互联网行业数据仓库/数据平台的架构之漫谈

大数据环境下互联网行业数据仓库/数据平台的架构之漫谈
关键字:互联网、大数据、数据仓库、数据平台、架构 导读: 整体架构 数据采集 数据存储与分析 数据共享 数据应用 实时计算 任务调度与监控 元数据管理 总结 一直想整理一下这块内容,既然是漫谈,就想起什么说什么吧。我一直是在互联网行业,就以互联网行业来说。 先大概列一下互联网...

2年前 (2015-08-19) 28089℃ 92喜欢

Spark

Spark On Yarn系列文章

Spark On Yarn系列文章
Spark On Yarn:提交Spark应用程序到Yarn 在Yarn上运行spark-shell和spark-sql命令行 SparkSQL On Yarn with Hive,操作和访问Hive表   持续更新中。。。 您可以关注 我的博客,或者 加入邮件列表...

2年前 (2015-08-19) 7927℃ 10喜欢

Spark

SparkSQL On Yarn with Hive,操作和访问Hive表

SparkSQL On Yarn with Hive,操作和访问Hive表
关键字:SparkSQL on Yarn、SparkSQL Hive On Yarn 前面的文章介绍过如何向Yarn中提交Spark应用程序《Spark On Yarn:提交Spark应用程序到Yarn》, 以及在Yarn上运行spark-shell和spark-sql命令行《在...

2年前 (2015-08-19) 6750℃ 8喜欢

Hadoop

Java API 写 Hive Orc文件

Java API 写 Hive Orc文件
关键字:Hive Orc、Java API 读写Hive OrcFile 接前面的文章 《Java API 读取Hive Orc文件》,本文中介绍使用Java API写Orc格式的文件。 下面的代码将三行数据: 张三,20 李四,22 王五,30 写入HDFS上的/tmp/lxw...

2年前 (2015-08-18) 5657℃ 5喜欢

Hadoop

Java API 读取Hive Orc文件

Java API 读取Hive Orc文件
关键字:Hive Orc、Java API 读取Hive OrcFile Orc是Hive特有的一种列式存储的文件格式,它有着非常高的压缩比和读取效率,因此很快取代了之前的RCFile,成为Hive中非常常用的一种文件格式。 在实际业务场景中,可能需要使用Java API,或者M...

2年前 (2015-08-18) 5853℃ 5喜欢

编程语言

Java中ArrayList和HashMap的排序

Java中ArrayList和HashMap的排序
关键字:ArrayList排序、HashMap排序、集合排序、升序、降序、key排序、value排序 最近在需求中经常需要对Java的集合,特别是Map根据key或者value进行升序降序排序,在这里整理记录一下,对java不熟,用于以后备查。 主要使用Collections提供...

2年前 (2015-08-18) 7548℃ 2喜欢

Hive

[一起学Hive]之十八-Hive UDF开发

[一起学Hive]之十八-Hive UDF开发
关键字:Hive udf、UDF、GenericUDF Hive中,除了提供丰富的内置函数(见[一起学Hive]之二–Hive函数大全-完整版)之外,还允许用户使用Java开发自定义的UDF函数。 开发自定义UDF函数有两种方式,一个是继承org.apache.hadoop.hi...

2年前 (2015-08-17) 8716℃ 2喜欢

其他

使用SecureCRT的端口转发功能访问其他内网机器

使用SecureCRT的端口转发功能访问其他内网机器
关键字:SecureCRT 端口转发 在实际工作环境中,经常有这样的网络环境,如图所示: 机器A和机器B处于同一个内网环境,机器A有外网IP,可以供我的机器访问,但是我还想通过自己的机器访问机器B。 显然直接访问不了。比如:机器B为Hadoop的ResourceManager,...

2年前 (2015-08-11) 4555℃ 2喜欢

Spark

在Yarn上运行spark-shell和spark-sql命令行

在Yarn上运行spark-shell和spark-sql命令行
关键字:spark-shell on yarn、spark-sql on yarn 前面的文章《Spark On Yarn:提交Spark应用程序到Yarn》介绍了将Spark应用程序提交到Yarn上运行。有时候在做开发测试的时候,需要使用spark-shell和spark-sq...

2年前 (2015-08-11) 11070℃ 4喜欢

Hive

[一起学Hive]之十七-从Hive表中进行数据抽样-Sampling

[一起学Hive]之十七-从Hive表中进行数据抽样-Sampling
关键字:Hive数据取样、Hive Sampling、Hive TABLESAMPLE. 在Hive中提供了数据取样(SAMPLING)的功能,用来从Hive表中根据一定的规则进行数据取样,Hive中的数据取样支持分桶表取样和数据块取样。 16.1 数据块取样(Block Sam...

2年前 (2015-08-06) 7238℃ 1喜欢

Hadoop

查看HDFS的元数据文件fsimage和编辑日志edits(2)

查看HDFS的元数据文件fsimage和编辑日志edits(2)
关键字:hdfs元数据、fsimage、edits 上一篇文章《查看HDFS的元数据文件fsimage和编辑日志edits(1)》中介绍了HDFS文件系统中fsimage和eidts文件的作用以及查看fsimage的方法。 本文接着介绍查看edits文件的方法。 HDFS查看ed...

2年前 (2015-08-05) 3861℃ 2喜欢

Hadoop

查看HDFS的元数据文件fsimage和编辑日志edits(1)

查看HDFS的元数据文件fsimage和编辑日志edits(1)
关键字:hdfs元数据、fsimage、edits 在HDFS中,fsimage和eidts是NameNode两个非常重要的文件。 其中,fsimage是HDFS文件系统存于硬盘中的元数据检查点,里面记录了自最后一次检查点之前HDFS文件系统中所有目录和文件的序列化信息;而edi...

2年前 (2015-08-05) 6862℃ 4喜欢

其他

可用的google搜索整理

可用的google搜索整理
关键字:google、google代理 如果不翻墙的话,可以使用以下代理页面进行google搜索,速度还都不错。 https://g.lightss.org https://guge.io https://duliziyou.com https://goge.ml http://...

2年前 (2015-08-03) 2190℃ 3喜欢