关键字:Hive统计信息、分析Hive表、Hive Statistics
类似于Oracle的分析表,Hive中也提供了分析表和分区的功能,通过自动和手动分析Hive表,将Hive表的一些统计信息存储到元数据中。
表和分区的统计信息主要包括:行数、文件数、原始数据大小、所占存储大...
9年前 (2015-07-15) 51978℃
10喜欢
关键字:Java双向Map、DualHashBidiMap
项目中有个需求,需要根据即时修改Map结构中的Value值,比如,将Map中所有value=V1的记录改成value=V2,key保持不变。
数据量比较大,遍历Map性能太差,这就需要根据Value先找到Key,然后去修...
9年前 (2015-07-14) 10406℃
1喜欢
关键字:Spark算子、Spark函数、Spark RDD行动Action、Spark RDD存储操作、saveAsNewAPIHadoopFile、saveAsNewAPIHadoopDataset
saveAsNewAPIHadoopFile
def saveAsNewAPI...
9年前 (2015-07-10) 25746℃
11喜欢
关键字:Spark算子、Spark函数、Spark RDD行动Action、Spark RDD存储操作、saveAsHadoopFile、saveAsHadoopDataset
saveAsHadoopFile
def saveAsHadoopFile(path: String,...
9年前 (2015-07-10) 18387℃
6喜欢
关键字:Spark算子、Spark函数、Spark RDD行动Action、Spark RDD存储操作、saveAsTextFile、saveAsSequenceFile、saveAsObjectFile
saveAsTextFile
def saveAsTextFile(pat...
9年前 (2015-07-10) 37168℃
8喜欢
关键字:Spark算子、Spark函数、Spark RDD行动Action、countByKey、foreach、foreachPartition、sortBy
countByKey
def countByKey(): Map[K, Long]
countByKey用于统计RDD...
9年前 (2015-07-10) 52519℃
20喜欢
关键字:Spark算子、Spark函数、Spark RDD行动Action、aggregate、fold、lookup
aggregate
def aggregate[U](zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)(...
9年前 (2015-07-09) 24804℃
13喜欢
关键字:Spark算子、Spark RDD行动Action、take、top、takeOrdered
take
def take(num: Int): Array[T]
take用于获取RDD中从0到num-1下标的元素,不排序。
scala> var rdd1 = sc....
9年前 (2015-07-08) 51150℃
21喜欢
关键字:Spark算子、Spark RDD行动Action、first、count、reduce、collect
first
def first(): T
first返回RDD中的第一个元素,不排序。
scala> var rdd1 = sc.makeRDD(Array((...
9年前 (2015-07-08) 37048℃
25喜欢
关键字:Spark算子、Spark RDD键值转换、leftOuterJoin、rightOuterJoin、subtractByKey
leftOuterJoin
def leftOuterJoin[W](other: RDD[(K, W)]): RDD[(K, (V, Opt...
9年前 (2015-07-08) 59731℃
33喜欢
关键字:Spark算子、Spark RDD键值转换、cogroup、join
cogroup
##参数为1个RDD
def cogroup[W](other: RDD[(K, W)]): RDD[(K, (Iterable[V], Iterable[W]))]
def cogro...
9年前 (2015-07-08) 45740℃
27喜欢
关键字:MapReduce、Hive、子目录、递归、输入、Input、mapreduce.input.fileinputformat.input.dir.recursive、hive.mapred.supports.subdirectories
一般情况下,传递给MapReduc...
9年前 (2015-07-08) 25036℃
13喜欢
关键字:Hive元数据、Hive元数据表结构
之前在 “[一起学Hive]之一–Hive概述,Hive是什么”中介绍过,Hive自己维护了一套元数据,用户通过HQL查询时候,Hive首先需要结合元数据,将HQL翻译成MapReduce去执行。
本文介绍一下Hive元数据中重要的一...
9年前 (2015-07-08) 47452℃
31喜欢
关键字:Java读写文件、Java字节读取文件、Java字符读取文件、Java按行读取文件、Java随机读取文件、Java文件追加
按字节读取文件内容
/**
* 以字节为单位读取文件,常用于读二进制文件,如图片、声音、影像等文件。
*/
pub...
9年前 (2015-07-07) 10267℃
4喜欢
Hive分析窗口函数(一) SUM,AVG,MIN,MAX
Hive分析窗口函数(二) NTILE,ROW_NUMBER,RANK,DENSE_RANK
Hive分析窗口函数(三) CUME_DIST,PERCENT_RANK
Hive分析窗口函数(四) LAG,LEAD,...
9年前 (2015-07-06) 48496℃
65喜欢