关键字：Hive统计信息、分析Hive表、Hive Statistics
类似于Oracle的分析表，Hive中也提供了分析表和分区的功能，通过自动和手动分析Hive表，将Hive表的一些统计信息存储到元数据中。
表和分区的统计信息主要包括：行数、文件数、原始数据大小、所占存储大...
10年前 (2015-07-15) 52235℃
10喜欢
关键字：Java双向Map、DualHashBidiMap
项目中有个需求，需要根据即时修改Map结构中的Value值，比如，将Map中所有value=V1的记录改成value=V2，key保持不变。
数据量比较大，遍历Map性能太差，这就需要根据Value先找到Key，然后去修...
10年前 (2015-07-14) 10515℃
1喜欢
关键字：Spark算子、Spark函数、Spark RDD行动Action、Spark RDD存储操作、saveAsNewAPIHadoopFile、saveAsNewAPIHadoopDataset
saveAsNewAPIHadoopFile
def saveAsNewAPI...
10年前 (2015-07-10) 25874℃
11喜欢
关键字：Spark算子、Spark函数、Spark RDD行动Action、Spark RDD存储操作、saveAsHadoopFile、saveAsHadoopDataset
saveAsHadoopFile
def saveAsHadoopFile(path: String,...
10年前 (2015-07-10) 18477℃
6喜欢
关键字：Spark算子、Spark函数、Spark RDD行动Action、Spark RDD存储操作、saveAsTextFile、saveAsSequenceFile、saveAsObjectFile
saveAsTextFile
def saveAsTextFile(pat...
10年前 (2015-07-10) 37260℃
8喜欢
关键字：Spark算子、Spark函数、Spark RDD行动Action、countByKey、foreach、foreachPartition、sortBy
countByKey
def countByKey(): Map[K, Long]
countByKey用于统计RDD...
10年前 (2015-07-10) 52623℃
20喜欢
关键字：Spark算子、Spark函数、Spark RDD行动Action、aggregate、fold、lookup
aggregate
def aggregate[U](zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)(...
10年前 (2015-07-09) 24888℃
13喜欢
关键字：Spark算子、Spark RDD行动Action、take、top、takeOrdered
take
def take(num: Int): Array[T]
take用于获取RDD中从0到num-1下标的元素，不排序。
scala> var rdd1 = sc....
10年前 (2015-07-08) 51256℃
21喜欢
关键字：Spark算子、Spark RDD行动Action、first、count、reduce、collect
first
def first(): T
first返回RDD中的第一个元素，不排序。
scala> var rdd1 = sc.makeRDD(Array((...
10年前 (2015-07-08) 37136℃
25喜欢
关键字：Spark算子、Spark RDD键值转换、leftOuterJoin、rightOuterJoin、subtractByKey
leftOuterJoin
def leftOuterJoin[W](other: RDD[(K, W)]): RDD[(K, (V, Opt...
10年前 (2015-07-08) 59856℃
33喜欢
关键字：Spark算子、Spark RDD键值转换、cogroup、join
cogroup
##参数为1个RDD
def cogroup[W](other: RDD[(K, W)]): RDD[(K, (Iterable[V], Iterable[W]))]
def cogro...
10年前 (2015-07-08) 45880℃
27喜欢
关键字：MapReduce、Hive、子目录、递归、输入、Input、mapreduce.input.fileinputformat.input.dir.recursive、hive.mapred.supports.subdirectories
一般情况下，传递给MapReduc...
10年前 (2015-07-08) 25176℃
13喜欢
关键字：Hive元数据、Hive元数据表结构
之前在 “[一起学Hive]之一–Hive概述，Hive是什么”中介绍过，Hive自己维护了一套元数据，用户通过HQL查询时候，Hive首先需要结合元数据，将HQL翻译成MapReduce去执行。
本文介绍一下Hive元数据中重要的一...
10年前 (2015-07-08) 47648℃
31喜欢
关键字：Java读写文件、Java字节读取文件、Java字符读取文件、Java按行读取文件、Java随机读取文件、Java文件追加
按字节读取文件内容
/**
* 以字节为单位读取文件，常用于读二进制文件，如图片、声音、影像等文件。
*/
pub...
10年前 (2015-07-07) 10352℃
4喜欢
Hive分析窗口函数(一) SUM,AVG,MIN,MAX
Hive分析窗口函数(二) NTILE,ROW_NUMBER,RANK,DENSE_RANK
Hive分析窗口函数(三) CUME_DIST,PERCENT_RANK
Hive分析窗口函数(四) LAG,LEAD,...
10年前 (2015-07-06) 49035℃
65喜欢
![[一起学Hive]之十五-分析Hive表和分区的统计信息(Statistics)](http://lxw1234.com/wp-content/themes/yusi1.0/timthumb.php?src=http://lxw1234.com/wp-content/uploads/2015/04/hive.png&h=123&w=200&q=90&zc=1&ct=1)
