关键字：Spark算子、Spark函数、Spark RDD行动Action、Spark RDD存储操作、saveAsNewAPIHadoopFile、saveAsNewAPIHadoopDataset
saveAsNewAPIHadoopFile
def saveAsNewAPI...
10年前 (2015-07-10) 25863℃
11喜欢
关键字：Spark算子、Spark函数、Spark RDD行动Action、Spark RDD存储操作、saveAsHadoopFile、saveAsHadoopDataset
saveAsHadoopFile
def saveAsHadoopFile(path: String,...
10年前 (2015-07-10) 18465℃
6喜欢
关键字：Spark算子、Spark函数、Spark RDD行动Action、Spark RDD存储操作、saveAsTextFile、saveAsSequenceFile、saveAsObjectFile
saveAsTextFile
def saveAsTextFile(pat...
10年前 (2015-07-10) 37253℃
8喜欢
关键字：Spark算子、Spark函数、Spark RDD行动Action、countByKey、foreach、foreachPartition、sortBy
countByKey
def countByKey(): Map[K, Long]
countByKey用于统计RDD...
10年前 (2015-07-10) 52613℃
20喜欢
关键字：Spark算子、Spark函数、Spark RDD行动Action、aggregate、fold、lookup
aggregate
def aggregate[U](zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)(...
10年前 (2015-07-09) 24884℃
13喜欢
关键字：Spark算子、Spark RDD行动Action、take、top、takeOrdered
take
def take(num: Int): Array[T]
take用于获取RDD中从0到num-1下标的元素，不排序。
scala> var rdd1 = sc....
10年前 (2015-07-08) 51245℃
21喜欢
关键字：Spark算子、Spark RDD行动Action、first、count、reduce、collect
first
def first(): T
first返回RDD中的第一个元素，不排序。
scala> var rdd1 = sc.makeRDD(Array((...
10年前 (2015-07-08) 37127℃
25喜欢
关键字：Spark算子、Spark RDD键值转换、leftOuterJoin、rightOuterJoin、subtractByKey
leftOuterJoin
def leftOuterJoin[W](other: RDD[(K, W)]): RDD[(K, (V, Opt...
10年前 (2015-07-08) 59848℃
33喜欢
关键字：Spark算子、Spark RDD键值转换、cogroup、join
cogroup
##参数为1个RDD
def cogroup[W](other: RDD[(K, W)]): RDD[(K, (Iterable[V], Iterable[W]))]
def cogro...
10年前 (2015-07-08) 45868℃
27喜欢
Spark算子：RDD基本转换操作(1)–map、flagMap、distinct
Spark算子：RDD创建操作
Spark算子：RDD基本转换操作(2)–coalesce、repartition
Spark算子：RDD基本转换操作(3)–randomSplit、glom...
10年前 (2015-07-06) 71549℃
165喜欢
关键字：Spark算子、Spark RDD键值转换、groupByKey、reduceByKey、reduceByKeyLocally
groupByKey
def groupByKey(): RDD[(K, Iterable[V])]
def groupByKey(numPar...
10年前 (2015-07-06) 54607℃
15喜欢
关键字：Spark算子、Spark RDD键值转换、combineByKey、foldByKey
combineByKey
def combineByKey[C](createCombiner: (V) => C, mergeValue: (C, V) => C, m...
10年前 (2015-07-06) 46046℃
17喜欢
关键字：Spark算子、Spark RDD键值转换、partitionBy、mapValues、flatMapValues
partitionBy
def partitionBy(partitioner: Partitioner): RDD[(K, V)]
该函数根据partit...
10年前 (2015-07-06) 34100℃
18喜欢
关键字：Spark算子、Spark RDD分区、Spark RDD分区元素数量
Spark RDD是被分区的，在生成RDD时候，一般可以指定分区的数量，如果不指定分区数量，当RDD从集合创建时候，则默认为该程序所分配到的资源的CPU核数，如果是从HDFS文件创建，默认为文件的Bl...
10年前 (2015-07-06) 24184℃
11喜欢
关键字：Spark算子、Spark RDD基本转换、zipWithIndex、zipWithUniqueId
zipWithIndex
def zipWithIndex(): RDD[(T, Long)]
该函数将RDD中的元素和这个元素在RDD中的ID（索引号）组合成键/值对。...
10年前 (2015-07-06) 56806℃
53喜欢
