关键字：Spark算子、Spark RDD行动Action、take、top、takeOrdered
take
def take(num: Int): Array[T]
take用于获取RDD中从0到num-1下标的元素，不排序。
scala> var rdd1 = sc....
9年前 (2015-07-08) 50705℃
21喜欢
关键字：Spark算子、Spark RDD行动Action、first、count、reduce、collect
first
def first(): T
first返回RDD中的第一个元素，不排序。
scala> var rdd1 = sc.makeRDD(Array((...
9年前 (2015-07-08) 36724℃
25喜欢
关键字：Spark算子、Spark RDD键值转换、leftOuterJoin、rightOuterJoin、subtractByKey
leftOuterJoin
def leftOuterJoin[W](other: RDD[(K, W)]): RDD[(K, (V, Opt...
9年前 (2015-07-08) 59319℃
33喜欢
关键字：Spark算子、Spark RDD键值转换、cogroup、join
cogroup
##参数为1个RDD
def cogroup[W](other: RDD[(K, W)]): RDD[(K, (Iterable[V], Iterable[W]))]
def cogro...
9年前 (2015-07-08) 45306℃
27喜欢
Spark算子：RDD基本转换操作(1)–map、flagMap、distinct
Spark算子：RDD创建操作
Spark算子：RDD基本转换操作(2)–coalesce、repartition
Spark算子：RDD基本转换操作(3)–randomSplit、glom...
9年前 (2015-07-06) 69914℃
164喜欢
关键字：Spark算子、Spark RDD键值转换、groupByKey、reduceByKey、reduceByKeyLocally
groupByKey
def groupByKey(): RDD[(K, Iterable[V])]
def groupByKey(numPar...
9年前 (2015-07-06) 54140℃
15喜欢
关键字：Spark算子、Spark RDD键值转换、combineByKey、foldByKey
combineByKey
def combineByKey[C](createCombiner: (V) => C, mergeValue: (C, V) => C, m...
9年前 (2015-07-06) 44351℃
17喜欢
关键字：Spark算子、Spark RDD键值转换、partitionBy、mapValues、flatMapValues
partitionBy
def partitionBy(partitioner: Partitioner): RDD[(K, V)]
该函数根据partit...
9年前 (2015-07-06) 33570℃
18喜欢
关键字：Spark算子、Spark RDD分区、Spark RDD分区元素数量
Spark RDD是被分区的，在生成RDD时候，一般可以指定分区的数量，如果不指定分区数量，当RDD从集合创建时候，则默认为该程序所分配到的资源的CPU核数，如果是从HDFS文件创建，默认为文件的Bl...
9年前 (2015-07-06) 23616℃
11喜欢
关键字：Spark算子、Spark RDD基本转换、zipWithIndex、zipWithUniqueId
zipWithIndex
def zipWithIndex(): RDD[(T, Long)]
该函数将RDD中的元素和这个元素在RDD中的ID（索引号）组合成键/值对。...
9年前 (2015-07-06) 56198℃
53喜欢
关键字：Spark算子、Spark RDD基本转换、zip、zipPartitions
zip
def zip[U](other: RDD[U])(implicit arg0: ClassTag[U]): RDD[(T, U)]
zip函数用于将两个RDD组合成Key/Value...
9年前 (2015-07-06) 37432℃
28喜欢
关键字：Spark算子、Spark RDD基本转换、mapPartitions、mapPartitionsWithIndex
mapPartitions
def mapPartitions[U](f: (Iterator[T]) => Iterator[U], preser...
9年前 (2015-07-04) 87307℃
101喜欢
关键字：Spark算子、Spark RDD基本转换、union、intersection、subtract
union
def union(other: RDD[T]): RDD[T]
该函数比较简单，就是将两个RDD进行合并，不去重。
scala> var ...
9年前 (2015-07-02) 77532℃
51喜欢
关键字：Spark算子、Spark RDD基本转换、randomSplit、glom
randomSplit
def randomSplit(weights: Array[Double], seed: Long = Utils.random.nextLong): Array[RD...
9年前 (2015-07-02) 37926℃
29喜欢
关键字：Spark算子、Spark RDD基本转换、coalesce、repartition
coalesce
def coalesce(numPartitions: Int, shuffle: Boolean = false)(implicit ord: Ordering[T]...
9年前 (2015-07-02) 53376℃
54喜欢
