关键字：Spark算子、Spark RDD行动Action、take、top、takeOrdered
take
def take(num: Int): Array[T]
take用于获取RDD中从0到num-1下标的元素，不排序。
scala> var rdd1 = sc....
10年前 (2015-07-08) 51248℃
21喜欢
关键字：Spark算子、Spark RDD行动Action、first、count、reduce、collect
first
def first(): T
first返回RDD中的第一个元素，不排序。
scala> var rdd1 = sc.makeRDD(Array((...
10年前 (2015-07-08) 37135℃
25喜欢
关键字：Spark算子、Spark RDD键值转换、leftOuterJoin、rightOuterJoin、subtractByKey
leftOuterJoin
def leftOuterJoin[W](other: RDD[(K, W)]): RDD[(K, (V, Opt...
10年前 (2015-07-08) 59850℃
33喜欢
关键字：Spark算子、Spark RDD键值转换、cogroup、join
cogroup
##参数为1个RDD
def cogroup[W](other: RDD[(K, W)]): RDD[(K, (Iterable[V], Iterable[W]))]
def cogro...
10年前 (2015-07-08) 45875℃
27喜欢
Spark算子：RDD基本转换操作(1)–map、flagMap、distinct
Spark算子：RDD创建操作
Spark算子：RDD基本转换操作(2)–coalesce、repartition
Spark算子：RDD基本转换操作(3)–randomSplit、glom...
10年前 (2015-07-06) 71562℃
165喜欢
关键字：Spark算子、Spark RDD键值转换、groupByKey、reduceByKey、reduceByKeyLocally
groupByKey
def groupByKey(): RDD[(K, Iterable[V])]
def groupByKey(numPar...
10年前 (2015-07-06) 54618℃
15喜欢
关键字：Spark算子、Spark RDD键值转换、combineByKey、foldByKey
combineByKey
def combineByKey[C](createCombiner: (V) => C, mergeValue: (C, V) => C, m...
10年前 (2015-07-06) 46059℃
17喜欢
关键字：Spark算子、Spark RDD键值转换、partitionBy、mapValues、flatMapValues
partitionBy
def partitionBy(partitioner: Partitioner): RDD[(K, V)]
该函数根据partit...
10年前 (2015-07-06) 34111℃
18喜欢
关键字：Spark算子、Spark RDD分区、Spark RDD分区元素数量
Spark RDD是被分区的，在生成RDD时候，一般可以指定分区的数量，如果不指定分区数量，当RDD从集合创建时候，则默认为该程序所分配到的资源的CPU核数，如果是从HDFS文件创建，默认为文件的Bl...
10年前 (2015-07-06) 24191℃
11喜欢
关键字：Spark算子、Spark RDD基本转换、zipWithIndex、zipWithUniqueId
zipWithIndex
def zipWithIndex(): RDD[(T, Long)]
该函数将RDD中的元素和这个元素在RDD中的ID（索引号）组合成键/值对。...
10年前 (2015-07-06) 56814℃
53喜欢
关键字：Spark算子、Spark RDD基本转换、zip、zipPartitions
zip
def zip[U](other: RDD[U])(implicit arg0: ClassTag[U]): RDD[(T, U)]
zip函数用于将两个RDD组合成Key/Value...
10年前 (2015-07-06) 37952℃
28喜欢
关键字：Spark算子、Spark RDD基本转换、mapPartitions、mapPartitionsWithIndex
mapPartitions
def mapPartitions[U](f: (Iterator[T]) => Iterator[U], preser...
10年前 (2015-07-04) 87962℃
101喜欢
关键字：Spark算子、Spark RDD基本转换、union、intersection、subtract
union
def union(other: RDD[T]): RDD[T]
该函数比较简单，就是将两个RDD进行合并，不去重。
scala> var ...
10年前 (2015-07-02) 78239℃
51喜欢
关键字：Spark算子、Spark RDD基本转换、randomSplit、glom
randomSplit
def randomSplit(weights: Array[Double], seed: Long = Utils.random.nextLong): Array[RD...
10年前 (2015-07-02) 38442℃
29喜欢
关键字：Spark算子、Spark RDD基本转换、coalesce、repartition
coalesce
def coalesce(numPartitions: Int, shuffle: Boolean = false)(implicit ord: Ordering[T]...
10年前 (2015-07-02) 53838℃
54喜欢
