微信搜索lxw1234bigdata | 邀请体验:数阅–数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

Spark算子系列文章

Spark lxw1234@qq.com 69718℃ 3评论

Spark算子:RDD基本转换操作(1)–map、flagMap、distinct

Spark算子:RDD创建操作

Spark算子:RDD基本转换操作(2)–coalesce、repartition

Spark算子:RDD基本转换操作(3)–randomSplit、glom

Spark算子:RDD基本转换操作(4)–union、intersection、subtract

Spark算子:RDD基本转换操作(5)–mapPartitions、mapPartitionsWithIndex

Spark算子:RDD基本转换操作(6)–zip、zipPartitions

Spark算子:RDD基本转换操作(7)–zipWithIndex、zipWithUniqueId

 

Spark算子:统计RDD分区中的元素及数量 

 

Spark算子:RDD键值转换操作(1)–partitionBy、mapValues、flatMapValues

Spark算子:RDD键值转换操作(2)–combineByKey、foldByKey 

Spark算子:RDD键值转换操作(3)–groupByKey、reduceByKey、reduceByKeyLocally

Spark算子:RDD键值转换操作(4)–cogroup、join

Spark算子:RDD键值转换操作(5)–leftOuterJoin、rightOuterJoin、subtractByKey

 

Spark算子:RDD行动Action操作(1)–first、count、reduce、collect

Spark算子:RDD行动Action操作(2)–take、top、takeOrdered

Spark算子:RDD行动Action操作(3)–aggregate、fold、lookup

Spark算子:RDD行动Action操作(4)–countByKey、foreach、foreachPartition、sortBy

Spark算子:RDD行动Action操作(5)–saveAsTextFile、saveAsSequenceFile、saveAsObjectFile

Spark算子:RDD行动Action操作(6)–saveAsHadoopFile、saveAsHadoopDataset

Spark算子:RDD行动Action操作(7)–saveAsNewAPIHadoopFile、saveAsNewAPIHadoopDataset

 

持续更新中。。。

如果觉得本博客对您有帮助,请 赞助作者

转载请注明:lxw的大数据田地 » Spark算子系列文章

喜欢 (164)
分享 (0)
发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
(3)个小伙伴在吐槽
  1. 推荐一本spark书,机工社的。http://book.hubwiz.com/5539d78bd5b13626620df599,楼主有没有可能分享一些内容到这里?
    小智2015-11-12 10:49 回复
    • 链接需要登录,看不到书名。
      lxw1234@qq.com2015-11-13 09:32 回复
  2. 通俗易懂,非常好
    东方欲晓2016-12-29 19:00 回复