微信搜索bigdata029 | 邀请体验:数阅–数据管理、OLAP分析与可视化平台 | 联系作者:lxw1234@qq.com | 赞助作者:赞助作者

 分类:Spark

Spark算子系列文章

Spark算子系列文章
Spark算子:RDD基本转换操作(1)–map、flagMap、distinct Spark算子:RDD创建操作 Spark算子:RDD基本转换操作(2)–coalesce、repartition Spark算子:RDD基本转换操作(3)–randomSplit、glom...

3年前 (2015-07-06) 32922℃ 94喜欢

Spark算子:统计RDD分区中的元素及数量

Spark算子:统计RDD分区中的元素及数量
关键字:Spark算子、Spark RDD分区、Spark RDD分区元素数量 Spark RDD是被分区的,在生成RDD时候,一般可以指定分区的数量,如果不指定分区数量,当RDD从集合创建时候,则默认为该程序所分配到的资源的CPU核数,如果是从HDFS文件创建,默认为文件的Bl...

3年前 (2015-07-06) 9913℃ 7喜欢