微信搜索lxw1234bigdata | 邀请体验:数阅–数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

打包并提交运行Spark应用程序jar包

Spark lxw1234@qq.com 27541℃ 3评论

基于eclipse的Spark IDE可在 http://scala-ide.org/ 下载。

以WordCount为例:

	
package com.lxw.test

import org.apache.spark.{SparkConf, SparkContext}
import SparkContext._

object WordCount {
    def main (args: Array[String]) {
    if(args.length < 2) {
      println("Usage: WordCount  ")
      System.exit(1)
    }

    val hdfsIn = args(0);
    val hdfsOut = args(1);

    val sc = new SparkContext(new SparkConf().setAppName("WordCount"))
    val srcData = sc.textFile(hdfsIn)
    val result = srcData.flatMap(_.split("\\s+")).map((_,1)).reduceByKey(_+_)
    result.saveAsTextFile(hdfsOut)

  }
}

在eclipse中将程序打成普通的Java jar包即可。

在Spark的一台Client机器上使用spark-submit来提交运行jar包:

	
$SPARK_HOME/bin/spark-submit \
	--name "lxw1234-wordcount" \
	--master spark://192.168.1.130:7077 \
	--executor-memory 1G \
	--class com.lxw.test.WordCount \
	/home/lxw1234/lxw-spark.jar /logs/site/2015-05-14/ /tmp/lxwoutput

如果觉得本博客对您有帮助,请 赞助作者

转载请注明:lxw的大数据田地 » 打包并提交运行Spark应用程序jar包

喜欢 (22)
分享 (0)
发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
(3)个小伙伴在吐槽
  1. 发现了博主的博客对我学习云计算很有用,支持支持!另外我和您还是本家哦!
    runever2016-03-05 22:12 回复
  2. args的两个参数的对应的是hdfs上的位置么
    Reynold.C2016-06-20 15:18 回复
    • lxw1234@qq.com2016-06-20 15:40 回复