微信搜索bigdata029 | 邀请体验:数阅–数据管理、OLAP分析与可视化平台 | 订阅本站 | 赞助作者:赞助作者

 分类:Spark

Spark动态资源分配-Dynamic Resource Allocation

Spark动态资源分配-Dynamic Resource Allocation
关键字:spark、资源分配、dynamic resource allocation Spark中,所谓资源单位一般指的是executors,和Yarn中的Containers一样,在Spark On Yarn模式下,通常使用–num-executors来指定Appl...

2年前 (2015-12-31) 11204℃ 13喜欢

Spark1.5发布

Spark1.5发布
Apache Spark社区刚刚发布了1.5版本,大家一定想知道这个版本的主要变化,这篇文章告诉你答案。 DataFrame执行后端优化(Tungsten第一阶段) DataFrame可以说是整个Spark项目最核心的部分,在1.5这个开发周期内最大的变化就是Tungsten项目...

2年前 (2015-09-10) 2435℃ 3喜欢

Spark On Yarn系列文章

Spark On Yarn系列文章
Spark On Yarn:提交Spark应用程序到Yarn 在Yarn上运行spark-shell和spark-sql命令行 SparkSQL On Yarn with Hive,操作和访问Hive表   持续更新中。。。 您可以关注 我的博客,或者 加入邮件列表...

2年前 (2015-08-19) 7114℃ 9喜欢

SparkSQL On Yarn with Hive,操作和访问Hive表

SparkSQL On Yarn with Hive,操作和访问Hive表
关键字:SparkSQL on Yarn、SparkSQL Hive On Yarn 前面的文章介绍过如何向Yarn中提交Spark应用程序《Spark On Yarn:提交Spark应用程序到Yarn》, 以及在Yarn上运行spark-shell和spark-sql命令行《在...

2年前 (2015-08-19) 6190℃ 8喜欢

在Yarn上运行spark-shell和spark-sql命令行

在Yarn上运行spark-shell和spark-sql命令行
关键字:spark-shell on yarn、spark-sql on yarn 前面的文章《Spark On Yarn:提交Spark应用程序到Yarn》介绍了将Spark应用程序提交到Yarn上运行。有时候在做开发测试的时候,需要使用spark-shell和spark-sq...

2年前 (2015-08-11) 9947℃ 3喜欢

华为开源Astro(SparkSQL On HBase)试用

华为开源Astro(SparkSQL On HBase)试用
关键字:华为Astro、SparkSQL On HBase、SQL On HBase 华为最近开源的SparkSQL On HBase,又名Astro, 整合了Spark、SparkSQL、HBase,是继Phoenix后,SQL On HBase的又一利器。 至于实际用起来怎么...

2年前 (2015-07-30) 6159℃ 10喜欢

Hive和SparkSQL自定义UDF中依赖第三方Jar包

Hive和SparkSQL自定义UDF中依赖第三方Jar包
关键字:Hive udf、SparkSQL udf、 第三方jar包 当在Hive和SparkSQL中使用的自定义UDF函数需要依赖第三方jar包时,可以将所有jar包通过类似于fatjar等插件打在一起,但显得太麻烦、太累赘了。 其实只需要在运行时候将依赖的第三方jar包和ud...

2年前 (2015-07-23) 5601℃ 4喜欢

Spark On Yarn:提交Spark应用程序到Yarn

Spark On Yarn:提交Spark应用程序到Yarn
关键字:Spark On Yarn、Spark Yarn Cluster、Spark Yarn Client Spark On Yarn模式配置非常简单,只需要下载编译好的Spark安装包,在一台带有Hadoop Yarn客户端的机器上解压,简单配置之后即可使用。 要把Spark...

2年前 (2015-07-15) 12185℃ 8喜欢