博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
spark源码编译,本地调试
阅读量:5271 次
发布时间:2019-06-14

本文共 242 字,大约阅读时间需要 1 分钟。

1、下载源码

2、进入源码根据README.md编译源码,注意使用的是源码目录下的maven编译

3、用idea导入顶层pom文件

4、修改顶层pom文件和example下的pom文件,将scope的值全部从provided替换成compile

5、运行任意example,由于是本地运行,需要添加

.master("local[4]")来配置SparkSession。

转载于:https://www.cnblogs.com/cenglinjinran/p/7704963.html

你可能感兴趣的文章
idea搭建tocmat
查看>>
NYOJ-626-intersection set(二分查找)
查看>>
项目管理之路(1):初步踏入项目管理
查看>>
Java 中 静态方法与非静态方法的区别
查看>>
echarts饼图显示百分比
查看>>
JMS消息
查看>>
Jenkins+ProGet+Windows Batch搭建全自动的内部包(NuGet)打包和推送及管理平台
查看>>
php上传文件及头像预览
查看>>
大四java实习生的一些经历
查看>>
线程池的概念
查看>>
Oracle_Statspack性能诊断工具
查看>>
转获取sql维护的表关系
查看>>
Java 序列化
查看>>
Java 时间处理实例
查看>>
Java 多线程编程
查看>>
Java 数组实例
查看>>
mysql启动过程
查看>>
2017前端面试题总结
查看>>
Http GetPost网络请求
查看>>
SWIFT国际资金清算系统
查看>>