导航：首页 > 互联网科技 >

spark源码阅读（一）启动代码阅读

发表于：2024-11-23 作者：热门IT资讯网编辑

编辑最后更新 2024年11月23日，spark启动代码阅读：spark使用一系列的shell脚本作为入口：其中bin目录下面是任务提交的脚本；sbin目录是master和worker启停相关的脚本。而所有脚本最后都是通过调用bin/sp

spark启动代码阅读：

spark使用一系列的shell脚本作为入口：其中bin目录下面是任务提交的脚本；sbin目录是master和worker启停相关的脚本。

而所有脚本最后都是通过调用bin/spark-class来实现对java（scala）代码的调用。

----------------------spark-class获取java参数分析开始-------------------------------------

spark-class的代码处理流程：

调用org.apache.spark.launcher.Main并把传入的参数代入，以获取到具体的参数：

("$RUNNER" -cp "$LAUNCH_CLASSPATH" org.apache.spark.launcher.Main "$@")将参数代入，即执行的是：

/usr/java/jdk/bin/java -cp /home/xxx/spark/lib/spark-assembly-1.5.2-hadoop2.5.0-cdh6.3.2.jar org.apache.spark.launcher.Main org.apache.spark.deploy.SparkSubmit --class com.xxx.xxxx.stat.core.Main --master spark://xxxx1:7077,xxxx2:7077 --executor-memory 2G --driver-memory 5G --total-executor-cores 10 /home/xxx/xxxxxxx/bigdata-xxxxxxx.jar com.xxx.xxxx.stat.xxx.XXXXJob 20180527 20180528

这行代码返回的是：

/usr/java/jdk/bin/java -cp /home/xxx/spark/libext/*:/home/xxx/spark/conf/:/home/xxx/spark/lib/spark-assembly-1.5.2-hadoop2.5.0-cdh6.3.2.jar:/home/xxx/spark/lib/datanucleus-api-jdo-3.2.6.jar:/home/xxx/spark/lib/datanucleus-core-3.2.10.jar:/home/xxx/spark/lib/datanucleus-rdbms-3.2.9.jar:/home/xxx/yarn/etc/hadoop -DLOG_LEVEL=INFO -DROLE_NAME=console -Xms5G -Xmx5G -Xss32M -XX:PermSize=128M -XX:MaxPermSize=512M org.apache.spark.deploy.SparkSubmit --master spark://xxxx1:7077,xxxx2:7077 --conf spark.driver.memory=5G --class com.xxx.xxxx.stat.core.Main --executor-memory 2G --total-executor-cores 10 /home/xxx/xxxxxxx/bigdata-xxxxxxx.jar com.xxx.xxxx.stat.xxx.XXXXJob 20180527 20180528

可以看出org.apache.spark.launcher.Main类的主要作用就是填充了最终执行的java命令的参数。包括classpath、java命令的堆栈参数等。下面分析下实现过程：

1.org.apache.spark.launcher.Main是一个单独的路径，不属于core的一部分。

2.org.apache.spark.launcher.Main这个类对于org.apache.spark.deploy.SparkSubmit这个的调用，创建了builder = new SparkSubmitCommandBuilder(args);用来规整sparksubmit命令的java参数。

3.对于其他的调用（应该主要是master和worker的调用），创建了builder = new SparkClassCommandBuilder(className, args);用于规整其他命令的java参数。

对于上面两种情况，都是先初始化，然后调用builder的buildCommand方法两步就生成了java代码的参数。

SparkSubmitCommandBuilder通过调用内部类class OptionParser extends SparkSubmitOptionParser 进行对参数的解析。

classpath主要在

buildCommand

buildSparkSubmitCommand

buildJavaCommand(在父类中)

在各种可能含有classpath的地方获取。

-Xms5G -Xmx5G这两个参数是在buildSparkSubmitCommand中的通过参数中的SPARK_DRIVER_MEMORY(spark.driver.memory)解析获取到的

-Xss32M -XX:PermSize=128M -XX:MaxPermSize=512M则是通过addPermGenSizeOpt(cmd);在配置文件中的spark.driver.extraJavaOptions这个配置项（DRIVER_EXTRA_JAVA_OPTIONS = "spark.driver.extraJavaOptions";）解析获取到的。

----------------------------spark-class获取java参数分析结束----------------------------------------------------------

先分析下目前使用较多的bin/spark-submit(spark任务提交，driver进程启动)、sbin/start-master.sh（后台启动，master进程启动）、sbin/start-slave.sh(后台启动，worker进程启动)，启动代码都在spark-1.5.2\core\src\main\scala\org\apache\spark\deploy：

spark-submit

通过spark-class调用的类名：org.apache.spark.deploy.SparkSubmit

下面来分析，是怎么把driver启动起来的，分析类SparkSubmit.scala

传入的参数主要是：

--conf spark.driver.memory=5G

--class com.xxx.xxxx.stat.core.ExcuteMain

--executor-memory 2G

--total-executor-cores 10

/home/xxx/xxxxxxx/bigdata-xxxxxxx.jar

com.xxx.xxxx.stat.xxx.XXXXJob

20180527

20180528

SparkSubmit的Main函数，通过val appArgs = new SparkSubmitArguments(args)获取到进一步解析的参数，然后调用submit(appArgs)，就实现了提交。

SparkSubmitArguments类，先调用上面org.apache.spark.launcher.Main调用过的org.apache.spark.launcher.SparkSubmitOptionParser的parse来对参数进行解析，然后调用loadEnvironmentArguments对环境中可能配置的参数进行解析或者赋予默认值。最后给action参数赋予SUBMIT的默认值：

action = Option(action).getOrElse(SUBMIT)

下面看submit的方法的处理过程：