当前位置 博文首页 > Shockang的博客：Consider boosting spark.yarn.executor.memory
本文隶属于专栏《Spark异常问题汇总》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！
本专栏目录结构和参考文献请见 Spark异常问题汇总
spark submit 报错：
org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 2.0 failed 4 times, most recent failure: Lost task 0.3 in stage 2.0 (TID 9, bj-yarn002.aibee.cn, executor 7): ExecutorLostFailure (executor 7 exited caused by one of the running tasks) Reason: Container killed by YARN for exceeding memory limits. 5.1 GB of 4.5 GB physical memory used. Consider boosting spark.yarn.executor.memoryOverhead.
Driver stacktrace:
at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DAGScheduler.scala:1524)
at org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1512)
at org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1511)
不到100M
--executor-cores 1 --num-executors 5 --executor-memory 4g --driver-memory 4g
这是一个与 Spark Executor 和YARN Container 共存相关的非常具体的错误。
Spark Executor 使用的内存已超过预定义的限制（通常由个别的高峰期导致的），这导致 YARN 使用前面提到的消息错误杀死 Container。
默认情况下，“spark.yarn.executor.memoryOverhead”参数设置为 384 MB。
注意：从 Spark 2.3 开始，这个参数已经更名为：
spark.executor.memoryOverhead
根据应用程序和数据负载的不同，此值可能较低。
此参数的建议值为“executorMemory * 0.10”。
我们可以将“spark.yarn.executor.memoryOverhead”的值增加到1GB，在 spark-submit 上将此添加到命令行：
–conf spark.yarn.executor.memoryOverhead=1024
cs关于 spark.executor.memoryOverhead 请参考我的博客——spark.executor.memoryOverhead
