1. 合理设置executor的内存大小:
在spark-defaults.conf文件中设置spark.executor.memory参数,该参数控制executor的内存大小,一般设置为每个executor的内存大小,可以根据实际情况调整。
2. 调整executor的数量:
在spark-defaults.conf文件中设置spark.executor.instances参数,该参数控制executor的数量,一般设置为每个executor的数量,可以根据实际情况调整。
3. 调整executor的cores:
在spark-defaults.conf文件中设置spark.executor.cores参数,该参数控制executor的cores,一般设置为每个executor的cores,可以根据实际情况调整。
4. 调整spark.sql.shuffle.partitions参数:
在spark-defaults.conf文件中设置spark.sql.shuffle.partitions参数,该参数控制shuffle操作的分区数,一般设置为每个executor的cores的数量,可以根据实际情况调整。
5. 调整spark.default.parallelism参数:
在spark-defaults.conf文件中设置spark.default.parallelism参数,该参数控制默认的并行度,一般设置为每个executor的cores的数量,可以根据实际情况调整。
6. 调整spark.sql.autoBroadcastJoinThreshold参数:
在spark-defaults.conf文件中设置spark.sql.autoBroadcastJoinThreshold参数,该参数控制自动广播连接的阈值,一般设置为比较小的值,可以根据实际情况调整。
7. 调整spark.sql.inMemoryColumnarStorage.compressed参数:
在spark-defaults.conf文件中设置spark.sql.inMemoryColumnarStorage.compressed参数,该参数控制内存中的列存储是否压缩,一般设置为true,可以根据实际情况调整。
免责申明:
本文系转载,版权归原作者所有,如若侵权请联系我们进行删除!
《数据治理行业实践白皮书》下载地址:https://fs80.cn/4w2atu
《数栈V6.0产品白皮书》下载地址:https://fs80.cn/cw0iw1
想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs
同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack