博客 SparkSQL详细的调优步骤及参数配置?

SparkSQL详细的调优步骤及参数配置?

   数栈君   发表于 2023-05-25 11:30  310  0

1. 合理设置executor的内存大小:
在spark-defaults.conf文件中设置spark.executor.memory参数,该参数控制executor的内存大小,一般设置为每个executor的内存大小,可以根据实际情况调整。
2. 调整executor的数量:
在spark-defaults.conf文件中设置spark.executor.instances参数,该参数控制executor的数量,一般设置为每个executor的数量,可以根据实际情况调整。
3. 调整executor的cores:
在spark-defaults.conf文件中设置spark.executor.cores参数,该参数控制executor的cores,一般设置为每个executor的cores,可以根据实际情况调整。
4. 调整spark.sql.shuffle.partitions参数:
在spark-defaults.conf文件中设置spark.sql.shuffle.partitions参数,该参数控制shuffle操作的分区数,一般设置为每个executor的cores的数量,可以根据实际情况调整。
5. 调整spark.default.parallelism参数:
在spark-defaults.conf文件中设置spark.default.parallelism参数,该参数控制默认的并行度,一般设置为每个executor的cores的数量,可以根据实际情况调整。
6. 调整spark.sql.autoBroadcastJoinThreshold参数:
在spark-defaults.conf文件中设置spark.sql.autoBroadcastJoinThreshold参数,该参数控制自动广播连接的阈值,一般设置为比较小的值,可以根据实际情况调整。
7. 调整spark.sql.inMemoryColumnarStorage.compressed参数:
在spark-defaults.conf文件中设置spark.sql.inMemoryColumnarStorage.compressed参数,该参数控制内存中的列存储是否压缩,一般设置为true,可以根据实际情况调整。

免责申明:

本文系转载,版权归原作者所有,如若侵权请联系我们进行删除!

《数据治理行业实践白皮书》下载地址:https://fs80.cn/4w2atu

《数栈V6.0产品白皮书》下载地址:
https://fs80.cn/cw0iw1

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:
https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:
https://github.com/DTStack

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群