报错问题描述ERROR:FAILED:ExecutionError,returncode30041fromorg.apache.hadoop.hive.ql.exec.spark.SparkTask.[wyh@hadoop1002spark]$*************************************************​ERROR:FAILED:ExecutionError,returncode30041fromorg.apache.hadoop.hive.ql.exec.spark.SparkTask.Failedtoexecutesparktask,withexcep

文章目录一、遇到问题二、排查过程：0、确认hive、spark版本1、确认SPARK_HOME环境变量2、hive创建的spark配置文件3、确认是否创建hdfs存储历史日志路径4、确认是否上传Spark纯净版jar包5、确认hive-site.xml配置文件三、解决问题四、后记一、遇到问题离线数仓hiveonspark模式，hive客户端sql插入数据报错Failedtoexecutesparktask,withexception'org.apache.hadoop.hive.ql.metadata.HiveException(FailedtocreateSparkclientforSpar

记录排错历程    问题简介：根据尚硅谷数仓4.0学习集群运行了一段时间，可以正常使用spark运行，出现阶段运行情况的红色框，但是不知道为什么突然有一次，返回30041code，无法运行创建sparksession。第一种情况：多尝试运行几次    刚开始是觉得集群内存不足，因为我的集群三台机器都是再虚拟机上的，整个电脑16G内存，每个hadoop10x分配4G左右，所以内存不足无法运行，当然这只是第一感觉，并没有查看日志证实。    通过xcallfree-h查看集群内存的运行情况，发现无法运行任务的时候，hadoop102内存使用了一些，注意这时候swap并没有用很多---------h