草庐IT

spark报错：WARN TaskSchedulerImpl: Initial job has not accepted any resources； check your cluster UI...

Mooney安 2023-04-03 原文

1 报错描述

在使用spark跑任务时，进度条突然停止，并且warning了，而且持续…

WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

2 分析&解决

翻译报错：初始作业未接受任何资源；请检查群集UI以确保工作进程已注册并且有足够的资源
ok，那么就从两个角度出发：
1、检查群集UI以确保工作进程已注册
2、有足够的资源

2.1集群节点未完全开启

如果开启的是集群模式的情况下，要保证三个节点的服务都是开启的状态。否则就会报错
在./spark-3.0.3-bin-hadoop3.2/sbin 目录下，重启！

./stop-all.sh
./start-all.sh
jps  #查看


基本上问题可以解决啦~

2.2是spark节点内存不够了

内存可以在spark的配置文件—>spark-env.sh中可以看到。
文件目录： ./spark-3.0.3-bin-hadoop3.2/conf

进入后可以看到内存情况

同时访问浏览器（前提是服务都起来了哈~）
http://192.168.19.3:8080/ 这个ip是我自己的master
大家可以使用你们的 master:8080 进行访问

如果此时发现running模块，正在有一个进程占用，那么就找到原因了，把这个kill就行，再执行自己的

tips

也需要注意一下，自己使用的环境对不对。例如，我很久很久之前是在conda的base运行的代码，那么最好还是在这个环境下，实测之前忘记conda activate base 激活环境，然后直接运行时也报了这个错误，后面进入环境再运行就好啦~

good luck！

TaskSchedulerImplresourcesspanxffxff0cspark

有关spark报错：WARN TaskSchedulerImpl: Initial job has not accepted any resources； check your cluster UI...的更多相关文章

  1. 深度学习部署：Windows安装pycocotools报错解决方法 - 2

    深度学习部署：Windows安装pycocotools报错解决方法1.pycocotools库的简介2.pycocotools安装的坑3.解决办法更多Ai资讯：公主号AiCharm本系列是作者在跑一些深度学习实例时，遇到的各种各样的问题及解决办法，希望能够帮助到大家。ERROR:Commanderroredoutwithexitstatus1:'D:\Anaconda3\python.exe'-u-c'importsys,setuptools,tokenize;sys.argv[0]='"'"'C:\\Users\\46653\\AppData\\Local\\Temp\\pip-instal

  2. ruby-on-rails - 报错 - 在 Snow Leopard 上安装 RVM - 2

    我正在尝试在我的SnowLeopard10.6.8上安装RVM，方法是:\curl-Lhttps://get.rvm.io|bash-sstable--ruby我得到这个错误:InstallingRubyfromsourceto:/Users/Villa/.rvm/rubies/ruby-2.0.0-p0,thismaytakeawhiledependingonyourcpu(s)...ruby-2.0.0-p0-#downloadingruby-2.0.0-p0,thismaytakeawhiledependingonyourconnection...ruby-2.0.0-p0-#e

  3. Unity 报错No ‘git‘ executable was found. Please install Git on your system then restart - 2

    亲测可用。Anerroroccurredwhileresolvingpackages:Projecthasinvaliddependencies: com.unity.xxx:No'git'executablewasfound.PleaseinstallGitonyour  systemthenrestartUnityandUnityHub在我们使用PackageManager时，Unity允许我们使用Git上的package（点击加号，选择addpackagefromgitURL，或者是直接在Asset/Packages/manifest.json中添加包名）。但是这种操作需要我们事先装好g

  4. ruby-on-rails - Rails/Ruby创建数据库报错: Unable to load the EventMachine C extension - 2

    更新:eventmachinegem已安装并在我的gemfile中:eventmachine(1.0.0,0.12.10)请帮忙!尝试使用以下内容创建数据库:Fitzs-MacBook-Pro:twilio_insanityFitz$rakedb:create'返回以下错误:UnabletoloadtheEventMachineCextension;Tousethepure-rubyreactor,require'em/pure_ruby'rakeaborted!cannotloadsuchfile--rubyeventmachine/Users/Fitz/.rvm/gems/ruby

  5. nginx配置https后报错nginx: [emerg] https protocol requires SSL support in XXX.conf详细解决方法 - 2

    一、前言最近，在测试环境的nginx里增加了一个https配置：location/api-meeting-qq/{proxy_passhttps://api.meeting.qq.com/;}然后，执行命令：//这个是nginx启动文件的路径，根据实际情况自行更改sudo/home/useradmin/nginx/sbin/nginx-sreload结果，nginx就报错了：nginx:[emerg]httpsprotocolrequiresSSLsupportin/home/useradmin/nginx/conf.d/trainNginx.conf:9二、解决方法百度发现，是之前安装ngi

  6. Spark的常用SQL日期函数 - 2

    一、获取当前时间1、current_date当前日期（年月日）Examples：SELECTcurrent_date;2、current_timestamp/now()当前日期（时间戳）Examples：SELECTcurrent_timestamp;二、从日期字段中提取时间1、year,month,day/dayofmonth,hour,minute,secondExamples：SELECTyear(now())；其他的日期函数以此类推month:1day:12（当月的第几天）dayofmonth：12hour,minute,second：分别对应时分秒2、dayofweek、dayofm

  7. nvm报错Now using node v版本号 （64-bit）解决方法 - 2

    nvm报错Nowusingnodev版本号（64-bit）解决方法先上报错（安装后的一些问题请直接跳到尾部查看）安装NVM的原因是使用React时addreact-redux时提示我node版本问题，遂打算安装一Node版本管理工具因为我电脑上很早就安装了Node，安装NVM时提示我是否覆盖并管理本地已有版本，我选了Yes之后安装成功（后来检查发现和版本没关系，是因为我在node里去ADD真离谱自己这操作）安装NVM注意问题1.若修改安装路径一定补上nodejs2.打开安装文件位置3.增加以下映射node_mirror:npm.taobao.org/mirrors/node/npm_mirro

  8. git push报错：fatal: Authentication failed for ‘https://github.com/... - 2

    第一次用git传代码到GitHub时，填写用户名和密码出现报错：fatal:Authenticationfailedfor'https://github.com/试了下面的没用😢gitconfig-–globaluser.name"xxx"gitconfig--globaluser.email"xxx@xx.com"查看报错原因发现是因为git更新了认证方式在错误提示（糟糕忘截图）的网站里有说明-->https://docs.github.com/en/get-started/getting-started-with-git/about-remote-repositories#cloning-

  9. ruby - 在 Ruby 中，为什么在启动 irb 之后出现 foo.nil？说未定义的错误，@foo.nil？给出 "true"和 @@wah.nil？又报错了？ - 2

    在Ruby1.8.7和1.9.2中相同:$irbruby-1.8.7-p302>foo.nil?NameError:undefinedlocalvariableormethod`foo'for#from(irb):1ruby-1.8.7-p302>@bar.nil?=>trueruby-1.8.7-p302>@@wah.nil?NameError:uninitializedclassvariable@@wahinObjectfrom(irb):3为什么实例变量与局部变量和类变量的处理方式不同？ 最佳答案 在Ruby中，大多数未初始化

  10. Fiddler手机抓包网络报错解决办法 - 2

    首先打开fiddler，点击Tools-Options-Connections一、这里有两个注意点点击HTTPS，左边选项选择如图，右边Actions点击如图第二项会提示Success，点击确定点击Connections，这里注意Fiddlerlistensonport这里面填写默认8888即可，左边三个选项选择如图，以上操作完成后，重启Fiddler二、手机打开WiFi1.长按或者点击Wifi进行修改网络（如不会操作，此处根据具体机型自行百度）修改代理为手动，服务器主机名两种方式可以查到：①win+R，在输入框输入cmd，在弹窗中输入ipconfig，此时IPv4后面的地址就是你的主机ip，

随机推荐