我完成了工作，阅读了 https://spark.apache.org/docs/latest/configuration.html 上的文档
in spark-folder/conf/spark-env.sh:
以上3个参数是什么关系？
据我了解，DRIVER_MEMORY 是主节点/进程可以请求的最大内存。但是对于驱动程序，多机情况如何，例如。 1 master 机器和 2 worker 机器，worker 机器也应该有一些内存可供 spark driver 使用？
EXECUTOR_MEMORY 和 WORKER_MEMORY 对我来说是一样的，只是名称不同，请问这也能解释一下吗？
非常感谢。
最佳答案
首先，您应该知道 1 个Worker(可以说是 1 台机器或 1 个 Worker 节点)可以启动多个 Executors(或多个 Worker Instances - 他们在文档中使用的术语。
SPARK_WORKER_MEMORY 仅用于独立部署模式SPARK_EXECUTOR_MEMORY用于YARN部署模式在独立模式下，您将 SPARK_WORKER_MEMORY 设置为可以在一台机器(这台机器上的所有执行程序)上使用的内存总量来运行您的 spark 应用程序。
相比之下，在 YARN 模式下，您将 SPARK_DRIVER_MEMORY 设置为 one Executor
SPARK_DRIVER_MEMORY 在 YARN 部署模式下使用，为运行您的应用程序并与集群管理器通信的驱动程序指定内存。关于linux - Spark配置，SPARK_DRIVER_MEMORY、SPARK_EXECUTOR_MEMORY、SPARK_WORKER_MEMORY有什么区别？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/29955075/
我在rspec中收到来自webkit驱动程序的以下消息:Capybara::Driver::Webkit::WebkitInvalidResponseError:UnabletoloadURL:http://127.0.0.1:44923/posts几天前它成功了。问题出在save_page方法上。有什么问题吗？ 最佳答案 当我的页面出现错误时，我收到过类似的错误消息。您应该通过在测试模式下启动服务器(railss-etest)并自行访问页面来手动检查情况是否如此。 关于ruby-on-
Linux操作系统——网络配置与SSH远程安装完VMware与系统后，需要进行网络配置。第一个目标为进行SSH连接，可以从本机到VMware进行文件传送，首先需要进行网络配置。1.下载远程软件首先需要先下载安装一款远程软件：FinalShell或者xhell7FinalShellxhell7FinalShell下载：Windows下载http://www.hostbuf.com/downloads/finalshell_install.exemacOS下载http://www.hostbuf.com/downloads/finalshell_install.pkg2.配置CentOS网络安装好
文章目录一基础定义二创建逻辑卷2-1准备物理设备2-2创建物理卷2-3创建卷组2-4创建逻辑卷2-5创建文件系统并挂载文件三扩展卷组和缩减卷组3-1准备物理设备3-2创建物理卷3-3扩展卷组3-4查看卷组的详细信息以验证3-5缩减卷组四扩展逻辑卷4-1检查卷组是否有可用的空间4-2扩展逻辑卷4-3扩展文件系统五删除逻辑卷5-1备份数据5-2卸载文件系统5-3删除逻辑卷5-4删除卷组5-5删除物理卷六LVM逻辑卷缩容6-1缩容注意事项6-2标准缩容步骤一基础定义LVM，LogicalVolumeManger，逻辑卷管理，Linux磁盘分区管理的一种机制，建立在硬盘和分区上的一个逻辑层，提高磁盘分
如何在Ruby中获取linux系统(这必须适用于Fedora、Ubuntu等)的软件/硬件信息？ 最佳答案 Chef背后的优秀人才，拥有一颗名为Ohai的优秀gemhttps://github.com/opscode/ohai以散列形式返回系统信息，例如操作系统、内核、规范、fqdn、磁盘、空间、内存、用户、接口(interface)、sshkey等。它非常完整，非常好。它还会安装命令行二进制文件(也称为ohai)。 关于ruby-如何在Ruby中获取linux系统信息，我们在Stack
我在LinuxMint17.2上。我最近使用apt-getpurgeruby删除了ruby。然后我安装了rbenv然后rbenvinstall2.3.0所以现在，~/.rbenv/versions/2.3.0/bin/ruby存在。但是现在，我无法执行geminstallrubocop。我明白了:$geminstallrubocoprbenv:gem:commandnotfoundThe`gem'commandexistsintheseRubyversions:2.3.0但是我可以~/.rbenv/versions/2.3.0/bin/geminstallrubocop。但是，
我是Ruby和RoR的新手。我有一个带有Ubuntu镜像的干净Linode实例，我想从源代码编译Ruby而不是使用apt-get。我已经在谷歌上搜索了执行此操作的说明，但经过一些尝试后，当我尝试运行一些教程示例时，我不断收到有关缺少zlib和其他一些包的错误。任何人都可以给我详细的说明(或链接)，教我如何在从源代码编译Ruby之前安装必要的必备包吗？我的目的是编译Ruby的最新稳定版本，然后安装Rubygems和Rails。提前感谢您的帮助!!! 最佳答案 Thisblogpost涵盖从源代码编译ruby所需的包和安装过程；它引
我正在尝试在RubyOnRails中注册一个服务worker来实现推送通知GCM。但是没有任何反应。请看下面我的代码:if('serviceWorker'innavigator){navigator.serviceWorker.register('/assets/service-worker.js').then(initialiseState);}else{window.Demo.debug.log('Serviceworkersaren\'tsupportedinthisbrowser.');这部分工作正常。但是，当我调用navigator.serviceWorker.ready.t
我在生产网站上使用Resque。当我部署时，我希望GOD停止所有worker然后重新启动它们，因为有时我们更改类的代码并重新排队失败的作业。问题是，当我执行godstopresque时，rake实际上并没有停止，工作人员仍然活着并使用旧代码，这给我带来了各种各样的问题。即使我“上帝终止”它也不会杀死worker。现在，我正在使用shell脚本来杀死工作人员，但由于我有不止一台服务器，所以在所有生产服务器上进行操作非常痛苦。这是我的上帝配置文件:rails_env=ENV['RAILS_ENV']||"production"rails_root=ENV['RAILS_ROOT']||"/
目录POSIXAPI大集合五元组三次握手的过程,内核协议栈分析listen函数DDOS攻击,洪水攻击DDOS攻击的应对措施数据发送 怎么保证顺序？如何保证包地顺序到达(序号+确认应答机制+重传)TCP断开连接的过程问题1.大量的CLOSE_WAIT+FIN_WAIT2是为啥?time_wait状态存在的原因？POSIXAPI大集合五元组(sip,sport,dip,dport,protocol)三次握手的过程,内核协议栈分析内核协议栈中是有内核数据结构的. 我们send/write数据,都是先发送到内核协议栈中，然后由内核协议栈封装发送到物理介质中传输到对端的对端的接收过程也是经有内核协议栈
背景:Linuxexport命令用于设置或显示环境变量。在shell中执行程序时，shell会提供一组环境变量。export可新增，修改或删除环境变量，供后续执行的程序使用。export的效力仅限于该次登陆操作。语法：export[-fnp][变量名称]=[变量设置值]参数说明：-f 代表[变量名称]中为函数名称。-n 删除指定的变量。变量实际上并未删除，只是不会输出到后续指令的执行环境中。-p 列出所有的shell赋予程序的环境变量。实例：列出当前所有的环境变量#export-p//列出当前的环境变量值定义环境变量赋值#exportMYENV=7//定义环境变量并赋值添加环境变量：默认保存在