草庐IT

spark安装教程

大大柚子 2023-07-12 原文

spark安装

IP

192.168.42.121

192.168.42.122

192.168.42.123

映射名

master

slave1

slave2

  1. 1.用xftp上传spark压缩包到/usr/local/src/中，解压到此目录中，

tar -zxvf spark-2.3.1-bin-hadoop2.7.tgz

 

2.改名为spark

mv spark-2.3.1-bin-hadoop2.7 spark

3.将spark-env.sh.template配置模板文件复制一份并命名为spark-env.sh

cp spark-env.sh.template spark-env.sh

 

4.修改spark-env.sh文件，在该文件最后位置添加以下内容：（其中的master是主机映射的IP）

#配置java环境变量

export JAVA_HOME=/usr/local/src/jdk1.8

#指定master的IP

export SPARK_MASTER_HOST=master

#指定Master的端口

export SPARK_MASTER_PORT=7077

 

修改配置文件

复制slaves.template文件，并重命名为slaves

cp slaves.template slaves

修改spark-env.sh文件，在该文件添加以下内容：通过“vi slaves”命令编辑slaves配置文件，主要是指定spark集群中的从节点IP，由于在hosts文件中已经配置了IP和主机名的映射关系，因此直接使用主机名代替IP，添加内容如下：

slave1

slave2

分发文件

修改完成配置文件后，将spark目录分发至slave1和slave2节点

scp -r /usr/local/src/spark/  root@slave1:/usr/local/src/spark

scp -r /usr/local/src/spark/  root@slave2:/usr/local/src/spark

启动spark集群

切换到spark目录（usr/local/src/spark）

sbin/start-all.sh

 

master集群进程

 

Slave1集群进程

 

Slave2集群进程

 

 

HA高可用

原理：

Spark standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着master单点故障的问题?

如何解决这个问题呢？Spark提供了两种方案：

  1. 基于文件系统的单点恢复（Single-Node Recovery with Local File System）只能用于开发或测试环境。
  2. 基于zookeeper的Standby Master（Standby Master with Zookeeper）可用于生产环境

配置HA

首先启动一个Zookeeper集群，然后在不同节点上启动master，注意这些节点需要具有相同的zookeeper配置。

先停止spark集群（/usr/local/src/spark/sbin下）

stop-all.sh

 

在master节点上配置：

vi /usr/local/src/spark/conf/spark-env.sh

注释掉master配置

 

继续在里面添加内容

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER

-Dspark.deploy.zookeeper.url=master:2182,slave1:2181,slave2:2181

-Dspark.deploy.zookeeper.dir=/spark"

分发配置文件到slave1和slave2

启动zk集群

zkServer.sh start

在master节点上启动spark集群

start-all.sh

在slave1节点中启动master：要加上“./”

./start-master.sh

注意：

在普通模式下启动spark集群，只需要在主节点上执行start-all.sh就可以了

在高可用模式下启动spark集群，先需要在任意一台主节点(master)执行start-all.sh，然后再另外一台主节点(slave1)单独执行start-master.sh

master节点上是ALIVE

 

 

Slave1上是STANDBY

 

 

关闭master节点上的master进程，或者通过jps查看master进程端id，在杀死它，任选一种即可。

1.杀死master节点master进程端口id

 

2.停止master节点的master进程

./stop-master.sh

 

 

刷新slave1的web界面，显示成ALIVE

 

再次启用master节点的master进程，显示master节点是STANDBY

 

启动spark的命令是(在usr/local/src/spark中)：

./bin/spark-shell

 

spark安装margin-lefttext-alignstylehadoop

有关spark安装教程的更多相关文章

  1. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

  2. ruby - 完全离线安装RVM - 2

    我打算为ruby​​脚本创建一个安装程序，但我希望能够确保机器安装了RVM。有没有一种方法可以完全离线安装RVM并且不引人注目(通过不引人注目，就像创建一个可以做所有事情的脚本而不是要求用户向他们的bash_profile或bashrc添加一些东西)我不是要脚本本身，只是一个关于如何走这条路的快速指针(如果可能的话)。我们还研究了这个很有帮助的问题:RVM-isthereawayforsimpleofflineinstall?但有点误导，因为答案只向我们展示了如何离线在RVM中安装ruby。我们需要能够离线安装RVM本身，并查看脚本https://raw.github.com/wayn

  3. ruby-on-rails - rails 目前在重启后没有安装 - 2

    我有一个奇怪的问题:我在rvm上安装了ruby​​onrails。一切正常，我可以创建项目。但是在我输入“railsnew”时重新启动后，我有“程序'rails'当前未安装。”。SystemUbuntu12.04ruby-v"1.9.3p194"gemlistactionmailer(3.2.5)actionpack(3.2.5)activemodel(3.2.5)activerecord(3.2.5)activeresource(3.2.5)activesupport(3.2.5)arel(3.0.2)builder(3.0.0)bundler(1.1.4)coffee-rails(

  4. ruby - 如何为 emacs 安装 ruby​​-mode - 2

    我刚刚为fedora安装了emacs。我想用emacs编写ruby。为ruby​​提供代码提示、代码完成类型功能所需的工具、扩展是什么？ 最佳答案 ruby-mode已经包含在Emacs23之后的版本中。不过，它也可以通过ELPA获得。您可能感兴趣的其他一些事情是集成RVM、feature-mode(Cucumber)、rspec-mode、ruby-electric、inf-ruby、rinari(用于Rails)等。这是我当前用于Ruby开发的Emacs配置:https://github.com/citizen428/emacs

  5. ruby-on-rails - 无法在centos上安装therubyracer(V8和GCC出错) - 2

    我正在尝试在我的centos服务器上安装therubyracer，但遇到了麻烦。$geminstalltherubyracerBuildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingtherubyracer:ERROR:Failedtobuildgemnativeextension./usr/local/rvm/rubies/ruby-1.9.3-p125/bin/rubyextconf.rbcheckingformain()in-lpthread...yescheckingforv8.h...no***e

  6. ruby - 通过 RVM (OSX Mountain Lion) 安装 Ruby 2.0.0-p247 时遇到问题 - 2

    我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止，这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search

  7. ruby - 如何在 Lion 上安装 Xcode 4.6，需要用 RVM 升级 ruby - 2

    我实际上是在尝试使用RVM在我的OSX10.7.5上更新ruby，并在输入以下命令后:rvminstallruby我得到了以下回复:Searchingforbinaryrubies,thismighttakesometime.Checkingrequirementsforosx.Installingrequirementsforosx.Updatingsystem.......Errorrunning'requirements_osx_brew_update_systemruby-2.0.0-p247',pleaseread/Users/username/.rvm/log/138121

  8. ruby - Fast-stemmer 安装问题 - 2

    由于fast-stemmer的问题，我很难安装我想要的任何ruby​​gem。我把我得到的错误放在下面。Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingfast-stemmer:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcreatingMakefilemake"DESTDIR="cleanmake"DESTDIR=

  9. ruby - 安装 Ruby 时遇到问题(无法下载资源 "readline--patch") - 2

    当我尝试安装Ruby时遇到此错误。我试过查看this和this但无济于事➜~brewinstallrubyWarning:YouareusingOSX10.12.Wedonotprovidesupportforthispre-releaseversion.Youmayencounterbuildfailuresorotherbreakages.Pleasecreatepull-requestsinsteadoffilingissues.==>Installingdependenciesforruby:readline,libyaml,makedepend==>Installingrub

  10. ruby - 通过 RVM 安装 Ruby 1.9.2 永远行不通! - 2

    当我执行>rvminstall1.9.2时一切顺利。然后我做>rvmuse1.9.2也很顺利。但是当涉及到ruby​​-v时..sam@sjones:~$rvminstall1.9.2/home/sam/.rvm/rubies/ruby-1.9.2-p136,thismaytakeawhiledependingonyourcpu(s)...ruby-1.9.2-p136-#fetchingruby-1.9.2-p136-#downloadingruby-1.9.2-p136,thismaytakeawhiledependingonyourconnection...%Total%Rece

随机推荐