云计算 - 1 - 三虚拟机Hadoop的安装和配置
配置Hadoop云计算平台，包括NameNode和DataNode的设置。
测试Hadoop平台的运行情况。
1.1 首先三台虚拟机的javac均能通过
安装Java的教程可参考：Linux 使用yum安装Java
1.2 修改各虚拟机的地址使其不同：
在主节点进行，后面会复制给另外两个节点。
使用vim /etc/hosts打开hosts文件，在其中添加各个主机名和地址。
3.1 下载方式：
1、wegt 获取 tar 包：
wget http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz
2、百度网盘
链接：https://pan.baidu.com/s/1D2JeQsTb-ty4KDVWzaGKLg
提取码：98ud
3.2 解压
使用 tar 命令解压，注意修改 hadoop-xxx 后的版本号与自己的相同。
tar -zxvf hadoop-2.7.1.tar.gz
得到：
使用vim ~/.bashrc（也有的修改vim /etc/profile），进入配置文件并添加：
export HADOOP_ HOME=/home/lucky/hadoop/hadoop-2.6.0
export HADOOP_ CONFIG_HOME= $HADOOP_ HOME/etc/hadoop
export PATH=$PATH: $HADOOP_HOME/bin
export PATH=$PATH: $HADOOP_HOME/sbin
注意修改路径和版本号与自己的一致。
进入 hadoop 路径下的 etc 文件夹，修改以下几个文件。
5.1 配置 core-site.xml
5.2 配置 hdfs-site.xml
5.3 配置 mapred-site.xml
5.4 配置 hadoop-env.sh
5.5 配置 slaves
DataNode-1
DataNode-2
6.1 修改节点名称
登陆每个节点，修改名字如hosts中配置的那样：
在主节点：vi /etc/hostname，修改为 NameNode-1
登录节点1：
ssh 192.168.203.130
vi /etc/hostname
修改内容为：DataNode-1
然后exit退出。
登录节点2：
ssh 192.168.203.131
vi /etc/hostname
修改内容为：DataNode-2
然后exit退出。
6.2 将文件复制给两个datanode
将 hosts 及 bashrc 文件同步到 datanode1，datanode2 节点：
scp /etc/hosts/ root@10.10.12.112:/etc/hosts
scp /etc/hosts/ root@10.10.12.113:/etc/hosts
scp ~/.bashrc root@datanode1:~/.bashrc
scp ~/.bashrc root@datanode2:~/.bashrc
6.3 生成访问密钥，实现无密码访问
按照下述操作，生成访问秘钥 ssh-keygen -t rsa，3台机器共享秘钥，可以无密码访问。
## 在主机生成密钥
ssh-keygen -t rsa (just input three enters)
## 在节点1生成密钥，发给主机
ssh DataNode-1
ssh-keygen -t rsa (just input three enters)
scp /root/.ssh/id_rsa.pub root@NameNode-1:/root/.ssh/id_rsa.pub.DataNode-1
## 在节点2生成密钥，发给主机
ssh DataNode-2
ssh-keygen -t rsa (just input three enters)
scp /root/.ssh/id_rsa.pub root@NameNode-1:/root/.ssh/id_rsa.pub.DataNode-2
## 回到主机，整合三个密钥，再发给两个节点。
ssh NameNode-1
cd /root/.ssh
cat id_rsa.pub >> authorized_keys
cat id_rsa.pub.DataNode-1 >> authorized_keys
cat id_rsa.pub.DataNode-2 >> authorized_keys
chmod 644 authorized_keys
scp ~/.ssh/authorized_keys root@DataNode-1:/root/.ssh/authorized_keys
scp ~/.ssh/authorized_keys root@DataNode-2:/root/.ssh/authorized_keys
6.4 测试链接
这里要关闭各个虚拟机的防火墙，否则可能会无法成功。
service iptables stop
然后分别使用
ssh DataNode-1
ssh DataNode-2
ssh NameNode-1
测试是否可以成功无密码访问。
7.1 复制文件到节点
将主机配置好的 hadoop 和 jdk 发给另外两个节点。
scp -r /home/hadoop/ root@DataNode-1:/home/hadoop
scp -r /home/hadoop/ root@Datanode-2:/home/hadoop
scp -r /home/jdk/ root@DataNode-1:/home/jdk
scp -r /home/jdk/ root@DataNode-2:/home/jdk
7.2 格式化工作空间
使用cd $HADOOP_HOME cd bin进入bin目录下，然后使用hdfs namenode –format格式化工作空间。
7.3 启动 hadoop
使用start-all.sh启动程序
7.4 测试
查看 jps、hdfs dfsadmin -report 命令查看结果。
hdfs dfsadmin -report
jps
还可以使用:
hadoop fs -put aaa.txt /aaa.txt
hadoop fs -ls /
put文件进去并查看。
刚开始时 DataNode 运行不起来，如下图所示：
后来查询相关资料得知，这是因为namenode和datanode的clusterID不一致导致的datanode无法启动，产生的原因是多次hdfs namenode -format，而每一次format都会产生新的clusterID，而datanode还保持原来的clusterID，导致二者不匹配。
解决的办法即是把datanode节点中的clusterID换成新的就好了，或者把namenode和datanode中上一次format的文件都给删除，重新format，二者的clusterID就又同步了。
我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po
我打算为ruby脚本创建一个安装程序，但我希望能够确保机器安装了RVM。有没有一种方法可以完全离线安装RVM并且不引人注目(通过不引人注目，就像创建一个可以做所有事情的脚本而不是要求用户向他们的bash_profile或bashrc添加一些东西)我不是要脚本本身，只是一个关于如何走这条路的快速指针(如果可能的话)。我们还研究了这个很有帮助的问题:RVM-isthereawayforsimpleofflineinstall?但有点误导，因为答案只向我们展示了如何离线在RVM中安装ruby。我们需要能够离线安装RVM本身，并查看脚本https://raw.github.com/wayn
我有一个奇怪的问题:我在rvm上安装了rubyonrails。一切正常，我可以创建项目。但是在我输入“railsnew”时重新启动后，我有“程序'rails'当前未安装。”。SystemUbuntu12.04ruby-v"1.9.3p194"gemlistactionmailer(3.2.5)actionpack(3.2.5)activemodel(3.2.5)activerecord(3.2.5)activeresource(3.2.5)activesupport(3.2.5)arel(3.0.2)builder(3.0.0)bundler(1.1.4)coffee-rails(
我刚刚为fedora安装了emacs。我想用emacs编写ruby。为ruby提供代码提示、代码完成类型功能所需的工具、扩展是什么？ 最佳答案 ruby-mode已经包含在Emacs23之后的版本中。不过，它也可以通过ELPA获得。您可能感兴趣的其他一些事情是集成RVM、feature-mode(Cucumber)、rspec-mode、ruby-electric、inf-ruby、rinari(用于Rails)等。这是我当前用于Ruby开发的Emacs配置:https://github.com/citizen428/emacs
我正在尝试在我的centos服务器上安装therubyracer，但遇到了麻烦。$geminstalltherubyracerBuildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingtherubyracer:ERROR:Failedtobuildgemnativeextension./usr/local/rvm/rubies/ruby-1.9.3-p125/bin/rubyextconf.rbcheckingformain()in-lpthread...yescheckingforv8.h...no***e
这里是Ruby新手。完成一些练习后碰壁了。练习:计算一系列成绩的字母等级创建一个方法get_grade来接受测试分数数组。数组中的每个分数应介于0和100之间，其中100是最大分数。计算平均分并将字母等级作为字符串返回，即“A”、“B”、“C”、“D”、“E”或“F”。我一直返回错误:avg.rb:1:syntaxerror,unexpectedtLBRACK,expecting')'defget_grade([100,90,80])^avg.rb:1:syntaxerror,unexpected')',expecting$end这是我目前所拥有的。我想坚持使用下面的方法或.join，
我有一个在Linux服务器上运行的ruby脚本。它不使用rails或任何东西。它基本上是一个命令行ruby脚本，可以像这样传递参数:./ruby_script.rbarg1arg2如何将参数抽象到配置文件(例如yaml文件或其他文件)中？您能否举例说明如何做到这一点？提前谢谢你。 最佳答案 首先，您可以运行一个写入YAML配置文件的独立脚本:require"yaml"File.write("path_to_yaml_file",[arg1,arg2].to_yaml)然后，在您的应用中阅读它:require"yaml"arg
我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止，这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search
我实际上是在尝试使用RVM在我的OSX10.7.5上更新ruby，并在输入以下命令后:rvminstallruby我得到了以下回复:Searchingforbinaryrubies,thismighttakesometime.Checkingrequirementsforosx.Installingrequirementsforosx.Updatingsystem.......Errorrunning'requirements_osx_brew_update_systemruby-2.0.0-p247',pleaseread/Users/username/.rvm/log/138121
由于fast-stemmer的问题，我很难安装我想要的任何rubygem。我把我得到的错误放在下面。Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingfast-stemmer:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcreatingMakefilemake"DESTDIR="cleanmake"DESTDIR=