1.配置映射文件(/etc/hosts)
vim /etc/hosts
2.配置hadoop-env.sh
(1)查看JAVA_HOME的安装目录
echo $JAVA_HOME
#【复制此路径】
(2)修改此文件中JAVA_HOME的值,其余不变,并保存
vim hadoop-env.sh
----修改JAVA_HOME的值为刚才得到的路径值(export JAVA_HOME=/opt/modlue/jdk)---- Esc+:wq
3. 配置core-site.xml
(1)从core-default.xml中搜索【fs.default】,将这个参数的整体复制到core-site.xml中,
<!--默认的配置文件 --> <property> <name>fs.defaultFS</name> <!--默认本地的根目录--> <value>file:///</value> <description>The name of the default file system. A URI whose scheme and authority determine the FileSystem implementation. The uri's scheme determines the config property (fs.SCHEME.impl) naming the FileSystem implementation class. The uri's authority is used to determine the host, port, etc. for a filesystem.</description> </property>
修改里面的参数:
<!--修改后的配置文件 --> <property> <name>fs.defaultFS</name> <!--value配置NameNode所在的主机节点,以及NameNode与DataNode,client通信的端口号--> <value>hdfs://master:9000<value> <description>The name of the default file system. A URI whose scheme and authority determine the FileSystem implementation. The uri's scheme determines the config property (fs.SCHEME.impl) naming the FileSystem implementation class. The uri's authority is used to determine the host, port, etc. for a filesystem.</description> </property>
(2)配置hadoop.tmp.dir参数值
<!--- datanode存放数据,namenode存放元数据 --> <property> <name>hadoop.tmp.dir</name> <!--modlue--> <value>/opt/moudle/hadoop/data/tmp</value> <description>A base for other temporary directories.</description> </property>
4.配置 hdfs-site.xml
<property> <name>dfs.namenode.secondary.https-address</name> <value>slave2:50090</value> <description> The secondary namenode HTTPS server address and port. </description> </property>
(2)配置副本数
<property> <name>dfs.replication</name> <!--- 配置hadoop所需的副本数 --> <value>3</value> <description>Default block replication. The actual number of replications can be specified when the file is created. The default is used if replication is not specified in create time. </description> </property>
3.在hadoop目录下,修改slaves文件(告诉集群,从节点有几个):
vim /slaves
加入以下内容:
master slave1 slave2
4.配置hadoop的环境变量
(1)【查看Hadoop的安装位置】
echo $HADOOP_HOME # 复制此路径
(2)【打开环境变量配置文件】
vim /etc/profile
(3)【修改此文件】
HADOOP_HOME=/opt/modlue/hadoop PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export HADOOP_HOME PATH # 提升为全局变量
(4)【重启配置文件】
source etc/profile
(5)【将配置好的hadoop分发给slave1和slave2】
scp -r hadoop-2.7.7 root@slave1:$PWD scp -r hadoop-2.7.7 root@slave2:$PWD
(6)【输入密码后开始传输】
(7)但由于slave1和slave2上没有配置HADOOP_HOME
则需在传输完成后复制master上复制etc/profile文件到slave1和slave2
scp /etc/profile root@slave1:/etc/ scp /etc/profile root@slave2:/etc/
使用source命令让slave1和slave2配置文件生效
(8)在slave1和slave2上创建hadoop快捷方式
cd /opt/modlue/ # 进入hadoop的安装目录 ln -s hadoop-2.7.7 hadoop # 创建快捷方式
五、配置免密登录
cd ~ ll -la # a查看隐藏文件 cd .ssh ssh-keygen -t rsa # 生成秘钥 【三次回车】 ### master->master,master->slave1,master->slave2 ### ssh-copy-id -i id_rsa.pub master # 复制到需要免密登录的三台主机上面 yes 123456 # 将公钥复制到远程主机的auhorized_keys cat ./id_rsa.pub >> ./authorized_keys ssh-copy-id -i id_rsa.pub slave1 yes 123456 ssh-copy-id -i id_rsa.pub slave2 yes 123456
[! 配置免密登录最好是root---root,普通用户------普通用户]
【测试:在master上面输入】
ssh slave1 exit ssh slave1 exit # 不用输入密码直接可以进入表示配置成功!
将配置好的目录分发给slave1和slave2
scp -r 要发送的文件 远程主机名称:发送的位置
六、格式化HDFS分布式文件系统
hdfs namenode -format # 特别注意:这条命令只能输入一次 # 作用:生成namenode存放元数据,datanode存放数据的目录
tree # 是否生成current和name文件夹
hadoop-daemon.sh start namenode # 启动NameNode
hadoop-daemon.sh start datanode # 启动datanode
查看是否启动
jps
在slave1和slave2上启动DataNode
data文件夹是启动datanode时生成的
使用浏览器访问集群管理页面:
http://master:50070
我有一个在Linux服务器上运行的ruby脚本。它不使用rails或任何东西。它基本上是一个命令行ruby脚本,可以像这样传递参数:./ruby_script.rbarg1arg2如何将参数抽象到配置文件(例如yaml文件或其他文件)中?您能否举例说明如何做到这一点?提前谢谢你。 最佳答案 首先,您可以运行一个写入YAML配置文件的独立脚本:require"yaml"File.write("path_to_yaml_file",[arg1,arg2].to_yaml)然后,在您的应用中阅读它:require"yaml"arg
我已经在Sinatra上创建了应用程序,它代表了一个简单的API。我想在生产和开发上进行部署。我想在部署时选择,是开发还是生产,一些方法的逻辑应该改变,这取决于部署类型。是否有任何想法,如何完成以及解决此问题的一些示例。例子:我有代码get'/api/test'doreturn"Itisdev"end但是在部署到生产环境之后我想在运行/api/test之后看到ItisPROD如何实现? 最佳答案 根据SinatraDocumentation:EnvironmentscanbesetthroughtheRACK_ENVenvironm
有没有办法在这个简单的get方法中添加超时选项?我正在使用法拉第3.3。Faraday.get(url)四处寻找,我只能先发起连接后应用超时选项,然后应用超时选项。或者有什么简单的方法?这就是我现在正在做的:conn=Faraday.newresponse=conn.getdo|req|req.urlurlreq.options.timeout=2#2secondsend 最佳答案 试试这个:conn=Faraday.newdo|conn|conn.options.timeout=20endresponse=conn.get(url
我想在Ruby中创建一个用于开发目的的极其简单的Web服务器(不,不想使用现成的解决方案)。代码如下:#!/usr/bin/rubyrequire'socket'server=TCPServer.new('127.0.0.1',8080)whileconnection=server.acceptheaders=[]length=0whileline=connection.getsheaders想法是从命令行运行这个脚本,提供另一个脚本,它将在其标准输入上获取请求,并在其标准输出上返回完整的响应。到目前为止一切顺利,但事实证明这真的很脆弱,因为它在第二个请求上中断并出现错误:/usr/b
我意识到这可能是一个非常基本的问题,但我现在已经花了几天时间回过头来解决这个问题,但出于某种原因,Google就是没有帮助我。(我认为部分问题在于我是一个初学者,我不知道该问什么......)我也看过O'Reilly的RubyCookbook和RailsAPI,但我仍然停留在这个问题上.我找到了一些关于多态关系的信息,但它似乎不是我需要的(尽管如果我错了请告诉我)。我正在尝试调整MichaelHartl'stutorial创建一个包含用户、文章和评论的博客应用程序(不使用脚手架)。我希望评论既属于用户又属于文章。我的主要问题是:我不知道如何将当前文章的ID放入评论Controller。
我的工作要求我为某些测试自动生成电子邮件。我一直在四处寻找,但未能找到可以快速实现的合理解决方案。它需要在outlook而不是其他邮件服务器中,因为我们有一些奇怪的身份验证规则,我们需要保存草稿而不是仅仅发送邮件的选项。显然win32ole可以做到这一点,但我找不到任何相当简单的例子。 最佳答案 假设存储了Outlook凭据并且您设置为自动登录到Outlook,WIN32OLE可以很好地完成此操作:require'win32ole'outlook=WIN32OLE.new('Outlook.Application')message=
之前在培训新生的时候,windows环境下配置opencv环境一直教的都是网上主流的vsstudio配置属性表,但是这个似乎对新生来说难度略高(虽然个人觉得完全是他们自己的问题),加之暑假之后对cmake实在是爱不释手,且这样配置确实十分简单(其实都不需要配置),故斗胆妄言vscode下配置CV之法。其实极为简单,图比较多所以很长。如果你看此文还配不好,你应该思考一下是不是自己的问题。闲话少说,直接开始。0.CMkae简介有的人到大二了都不知道cmake是什么,我不说是谁。CMake是一个开源免费并且跨平台的构建工具,可以用简单的语句来描述所有平台的编译过程。它能够根据当前所在平台输出对应的m
//1.验证返回状态码是否是200pm.test("Statuscodeis200",function(){pm.response.to.have.status(200);});//2.验证返回body内是否含有某个值pm.test("Bodymatchesstring",function(){pm.expect(pm.response.text()).to.include("string_you_want_to_search");});//3.验证某个返回值是否是100pm.test("Yourtestname",function(){varjsonData=pm.response.json
在前面两节的例子中,主界面窗口的尺寸和标签控件显示的矩形区域等,都是用C++代码编写的。窗口和控件的尺寸都是预估的,控件如果多起来,那就不好估计每个控件合适的位置和大小了。用C++代码编写图形界面的问题就是不直观,因此Qt项目开发了专门的可视化图形界面编辑器——QtDesigner(Qt设计师)。通过QtDesigner就可以很方便地创建图形界面文件*.ui,然后将ui文件应用到源代码里面,做到“所见即所得”,大大方便了图形界面的设计。本节就演示一下QtDesigner的简单使用,学习拖拽控件和设置控件属性,并将ui文件应用到Qt程序代码里。使用QtDesigner设计界面在开始菜单中找到「Q
注意:本文主要掌握DCN自研无线产品的基本配置方法和注意事项,能够进行一般的项目实施、调试与运维AP基本配置命令AP登录用户名和密码均为:adminAP默认IP地址为:192.168.1.10AP默认情况下DHCP开启AP静态地址配置:setmanagementstatic-ip192.168.10.1AP开启/关闭DHCP功能:setmanagementdhcp-statusup/downAP设置默认网关:setstatic-ip-routegeteway192.168.10.254查看AP基本信息:getsystemgetmanagementgetmanaged-apgetrouteAP配