关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭10年前。Improvethisquestion我必须在我的计算机上使用5个带有hadoop的虚拟机设置一个集群。配置需要端口号。有人可以启发我吗。我是初学者
我的从属虚拟机出现故障，我猜这是因为使用的DFS是100%。你能给出一个系统的方法来解决这个问题吗？是防火墙问题吗？容量问题或可能导致它的原因以及如何解决？ubuntu@anmol-vm1-new:~$hadoopdfsadmin-reportDEPRECATED:Useofthisscripttoexecutehdfscommandisdeprecated.Insteadusethehdfscommandforit.15/12/1322:25:49WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplat
我在装有SUSELinuxEnterpriseServer11的VMware上以伪分布式模式安装了Hadoop。我能够运行helloworld示例，例如字数统计。我还使用WinSCP连接到该VM并将几个XML文件上传到hadoop集群中。我现在的问题是如何配置我在Windows7本地计算机上安装的eclipse以连接该VM并编写一些java代码来处理我在集群中转储的数据。我做了一些工作，能够在eclipse中获得Map/Reduce透视图，但无法弄清楚如何从我的本地机器连接VM上的hadoop，编写我的java代码(映射器、reducer类)来处理数据并保存结果回到集群。如果有人能帮我
似乎当我在YARN中运行spark应用程序时，它在每台机器上只使用1个核心。如何让它使用机器上的所有内核？我的yarn-site.xml是:yarn.scheduler.maximum-allocation-mb57344yarn.scheduler.minimum-allocation-vcores5yarn.scheduler.maximum-allocation-vcores30我的spark-defaults.conf具有以下内容:spark.driver.memory=8gspark.driver.cores=3spark.executor.memory=48gspark.e
我在NetBeans中使用Maven构建了一个Java应用程序。当我构建Main项目(运行->构建Main项目)时，我得到了一个名为ROVKP_3zad-1.0-SNAPSHOT.jar的JAR文件，其中只有一个名为Main的类。然后我将该JAR文件放在虚拟机上，并尝试从命令行，从放置JAR文件的文件夹中执行它:hadoopjarROVKP_3zad-1.0-SNAPSHOT.jarcom.mycompany.rovkp_3zad.Main我收到一条错误消息:Exceptioninthread"main"java.lang.ClassNotFoundException:Mainatja
我在CentsOS6.4和8GBRAM的笔记本电脑上以伪分布式模式运行hadoop2.2。每当我提交作业时，我都会收到一条错误消息，指出虚拟内存使用量已超出，如下所示。我已将yarn-site.xml中的yarn.nodenamager.vmem-pmem-ratio比率更改为10(10x1GB)，但是虚拟内存的增加并没有超过默认的2.1GB，如在下面的错误消息和容器正在被杀死。有人可以告诉我是否还有其他需要更改的设置吗？提前致谢!错误信息:INFOmapreduce.Job:TaskId:attempt_1388632710048_0009_m_000000_2,Status:FAI
我在本地的IntellijIdea中有一个maven项目，我想将其设置为使用我在虚拟机上安装的Hadoop。有什么建议吗？我在本地有Windows8.1，在虚拟机上有Ubuntu12.0.4。我已经在那里安装了Hadoop并且它正在运行。编辑:VM上的Hadoop设置:核心站点.xmlhadoop.tmp.dir/app/hadoop/tmpAbaseforothertemporarydirectories.fs.default.namehdfs://localhost:54310Thenameofthedefaultfilesystem.AURIwhoseschemeandautho
我有一台Windows7笔记本电脑，我需要在上面设置hadoop(mutlinode)集群。我准备了以下东西-虚拟软件，即virtualbox和vmwareplayer。两个虚拟机，即Ubuntu-Hadoopmaster和Ubuntu-用于(1X)Hadoop从站有没有人用虚拟机搭建过这样的集群？你的笔记本电脑？如果是请帮我安装一下。我在谷歌上搜索过，但我不知道如何使用虚拟机在hadoop上配置这个多节点集群？如何使用VMware或virtualbox在Windows7上运行两个Ubuntu操作系统？我们应该使用相同的Ubuntu版本VM镜像还是vm图像与不同版本的Ubuntulin
我在azure上创建了2个ubuntu虚拟机，我可以使用“sshazureuser@xyz.cloudapp.net”从一台机器登录到另一台机器，但是从另一台虚拟机ping一个虚拟机没有响应。与curl相同。pingxyz.cloudapp.netcurlxyz.cloudapp.net用虚拟机的内部ip地址修改/etc/hosts文件也不起作用。 最佳答案 ICMP(Ping)在Azure中被阻止，因此根据设计这将失败。您可以根据您设置网络的方式以及您尝试ping的方式使它起作用。参见https://social.msdn.mic
我正在运行一个MapReducePipes程序，我将内存限制设置如下:在yarn-site.xml中:yarn.nodemanager.resource.memory-mb3072yarn.scheduler.minimum-allocation-mb256在mapred-site.xml中:mapreduce.map.memory.mb512mapreduce.reduce.memory.mb512mapreduce.map.java.opts-Xmx384mmapreduce.reduce.java.opts-Xmx384m我目前在伪分布式模式下的单个节点上运行。在终止容器之前我收
