草庐IT

zkCli.sh

全部标签

hadoop - 使用 start-dfs.sh 的问题

我使用此链接创建了一个4节点集群:https://blog.insightdatascience.com/spinning-up-a-free-hadoop-cluster-step-by-step-c406d56bae42,但是一旦我到达启动hadoop集群的部分,我就会收到如下错误:$HADOOP_HOME/sbin/start-dfs.shStartingnamenodeson[namenode_dns]namenode_dns:mkdir:cannotcreatedirectory‘/usr/local/hadoop/logs’:Permissiondeniednamenode

hadoop 3.1.2 ./start-all.sh 错误,意外标记附近的语法错误 `<'

我在mac上运行hadoop3.1.2,当执行./start-all.sh时,出现错误提示Startingnamenodeson[localhost]/usr/local/Cellar/hadoop/3.1.2/libexec/bin/../libexec/hadoop-functions.sh:line398:syntaxerrornearunexpectedtoken`我打开hadoop-functions.sh并在第398行找到以下信息:done知道如何解决这个问题吗? 最佳答案 您发现了一个错误,但它不太可能很快得到解决。M

bash - 无法在 Cloudera VM for Hadoop 上找到并执行 start-all.sh 和 Stop-all.sh

如何从命令行CDH4--启动/停止服务。我是Hadoop的新手。从Cloudera安装的VM。找不到start-all.sh和stop-all.sh。如果需要,如何停止或启动任务跟踪器或数据节点。这是我在Centos上使用的单节点集群。我没有做任何修改。除此之外,我还看到所有版本的目录结构都发生了变化。我无法在安装的VM上找到这些sh​​文件。[cloudera@localhost~]$stop-all.shbash:stop-all.sh:commandnotfound非常感谢您的支持。 最佳答案 使用Sudosuhdfs启动和停

hadoop - start-all.sh 无法在从属节点上运行进程

我正在尝试在我的笔记本电脑上配置一个主从的多节点集群。当我从master运行start-all.sh时,所有守护进程都在主节点上运行,但Datanode和tasktracker没有在从节点上启动。启用了无密码ssh,我可以在没有pwd的情况下从我的主节点为主节点和从节点执行ssh,但是如果我尝试从从节点执行ssh主节点,它会要求输入密码。这是在从节点中不启动守护进程的问题吗?我们是否需要在主站和从站上使用无密码ssh?从属节点的sshslave不要求pwd只要求master它要求。请给我一些解决方案,为什么我无法从主节点启动从节点中的进程? 最佳答案

ubuntu - 无法运行 start-dfs.sh

我无法运行start-dfs.shubuntu@UBUNTU:~$start-dfs.sh14/10/1919:26:50WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicableStartingnamenodeson[localhost]localhost:ssh:connecttohostlocalhostport22:Connectionrefusedlocalhost:ssh:connecttohostloc

由 Ambari 覆盖的 Hadoop 自定义 - hadoop-env.sh

这似乎是一项简单的任务:更改/etc/hadoop/conf/hadoop-env.sh中的JAVA_HOME以使用不同版本的Java。但是,Ambari似乎会使用它的模板方案覆盖您在hadoop-env.sh中所做的任何更改。模板似乎包含以下行:exportJAVA_HOME={{java_home}}那么,现在如果这用于生成和替换每个节点上的环境,我该如何定义{{java_home}}? 最佳答案 从Ambari1.7.0开始,您可以从AmbariWebUI修改hadoop-env。您可以通过此页面上的链接了解Ambari1.7

单节点 vagrant VM 上的 Hadoop - 启动 start-all.sh 时连接被拒绝

我创建了一个vagrant虚拟机并在上面安装了hadoop。只有一个服务器集群。但是当我尝试在机器上启动我的hadoop时,出现以下错误:mkdir:从master/127.0.1.1到localhost:9000的调用在连接异常时失败:java.net.ConnectException:连接被拒绝;有关详细信息,请参阅:http://wiki.apache.org/hadoop/ConnectionRefused还有想法?该机器被命名为master。服务器是Ubuntu。谢谢! 最佳答案 这是因为hdfs节点没有运行goto,cd

java - 为什么 ./sbin/start-master.sh 给出 "Error: Could not find or load main class org.apache.spark.launcher.Main"?

我是新手。我在单个节点上安装spark-1.5.2-bin-without-hadoop.tgz。我已完成配置。当我要使用以下命令启动我的主节点时,它向我显示错误。请帮助我。Command:./sbin/start-master.shstartingorg.apache.spark.deploy.master.Master,loggingto/usr/local/spark/sbin/../logs/spark-jalaj-org.apache.spark.deploy.master.Master-1-CIPL367.outfailedtolaunchorg.apache.spark.

ubuntu - HADOOP - 权限被拒绝执行 start-all.sh

我正在尝试在笔记本电脑上安装Hadoop。我遵循了本指南:https://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/当我尝试运行start-all.sh时,我得到了这个:vava@vava-ThinkPad:/usr/local/hadoop-3.1.1/sbin$bashstart-all.shWARNING:AttemptingtostartallApacheHadoopdaemonsasvavain10seconds.WARNING:Thisisnotarec

ubuntu - Hadoop - start-all.sh 未执行

我今天更新到Ubuntu16.04,当我执行start-all.sh时,它会抛出这个:ThisscriptisDeprecated.Insteadusestart-dfs.shandstart-yarn.sh/usr/local/hadoop/bin/hdfs:line304:/usr/lib/jvm/java-7-openjdk-amd64/bin/java:NosuchfileordirectoryStartingnamenodeson[]localhost:startingnamenode,loggingto/usr/local/hadoop/logs/hadoop-hduser