草庐IT

多启动

全部标签

hadoop - startall.sh 命令不会在 Hadoop 中启动 NameNode

sh启动除NameNode之外的所有服务,如JPS、SecondaryNameNode、TaskTracker和JobTracker。我可以启动NameNode的唯一方法是手动。此外,即使启动了NameNode,我也无法访问hnname:50070/。我是一个完全的新手,请帮助。 最佳答案 在删除临时文件夹(包含数据节点和名称节点)之前格式化名称节点hadoopnamenode-format 关于hadoop-startall.sh命令不会在Hadoop中启动NameNode,我们在St

hadoop - 在 [ubuntu] ubuntu : ssh: connect to host ubuntu port 22: No route to host 上启动名称节点

当我使用hdfs-dfs.sh启动Namenode时,出现错误Startingnamenodeson[ubuntu]ubuntu:ssh:连接到主机ubuntu端口22:没有到主机的路由 最佳答案 1.请检查core-site.xml文件fs.default.namehdfs://192.168.203.137:9000Thenameofthedefaultfilesystem.请在Ubuntu终端中使用ipconfig命令检查您的名称节点(主节点)IPLinkencap:EthernetHWaddr00:0c:29:57:b9:d

hadoop - 启动Hbase 1.0.0 报错

我刚刚通过brewinstallhbase安装了Hbase。编辑hbase-site.xmlhbase.rootdirfile:///usr/local/Cellar/hbase/databases/hbase-${user.name}/hbaseThedirectorysharedbyregionserversandintowhichHBasepersists.TheURLshouldbe'fully-qualified'toincludethefilesystemscheme.Forexample,tospecifytheHDFSdirectory'/hbase'wheretheH

hadoop - 在 hadoop 多节点集群上启动 HDFS 守护进程时出错。Datanode 未启动

我正在尝试设置hadoop集群并在连接数据节点时出现以下错误。Namenode已启动并运行良好,但数据节点正在产生问题。/etc/hosts文件在两个节点上都可用。IP表已停止(f/w)。ssh发生。2015-05-2020:54:05,008INFOorg.apache.hadoop.ipc.Client:Retryingconnecttoserver:nn1.cluster1.com/192.168.1.11:9000.Alreadytried9time(s);retrypolicyisRetryUpToMaximumCountWithFixedSleep(maxRetries=1

java - Spring MVC 和 Apache Hadoop 启动 MapReduce Job

我正在尝试通过SpringMVC应用程序启动hadoopMapReduce作业。MVC应用程序使用ApacheTomcat7.0.62运行良好。此外,hadoop应用程序与spring-data-hadoop配合得很好。当我尝试合并这些项目时,MapReduce作业初始化崩溃并出现以下错误。15/05/3116:10:18WARNsupport.ClassPathXmlApplicationContext:Exceptionencounteredduringcontextinitialization-cancellingrefreshattemptorg.springframework

hadoop - 每当我更改 xml 配置文件时,是否需要重新启动所有 hadoop 守护进程

假设我的hadoop集群正在运行并且我对hdfs-site.xml进行了更改。我的问题是在这种情况下需要重新启动哪些服务/守护进程?同样,如果我对yarn-site.xml、core-site.xml、mapred-site.xml进行更改,哪些守护进程需要重新启动,allocations.xml或者我应该在上述每种情况下重新启动所有守护进程吗? 最佳答案 我的问题得到了答案。答案是这取决于我们要更改的服务配置属性。比方说,如果我们更改名称节点属性,我们需要重新启动HDFS服务。 关于h

scala - 如何在 hadoop 上使用 Spark 启动 Jar 文件

我正在安装hadoop的GoogleCloudPlatform上做一个项目。我在scala中编写了一个程序,并使用sbt的汇编指令创建了一个可执行JAR现在我必须上传并在我的平台上运行它。我尝试使用命令spark-submit--class"Hi"provaciao.jar但即使它在sparkstandalone上本地工作,我也会收到错误消息。我用的是spark的1.1.0版本,hadoop的2.4版本这是我的错误日志marooned91_gmail_com@hadoop-m-on8g:/home/hadoop/spark-install/bin$spark-submit--class

java - 运行 start-dfs.sh 后无法启动 namenode (hadoop 2.7.1)

当尝试构建本地伪Hadoop环境时,当我尝试使用start-dfs.sh启动我的namenode时出现此错误"Couldnotfindorloadmainclassorg.apache.hadoop.hdfs.tools.GetConf"我的java版本如下图javaversion"1.7.0_85"OpenJDKRuntimeEnvironment(IcedTea2.6.1)(7u85-2.6.1-5ubuntu0.14.04.1)OpenJDK64-BitServerVM(build24.85-b03,mixedmode)我还更改了hadoop-env.sh中的行,位于/usr/l

hadoop - Hmaster 未使用 hadoop 2.7.1 启动 hbase 1.1.2

我安装了hadoop2.7.1并且运行成功。我尝试通过引用此链接安装hbase1.1.2:https://archanaschangale.wordpress.com/2013/08/31/installing-pseudo-distributed-hbase-on-ubuntu/配置:hbase-env.sh:exportJAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386exportHBASE_REGIONSERVERS=/usr/lib/hbase/hbase-1.1.2/conf/regionserversexportHBASE_MANAGES_

java - 从cli启动并杀死hadoop任务

Closed.ThisquestiondoesnotmeetStackOverflowguidelines。它当前不接受答案。想改善这个问题吗?更新问题,以便将其作为on-topic用于堆栈溢出。4年前关闭。Improvethisquestion为了开发Hadoop和Spark作业的flex测试,我需要能够通过代码停止(或杀死)任务(Mapper,Reducer或SparkActions)。理想的方法是通过CLI命令执行此操作,但是任何其他执行此操作的工具将不胜感激。谢谢。 最佳答案 $ps将在操作系统级别向您显示该过程。请注意您的