草庐IT

Hadoop:/usr/lib/hadoop-0.20.2/conf/slaves: 没有那个文件或目录

我完全按照hadoop官网上的步骤操作,但是总是报如下错误:startingnamenode,loggingto/home/videni/Tools/hadoop-1.0.3/libexec/../logs/hadoop-videni-namenode-videni-Latitude-E6400.outcat:/usr/lib/hadoop-0.20.2/conf/slaves:Nosuchfileordirectorycat:/usr/lib/hadoop-0.20.2/conf/masters:Nosuchfileordirectorystartingjobtracker,logg

hadoop - 将 jars 复制到/home/hadoop/lib emr 时出错

我正在将我的外部jar复制到emr中的/home/hadoop/lib目录作为bootstrap进程。但是它在引导过程中显示以下错误Exceptioninthread"main"java.lang.IncompatibleClassChangeError:classcom.google.common.cache.CacheBuilder$3hasinterfacecom.google.common.base.Tickerassuperclassatjava.lang.ClassLoader.defineClass1(NativeMethod)atjava.lang.ClassLoade

java - Hadoop 2.4 : java. lang.NoClassDefFoundError:org/apache/hcatalog/mapreduce/InputJobInfo

我已经从Hortonworks升级到最新的Hadoop:Hadoop2.4.0.2.1.2.1-471Subversiongit@github.com:hortonworks/hadoop.git-r9e5db004df1a751e93aa89b42956c5325f3a4482Compiledbyjenkinson2014-05-27T18:57ZCompiledwithprotoc2.5.0Fromsourcewithchecksum9e788148daa5dd7934eb468e57e037b5Thiscommandwasrunusing/usr/lib/hadoop/hadoo

hadoop - 如果我使用 -mapper cat 而不是 -mapper org.apache.hadoop.mapred.lib.IdentityMapper,Hadoop Streaming 的性能会降低吗?

我在尝试使用org.apache.hadoop.mapred.lib.IdentityMapper作为HadoopStreaming1.0.3中-mapper的参数时遇到了问题。“猫”虽然有效;使用cat会影响性能——尤其是在ElasticMapReduce上吗? 最佳答案 我遇到了类似的问题,其中身份映射器不起作用,我必须使用Cat。我们没有看到性能上的巨大变化,据我所知,identitymapper是一个jar,而cat是unix命令。 关于hadoop-如果我使用-mapperca

hadoop - 命令 'oozie admin sharedliblist ...' 的空共享库

我已经按照此处的说明安装了oozie并安装了共享库http://mockus.in/forum/viewtopic.php?t=48当我运行伴随安装的示例MapReduceWorkflow时,工作流失败了。在webconsole日志中,我可以看到此错误消息2015-05-2418:09:32,664WARNActionStartXCommand:544-SERVER[mountain]USER[mountain]GROUP[-]TOKEN[]APP[map-reduce-wf]JOB[0000000-150524175852032-oozie-moun-W]ACTION[0000000

hadoop - 无法在 WebHdfs 中创建目录或文件

HortonworksSandbox文件浏览器显示WebHdfsException,并且在CLI中我无法创建目录或文件。怎么了?WebHdfsExceptionat/filebrowser/RequestMethod:GETRequestURL:http://127.0.0.1:8000/filebrowser/DjangoVersion:1.2.3ExceptionType:WebHdfsExceptionExceptionValue:异常位置:/usr/lib/hue/desktop/libs/hadoop/src/hadoop/fs/webhdfs.pyin_stats,line

hadoop - 缺少 Hive 执行 Jar :/usr/local/apache-hive-2. 1.0-bin/lib/hive-exec-*.jar

运行hive时出现以下错误MissingHiveExecutionJar:/usr/local/apache-hive-2.1.0-bin/lib/hive-exec-*.jar查看所有相关帖子,例如MissingHiveExecutionJar:/usr/local/hadoop/hive/lib/hive-exec-*.jar但没有帮助..!!几乎什么都试过了按照这里的步骤安装http://www.bogotobogo.com/Hadoop/BigData_hadoop_Hive_Install_On_Ubuntu_16_04.php这是我的所有设置#HADOOPVARIABLES

hadoop - oozie 中的 org.apache.hadoop.mapred.lib.MultipleOutputs.addNamedOutput()

我正在尝试使用MultipleOutputs来更改reducer中的输出文件名。我正在使用oozie工作流来运行mapreduce作业。我找不到在oozie工作流中添加以下属性的方法-MultipleOutputs.addNamedOutput(job,"text",TextOutputFormat.class,Text.class,Text.class);因为它是ooziemapreduce操作,所以我没有驱动程序类放在上面的代码。 最佳答案 答案就在方法的源代码中。来自hadoopcore1.2.1jar/**/publicst

hadoop - Namenode 似乎在启动时挂起

版本是2.0.4我正在使用此处的Clouderabigtopdebian软件包http://bigtop01.cloudera.org:8080/job/Bigtop-0.6.0-rvs/ws/,但实际上我遇到了同样的问题,从Apache镜像获取最新的jar并自行配置。此外,尽管如此,我从Apache找到了一个适用于1.1.2的debian软件包,但没有这个问题。所以启动名称节点,我得到这个然后它卡住了。$sudo-uhdfshdfsnamenode13/06/2603:47:44INFOnamenode.NameNode:STARTUP_MSG:/******************

Hadoop 和 JZMQ - java.library.path 中没有 jzmq

我正在尝试让JZMQ代码在Hadoop集群上的一个节点上运行。我在该节点上的-/usr/local/lib目录下安装了必要的nativejmzq库文件。这是列表-libjzmq.alibjzmq.lalibjzmq.solibjzmq.so.0libjzmq.so.0.0.0libzmq.alibzmq.lalibzmq.solibzmq.so.3libzmq.so.3.0.0pkgconfig在我的shell脚本中,如果我运行下面的Java命令,它绝对可以正常工作-java-Djava.library.path=/usr/local/lib-classpathclass/:lib/: