草庐IT

Application_home

全部标签

hadoop - Cloudera CDH VM 默认 HADOOP_HOME 位置

ClouderaCDH4VM中的默认HADOOP_HOME位置是什么。echo$HADOOP_HOME返回空白。 最佳答案 /usr/lib/hadoop是CDH4中的默认HADOOP_HOME。关于弃用,HADOOP_PREFIX似乎是HADOOP_HOME的替代品:$HADOOP_HOMEisdeprecated我相信HADOOP_MAPRED_HOME仅用于mapreduce基础设施,如果您直接使用HDFS,那么您可能需要HADOOP_PREFIX。 关于hadoop-Cloude

macos - 在 Mac 上为 Hadoop 设置 JAVA_HOME

我在OSX10.7上为Hadoop正确设置JAVA_HOME时遇到问题这是我所做的:转到/usr/local/Cellar/hadoop/1.0.3/libexec/conf/hadoop-env.sh并更改JAVA_HOME表单,无论它在那里默认为exportJAVA_HOME=/Library/Java/Home/我对Java也很陌生,所以即使JAVA_HOME也可能是错误的。因此,通过转到hadoop的bin文件夹并运行此命令:hadoopjarhadoop-*-examples.jar这是我得到的讨厌的错误:Exceptioninthread"main"java.io.IOEx

HADOOP_HOME 和 hadoop 流

您好,我正在尝试在安装了hadoop的服务器上运行hadoop,但我不知道hadoop所在的目录。服务器由服务器管理员配置。为了加载hadoop,我使用dotkit包中的use命令。可能有几种解决方案,但想知道hadoop包安装在哪里,如何设置$HADOOP_HOME变量,以及如何批准运行hadoop流作业,例如$HADOOP_HOME/bin/hadoopjar$HADOOP_HOME/mapred/contrib/streaming/hadoop-streaming.jar,又名http://wiki.apache.org/hadoop/HadoopStreaming。谢谢!任何帮

configuration - HBaseConfiguration 不读取我在 ${HBASE_HOME}/conf/hbase-site.xml 中设置的值

${HBASE_HOME}/conf/hbase-site.xml有下一个值:hbase.zookeeper.quorumhd1“hd1”主机名设置在“/etc/hosts”中,ping正常...使用这个简单的Java程序:importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;publicclassTestConfigurator{/***@paramargs*/publicstaticvoidmain(String[]args){Configuration

java - Pydoop Java home not set 安装问题

当我回显$JAVA_HOME时,我得到了Java的路径。Hadoop也在运行,但是pydoop安装由于这个错误而失败。Traceback(mostrecentcalllast):File"setup.py",line54,inraiseRuntimeError("javahomenotfound,trysettingJAVA_HOME")RuntimeError:javahomenotfound,trysettingJAVA_HOME我使用sudopythonsetup.pyinstall--skip-build运行设置命令。作为非root用户收到此错误运行安装运行安装库创建/usr/

hadoop - 'yarn application -list' 没有显示任何结果

我在YARN集群上运行了一些Spark应用程序。该应用程序显示在YARNUI的“所有应用程序”页面中http://host:8088/cluster但是yarnapplication-list命令没有给出任何结果。这可能是什么原因造成的? 最佳答案 当您使用不带“-appTypes”或“-appStates”选项的“-list”选项时,它会对“应用程序类型”和“状态”应用默认过滤(请查看下面突出显示的部分)。如果您的所有应用程序都不符合默认过滤条件,那么您将得不到任何结果。申请总数(申请类型:[]和状态:[SUBMITTED、ACC

java - $HADOOP_COMMON_HOME 和 $HADOOP_HDFS_HOME 是同一个值吗?

我知道$HADOOP_COMMON_HOME应该设置为Hadoop目录的根路径,但是$HADOOP_HDFS_HOME的值是多少?同一个?它的值应该是多少? 最佳答案 他们不一样..hadoop发行版中有三个主要的子项目:1)hadoop-common-mapreduce和hdfs使用的通用功能,如IPC..2)hadoop-mapred-mapreduce框架jar3)hadoop-hdfs-hdfs分布式文件系统jar它们每个都在不同的目录中。所以在你提取那些子项目之后,设置$HADOOP_COMMON_HOME设置为hadoo

hadoop - 带有 Yarn 的 Spark Shell - 错误 : Yarn application has already ended! 它可能已被杀死或无法启动应用程序主机

作为this的后续行动问题,当我尝试在我的单节点机器上使用Spark2.1.1overYarn(Hadoop2.8.0)时出现新错误。如果我使用启动SparkShellspark-shell它开始没有问题。在使用通常的start-dfs.sh和start-yarn.sh启动Hadoop之后,如果我使用spark-shell--masteryarn我收到以下错误:17/06/1012:00:07WARNNativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhe

hadoop - 文件夹不是用 $HADOOP_HOME/bin/hadoop fs -mkdir/user/hive/warehouse 创建的

嘿,我正在Hadoop2.7.3单节点集群中安装HIVE,但我无法使用创建文件夹$HADOOP_HOME/bin/hadoopfs-mkdir/user/hive/warehouse16/11/1114:43:25WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicablemkdir:`/user/hive/warehouse':NosuchfileordirectoryHadoop的JPS运行良好:jps15411N

hadoop - 错误 spark-shell,回退到在 SPARK_HOME 下上传库

我正在尝试连接一个spark-shellamazonhadoop,但我总是出现以下错误并且不知道如何修复它或配置缺少的内容。spark.yarn.jars,spark.yarn.archivespark-shell--jars/usr/share/aws/emr/ddb/lib/emr-ddb-hadoop.jarSettingdefaultloglevelto"WARN".Toadjustlogginglevelusesc.setLogLevel(newLevel).16/08/1207:47:26WARNUtils:Service'SparkUI'couldnotbindonpor