草庐IT

OXYGEN_HOME

全部标签

hadoop - 必须设置 $HADOOP_HOME 或 $HADOOP_PREFIX 或者 hadoop 必须在路径中

我下载了hive源代码并使用以下命令进行构建。mvncleaninstall-Phadoop-2,dist-DskipTests然后进入bin目录,执行hive使用bin#./hiveMissingHiveExecutionJar:/tools/hive/lib/hive-exec-*.jar为了解决这个问题我设置了exportHIVE_HOME=/tools/hive/packaging/target/apache-hive-2.0.0-SNAPSHOT-bin/apache-hive-2.0.0-SNAPSHOT-binexportPATH=$HIVE_HOME/bin:$PATH

hadoop - 使用 sed 将 JAVA_HOME 环境变量添加到 hadoop-env,sh 文件

当我运行命令时:sed-i"\$aexportJAVA_HOME=c:\ProgramFiles(x86)\Java\jre1.8.0_151\bin"$HADOOP_HOME/etc/hadoop/hadoop-env.sh我得到错误:sed:can'tread/usr/share/hadoop/etc/hadoop/hadoop-env.shnosuchfileordirectory我验证了目录和文件存在。$HADOOP_HOME=/usr/share/hadoop你知道问题是什么吗?我已经搜索了StackOverflow和谷歌,但没有找到解决方案。 最

hadoop - Hive 负载数据 :No files matching path file:/home/hive/sample. 日志

我正在尝试加载HDP-sandbox上的sample.log文件我最初的努力LOADDATALOCALINPATH'sample.log'OVERWRITEINTOTABLElogs;好像路径不匹配Error:Errorwhilecompilingstatement:FAILED:SemanticExceptionLine1:23Invalidpath''sample.log'':Nofilesmatchingpathfile:/home/hive/sample.log(state=42000,code=40000)我注销,移动到/root,然后进入hive0:jdbc:hive2:/

linux - CDH4 JAVA_HOME Ubuntu

我已经在CentOs上以伪分布式模式安装了CDH4,没有任何问题,但是当我在Ubuntu12.04上安装它时,我在设置JAVA_HOME环境变量时遇到了一些错误。我安装了JDK并在/etc/profile.d和~/bash.rc中使用以下行正确设置了JAVA_HOME:exportJAVA_HOME=/usr/local/java/latestexportPATH=${JAVA_HOME}/bin:$PATH我知道在这两个地方定义它是多余的,但显然在/etc/profile.d中设置它是行不通的。从我的用户那里,当我输入$echo$JAVA_HOME时,我得到:/usr/local/j

Hadoop master 无法使用不同的 $HADOOP_HOME 启动 slave

在master中,$HADOOP_HOME是/home/a/hadoop,slave的$HADOOP_HOME是/home/b/hadoop在master中,当我尝试使用start-all.sh时,master名称节点成功启动,但无法启动slave的数据节点,并显示以下消息:b@192.068.0.2:bash:line0:cd:/home/b/hadoop/libexec/..:Nosuchfileordirectoryb@192.068.0.2:bash:/home/b/hadoop/bin/hadoop-daemon.sh:Nosuchfileordirectory关于如何在ma

java - 安装 pig 时出现“未设置 JAVA_HOME”错误。怎么办?

我遵循了pig.apache.org上的所有步骤,但无法通过设置java变量来消除此错误。我在安装javajdk时设置了变量,但它再次询问变量。 最佳答案 您需要了解环境变量在Linux(或Windows)中的工作原理。您可能只是在用于安装的shell中临时设置了JAVA_HOME。要永久设置JAVA_HOME(在Linux/UNIX上),您需要在每次创建新shell时运行的shell“rc”文件中设置它。(这取决于您使用的是哪个shell,但是man可以告诉您有关...) 关于java

hadoop - JAVA_HOME=$JAVA_HOME 在 hadoop 中不起作用

当我尝试hadoop2.x时,我启动了一个伪分布式操作,当我输入“sbin/start-dfs.sh”时,我得到了一个错误:JAVA_HOME不存在然后我检查etc/hadoop/hadoop-ennv.sh,我找到一行“JAVA_HOME=$JAVA_HOME”,并且我已经在/etc/profile中设置了JAVA_HOME。我不明白为什么。 最佳答案 对于hadoop2.x,你需要在“yarn-env.sh”中设置JAVA_HOME这个文件可以在/etc/hadoop下你可以看到hadoop-env.sh的同一路径上找到

java - 为什么 hadoop_home 设置不正确

我按照以下说明为Windows安装hadoop2.3:https://www.youtube.com/watch?v=VhxWig96dME而且我可以让它在我的Macbook上的Windows8上运行得很好。但是,当我在我的Windows服务器上重复相同的步骤时,当我运行命令行时:hadoop它显示此错误:HADOOP_HOMEisnotsetcorrectly我再次非常仔细地检查,发现HADOOP_HOME设置得非常精确(如说明书和我之前在笔记本电脑上的设置)。那么可能是什么问题以及如何解决呢?笔记本电脑和服务器的设置有什么不同吗?我注意到当我运行相同的java安装文件(javase

ubuntu - 无法从 $HIVE_HOME 以外的任何其他位置启动配置单元

我已经使用Derby10.12.1.1安装了Hive2.1.0我可以从以下位置运行Hive:$HIVE_HOME但是当我从另一个位置运行时,比如root或其他地方,它会抛出一个错误:Exceptioninthread"main"java.lang.RuntimeException:Couldn'tcreatedirectory$/tmp/98e1866e-f8c7-451d-b958-1f773f0c4b02_resourcesatorg.apache.hadoop.hive.ql.util.ResourceDownloader.ensureDirectory(ResourceDown

maven - 需要将 flink-hadoop-compatibility-2.10 jar 显式复制到 EMR 集群上的 ${FLINK-HOME}/lib 位置

我目前正在开发一个Flink应用程序,该应用程序使用一些Hadoop依赖项将数据写入S3位置。在本地环境中它运行良好,但是当我在EMR集群上部署这个Flink应用程序时,它抛出了与兼容性问题相关的异常。我得到的错误信息是java.lang.RuntimeException:无法加载类“org.apache.hadoop.io.Writable”的TypeInformation。您可能缺少“flink-hadoop-compatibility”依赖项。在org.apache.flink.api.java.typeutils.TypeExtractor.createHadoopWritab