草庐IT

Application_home

全部标签

hadoop - 使用 sed 将 JAVA_HOME 环境变量添加到 hadoop-env,sh 文件

当我运行命令时:sed-i"\$aexportJAVA_HOME=c:\ProgramFiles(x86)\Java\jre1.8.0_151\bin"$HADOOP_HOME/etc/hadoop/hadoop-env.sh我得到错误:sed:can'tread/usr/share/hadoop/etc/hadoop/hadoop-env.shnosuchfileordirectory我验证了目录和文件存在。$HADOOP_HOME=/usr/share/hadoop你知道问题是什么吗?我已经搜索了StackOverflow和谷歌,但没有找到解决方案。 最

hadoop - Hive 负载数据 :No files matching path file:/home/hive/sample. 日志

我正在尝试加载HDP-sandbox上的sample.log文件我最初的努力LOADDATALOCALINPATH'sample.log'OVERWRITEINTOTABLElogs;好像路径不匹配Error:Errorwhilecompilingstatement:FAILED:SemanticExceptionLine1:23Invalidpath''sample.log'':Nofilesmatchingpathfile:/home/hive/sample.log(state=42000,code=40000)我注销,移动到/root,然后进入hive0:jdbc:hive2:/

linux - CDH4 JAVA_HOME Ubuntu

我已经在CentOs上以伪分布式模式安装了CDH4,没有任何问题,但是当我在Ubuntu12.04上安装它时,我在设置JAVA_HOME环境变量时遇到了一些错误。我安装了JDK并在/etc/profile.d和~/bash.rc中使用以下行正确设置了JAVA_HOME:exportJAVA_HOME=/usr/local/java/latestexportPATH=${JAVA_HOME}/bin:$PATH我知道在这两个地方定义它是多余的,但显然在/etc/profile.d中设置它是行不通的。从我的用户那里,当我输入$echo$JAVA_HOME时,我得到:/usr/local/j

java - 如何在 application.properties 文件中的 Spring Boot 应用程序中配置 HikariCP?

我正在尝试在我的SpringBoot(1.2.0.M1)应用程序中设置HikariCP,以便我可以使用它来代替TomcatDBCP进行测试。我想在我的application.properties文件中配置连接池,就像我对Tomcat所做的那样,但我不知道我应该怎么做。我发现的所有示例都显示了JavaConfig样式或使用单独的HikariCP属性文件。有人可以帮我找出在application.properties中配置它的属性名称吗?我还想从使用driverClassName方法切换到DataSourceClassName方法,因为它看起来更干净并且被推荐。这在我的applicatio

java - 如何在 application.properties 文件中的 Spring Boot 应用程序中配置 HikariCP?

我正在尝试在我的SpringBoot(1.2.0.M1)应用程序中设置HikariCP,以便我可以使用它来代替TomcatDBCP进行测试。我想在我的application.properties文件中配置连接池,就像我对Tomcat所做的那样,但我不知道我应该怎么做。我发现的所有示例都显示了JavaConfig样式或使用单独的HikariCP属性文件。有人可以帮我找出在application.properties中配置它的属性名称吗?我还想从使用driverClassName方法切换到DataSourceClassName方法,因为它看起来更干净并且被推荐。这在我的applicatio

hadoop - yarn application id 是如何生成的

我启动了一个yarn应用程序,它给出的id为application_1560618551799_4465795但是,我惊讶地发现1560618551799表示SunJun1601:09:11CST2019,大约是3个月前。我一直以为id中的时间戳会落到今天,请问我能不能从id中算出应用程序什么时候开始?谢谢 最佳答案 遗憾的是,无法从应用程序ID本身推断出应用程序启动时间。SourcecodefortheApplicationId提供以下叙述:ApplicationIdrepresentsthegloballyuniqueident

Hadoop master 无法使用不同的 $HADOOP_HOME 启动 slave

在master中,$HADOOP_HOME是/home/a/hadoop,slave的$HADOOP_HOME是/home/b/hadoop在master中,当我尝试使用start-all.sh时,master名称节点成功启动,但无法启动slave的数据节点,并显示以下消息:b@192.068.0.2:bash:line0:cd:/home/b/hadoop/libexec/..:Nosuchfileordirectoryb@192.068.0.2:bash:/home/b/hadoop/bin/hadoop-daemon.sh:Nosuchfileordirectory关于如何在ma

java - 安装 pig 时出现“未设置 JAVA_HOME”错误。怎么办?

我遵循了pig.apache.org上的所有步骤,但无法通过设置java变量来消除此错误。我在安装javajdk时设置了变量,但它再次询问变量。 最佳答案 您需要了解环境变量在Linux(或Windows)中的工作原理。您可能只是在用于安装的shell中临时设置了JAVA_HOME。要永久设置JAVA_HOME(在Linux/UNIX上),您需要在每次创建新shell时运行的shell“rc”文件中设置它。(这取决于您使用的是哪个shell,但是man可以告诉您有关...) 关于java

hadoop - JAVA_HOME=$JAVA_HOME 在 hadoop 中不起作用

当我尝试hadoop2.x时,我启动了一个伪分布式操作,当我输入“sbin/start-dfs.sh”时,我得到了一个错误:JAVA_HOME不存在然后我检查etc/hadoop/hadoop-ennv.sh,我找到一行“JAVA_HOME=$JAVA_HOME”,并且我已经在/etc/profile中设置了JAVA_HOME。我不明白为什么。 最佳答案 对于hadoop2.x,你需要在“yarn-env.sh”中设置JAVA_HOME这个文件可以在/etc/hadoop下你可以看到hadoop-env.sh的同一路径上找到

hadoop - Spark over Yarn - 不正确的 Application Master 选择

我正在尝试使用以下命令在Yarn上使用Spark触发一些作业(这只是一个示例,实际上我使用的是不同数量的内存和内核):./bin/spark-submit--classorg.mypack.myapp\--masteryarn-cluster\--num-executors3\--driver-memory4g\--executor-memory2g\--executor-cores1\lib/myapp.jar\当我查看WebUI以查看幕后真正发生的事情时,我注意到YARN正在选择一个不是SparkMaster的节点作为ApplicationMaster。这是一个问题,因为真正的Sp