草庐IT

setup_env

全部标签

hadoop - 使用 sed 将 JAVA_HOME 环境变量添加到 hadoop-env,sh 文件

当我运行命令时:sed-i"\$aexportJAVA_HOME=c:\ProgramFiles(x86)\Java\jre1.8.0_151\bin"$HADOOP_HOME/etc/hadoop/hadoop-env.sh我得到错误:sed:can'tread/usr/share/hadoop/etc/hadoop/hadoop-env.shnosuchfileordirectory我验证了目录和文件存在。$HADOOP_HOME=/usr/share/hadoop你知道问题是什么吗?我已经搜索了StackOverflow和谷歌,但没有找到解决方案。 最

由 Ambari 覆盖的 Hadoop 自定义 - hadoop-env.sh

这似乎是一项简单的任务:更改/etc/hadoop/conf/hadoop-env.sh中的JAVA_HOME以使用不同版本的Java。但是,Ambari似乎会使用它的模板方案覆盖您在hadoop-env.sh中所做的任何更改。模板似乎包含以下行:exportJAVA_HOME={{java_home}}那么,现在如果这用于生成和替换每个节点上的环境,我该如何定义{{java_home}}? 最佳答案 从Ambari1.7.0开始,您可以从AmbariWebUI修改hadoop-env。您可以通过此页面上的链接了解Ambari1.7

hadoop - 在分布式 Hadoop 集群中使用 ENV 变量

我的目标是在我们的Hadoop集群上运行应用程序,而无需将显式配置放入每个应用程序。因此,我试图将集群的配置放入ENV变量中,并将它们传播到集群中的每个节点。例如我定义:exportHIVE2_JDBC_URL=jdbc:hive2://localhost:10000以后像这样使用它:beeline-u$HIVE2_JDBC_URL/-e"SELECT*FROM;"虽然这适用于这个特定的用例(在cli中),但它有两个很大的缺点:我必须根据更改手动更新每个节点上的ENV变量Oozie工作流无法读取ENV变量有没有一种方法可以使用Ambari检索此设置,我可以定义我自己的自定义设置,然后在

java - PIG/Hadoop 问题 : ERROR 2081: Unable to setup the load function

这个问题在这里已经有了答案:howtoloadfilesonhadoopclusterusingapachepig?(3个答案)关闭2年前。我正在运行Pig0.13.0和Hadoop2.5.1,它们都是从Apache发行版安装的,它们不是来自Horton或Cloudera或任何东西的软件包。我正在学习一个教程,当在本地运行Pig($>./pig-xlocal)时,我可以让它正常工作,但是当我尝试在Hadoop实例上运行它时,我收到一条错误消息,提示我很难在Internet上进行研究。这个命令:movies=LOAD'/home/hduser/pig-tutorial-master/mo

windows - 映射减少错误 : Failed to setup local dir

我在Windows8上安装的hadoop上运行mapreducewordcount示例。我收到如下错误。这听起来像是一个安全许可问题。但我不太确定。我在yarn-site.xml文件中添加了一个属性yarn.nodemanager.local-dirsc:\hadoop\tmp-nm任何想法都会很有帮助!15/07/1511:01:54INFOclient.RMProxy:ConnectingtoResourceManagerat/0.0.0.0:803215/07/1511:01:55WARNmapreduce.JobResourceUploader:Hadoopcommand-li

java - 既然可以在map()或reduce()中初始化参数,为什么还需要MapReduce中的setup()方法呢?

我是Hadoop和整个MapReduce范例的新手。我在网上搜索了很多有关覆盖Map类中的setup()方法以访问配置对象的信息。但从我读到的内容来看,似乎每次运行任务时都会调用setup()方法。那么为什么需要一个单独的方法来访问配置对象和初始化参数呢?为什么我们不能直接在map()或reduce()方法中做同样的事情?虽然这两种方法最终都会提供所需的输出,但在选择任何一种方法时是否会考虑性能因素?提前致谢。 最佳答案 回复:“似乎每次运行任务时都会调用setup()方法。”每当任务运行时,对应的Map或Reduce任务都会处理一

java - 如何在 hadoop-env.sh 中为 hadoop 守护进程单独定义内存

据我所知,hadoop-env.sh是hadoop守护进程设置环境的配置文件。在这个文件中,我如何定义HADOOP_HEAPSIZE是为守护进程定义堆大小的属性。这是否意味着它适用于所有守护进程,如名称节点、数据节点、任务跟踪器、作业跟踪器和辅助名称节点,每台机器都将占用1000MB内存。如果是,那么我怎样才能让每一个都不同。我在hadoop-env.sh中观察了以下几个条目exportHADOOP_NAMENODE_OPTS="-Dcom.sun.management.jmxremote$HADOOP_NAMENODE_OPTS"exportHADOOP_SECONDARYNAMEN

php - 是否可以在 setUp fixture 中获取当前测试?

我找不到任何这样的东西,我猜它不存在..classTestextendsPHPUnit_Framework_TestCase{publicfunctionsetUp(){echo$current_test;//Outputastring"testOne"}publicfunctiontestOne(){//Thisisthefirsttest;beforethistestisransetUp()iscalled.//Thequestionis,isthereanywaytoknowwithinsetUp()whatthe//currenttestis?}}

php - $_ENV 、 $_SESSION 和 $_COOKIE 之间有什么区别

大多数情况下,我使用过$_SESSION,但是在阅读有关Session的内容时,我得到的术语很少$_ENV&$_COOKIE。我不清楚什么时候使用哪个,我对我可以使用它们的情况感到困惑。那么这些术语有何不同? 最佳答案 您可以阅读:http://php.net/manual/en/language.variables.superglobals.php. 关于php-$_ENV、$_SESSION和$_COOKIE之间有什么区别,我们在StackOverflow上找到一个类似的问题:

php - 在 PHP-CLI 中相当于 $_ENV ['APACHE_RUN_USER' ]

我正在从CLI界面运行PHP脚本。我怎样才能像在Apache中一样获取运行用户名($_ENV['APACHE_RUN_USER'])?现在我正在使用exec('whoami'),但不是平台无关的。谢谢。 最佳答案 我在$_SERVER['LOGNAME']上取得了成功 关于php-在PHP-CLI中相当于$_ENV['APACHE_RUN_USER'],我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/