草庐IT

application_home

全部标签

hadoop - 在 HDP Hue Pig UI 中运行任何 Pig 作业时出错。错误 : "Please initialize HIVE_HOME"

当我尝试从HuePigUI启动PigScriptJob时,进程会启动一个作业,然后进度条在那里停留1-3分钟并最终变成红色,唯一的输出是:“PleaseinitializeHIVE_HOME”我尝试运行的Pig脚本来自PigvalidationintheHDPinstallationmanual.pig脚本:A=使用PigStorage(':')加载'passwd';B=foreachA生成\$0作为id;将B存入'/tmp/id.out';我正在尝试让Hortonworks数据平台的Hue版本(v2.3,根据他们的website)运行PigScriptUI。我正在手动执行此操作,使用

python - hadoop 流 : where are application logs?

我的问题类似于:hadoopstreaming:howtoseeapplicationlogs?(答案中的链接目前无法使用。所以我必须再次发布它并提出一个额外的问题)我可以在/usr/local/hadoop/logs路径下看到所有hadoop日志但是我在哪里可以看到应用程序级别的日志?例如:reducer.py-importlogging....logging.basicConfig(level=logging.ERROR,format='MAP%(asctime)s%(levelname)s%(message)s')logging.error('Test!')...我在stderr

【Android】Multiple Gradle daemons might be spawned because the Gradle JDK and JAVA_HOME locations解决方案

🌟博主领域:嵌入式领域&人工智能&软件开发本解决方案亲测无误,完美解决该问题。问题描述在刚安装完Androidstudio软件后,新建第一个项目时,出现如下通知的错误。原文:MultipleGradledaemonsmightbespawnedbecausetheGradleJDKandJAVA_HOMElocationsaredifferent.Project'hellov1'isusingthefollowingJDKlocationwhenrunningGradle:'D:/AndroidStudio/jbr'ThesystemenvironmentvariableJAVA_HOMEis

apache-spark - Yarn 的 "Application Type"在哪里/如何定义?

如果向ApacheYARN集群提交新作业,状态页面通常会指示作业实际是如何提交的(除其他事项外):ApplicationType:SPARK这表明用户很可能使用spark-submit向资源管理器发布了一个新作业。是否可以像更改应用程序名称一样通过参数更改该字符串的值? 最佳答案 应用类型在Spark设置yarn应用上下文时设置。AFAIK,无法更改某些配置的方式。如果它真的很重要,您将不得不在源代码中覆盖它。下面的实现,https://github.com/apache/spark/blob/01c3dfab158d40653f8

java - 如何在hadoop安装中设置JAVA_HOME路径?

请问如何在hadoop安装中设置JAVA_HOME路径??我知道我必须在root/conf/hadoop-env.sh文件中添加java路径,但我想知道在Windows7中设置路径的正确方法。 最佳答案 从hadoop的角度来看,将JAVA_HOME添加到hadoop-env.sh就足够了。 关于java-如何在hadoop安装中设置JAVA_HOME路径?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.c

hadoop - 配置单元 : The application won't work without a running HiveServer2

我是这个领域的新手。我正在检查CDH5.8快速启动VM以尝试一些基本的hive/impala示例。但是我遇到了一个问题,当我打开HUE时出现以下错误。我搜索了解决方案,但没有找到任何可以解决我的问题的方法。Configurationfileslocatedin/etc/hue/conf.emptyPotentialmisconfigurationdetected.FixandrestartHue.HiveTheapplicationwon'tworkwithoutarunningHiveServer2.我检查过,它已启动并正在运行。尝试重新启动服务和CDH,没有帮助。HiveServe

java - Hadoop JAVA_HOME java安装目录为文件系统时没有设置?

我用了thistutorialtoinstalljavaonUbuntu12.04;我首先尝试通过下载java以老式方式安装它,添加一个指向安装的JAVA_HOME变量并将其添加到与连接的PATH\bin)但这没有用,因为默认安装了一些奇怪的openjdk...我记得可以通过使用update-alternatives并选择我下载的安装来绕过它,但是这次没有用,命令从未检测到我的新安装;所以我最终改用了那个教程。像教程中那样使用PPA的唯一问题是它没有将所有jdk安装在我可以将JAVA_HOME指向的单个目录中,因此Hadoop提示说缺少变量。有什么办法可以让Hadoop启动并运行吗?

hadoop - 将 jars 复制到/home/hadoop/lib emr 时出错

我正在将我的外部jar复制到emr中的/home/hadoop/lib目录作为bootstrap进程。但是它在引导过程中显示以下错误Exceptioninthread"main"java.lang.IncompatibleClassChangeError:classcom.google.common.cache.CacheBuilder$3hasinterfacecom.google.common.base.Tickerassuperclassatjava.lang.ClassLoader.defineClass1(NativeMethod)atjava.lang.ClassLoade

hadoop - 限制 Application Master 请求的资源的属性

HadoopMRv2(Yarn)中是否有一个属性允许我们专门操纵ApplicationMaster请求的资源量(VCores和堆内存)?或者ApplicationMaster会动态评估所需的资源(基于每个应用程序)并为容器请求相应的资源? 最佳答案 以下属性可用于为YARNApplicationmaster设置VCors和HeapMemory。yarn.app.mapreduce.am.resource.mb8192yarn.app.mapreduce.am.resource.cpu-vcores1yarn.app.mapreduc

bash - Ubuntu Hadoop 找不到 JAVA_HOME

echo$JAVA_HOME给我/usr/lib/jvm/java-8-oracle我在/usr/local/hadoop/etc/hadoop/hadoop-env.sh中有exportJAVA_HOME=/usr/lib/jvm/java-8-oracle。但是,当我运行/usr/local/hadoop/bin/hadoop时,出现以下错误:/usr/local/hadoop/etc/hadoop/hadoop-env.sh:line25:export:`/usr/lib/jvm/java-8-oracle':notavalididentifierError:JAVA_HOMEi