我有一个spark应用程序，它从Kafka读取数据并将数据写入HDFS。我的应用程序在几分钟内工作正常，但一段时间后它开始出现以下错误并失败。2018-01-0217:59:20LeaseRenewer:username@nameservicename[WARN]UserGroupInformation-PriviledgedActionExceptionas:username@REALM_NAME(auth:KERBEROS)cause:javax.security.sasl.SaslException:GSSinitiatefailed[CausedbyGSSException:N
Titan版本是1.0.0无论我尝试过什么，所有yarn应用程序最终都在默认队列中。这些是我试过的东西:1)在titan-hbase-solr.properties中设置属性(以下均无效)mapred.job.queue.name=myqueuemapreduce.job.queue.name=myqueuemapred.mapreduce.job.queue.name=myqueue2)在gremlinshell中设置属性gremlin>graph=TitanFactory.open("/usr/iop/4.2.5.0-0000/titan/conf/titan-hbase-solr
我对大数据非常陌生，尤其是ApacheSpark/HadoopYARN。我将Hadoop单节点安装到我的虚拟机中以进行一些尝试，我也添加了Spark。我认为环境已经安装好，因为我可以访问:http://172.30.10.64:50070->Hadoop概述http://172.30.10.64:8080->星火概述然后我创建了一个pythonic文件来计算单词数:frompysparkimportSparkConf,SparkContextfromoperatorimportaddimportsys##ConstantsAPP_NAME="HelloWorldofBigData"##
我将Spark与HDFSHadoop存储和Yarn结合使用。我的集群包含5个节点(1个主节点和4个从节点)。主节点:48GbRAM-16个CPU内核从属节点:12GbRAM-16个CPU内核我正在执行两个不同的进程:WordCount方法和带有两个不同文件的SparkSQL。一切正常，但我在问一些问题，也许我不太了解Hadoop-Spark。第一个例子:WordCount我执行了WordCount函数并在两个文件(part-00000和part-00001)中得到了结果。part-00000的可用性是slave4和slave1，part-00001的可用性是slave3和slave4。
在我们的应用程序中，我们希望一次只能运行一个oozie工作流。我们面临与第一个工作流中断的连接问题，并且由于第二个工作流开始。在YARN上，第一个工作流程仍在运行。我们收到以下错误消息:E0603:E0603:SQLerrorinoperation,Thelastpacketsuccessfullyreceivedfromtheserverwas94,669,212millisecondsago.Thelastpacketsentsuccessfullytotheserverwas94,669,212millisecondsago.islongerthantheserverconfig
我正在考虑将yarn.nodemanager.resource.memory-mb更改为高于我机器上可用RAM的值。快速搜索发现没有多少人这样做。许多在yarn上长期存在的应用程序，必然会有一个jvm堆空间分配，其中一些内存被更频繁地使用，而另一些则很少被使用。在这种情况下，对于此类应用程序来说，将一些不常用的内存部分交换到磁盘并将可用的物理内存重新分配给需要它的其他应用程序将是非常有意义的。鉴于上述背景，有人可以证实我的推理或提供另一种观点吗？另外，能否请您说明参数yarn.nodemanager.vmem-pmem-ratio在上述情况下的工作原理？ 最
我按照官方要求在yarn上运行了H2O:http://h2o-release.s3.amazonaws.com/h2o/rel-wolpert/11/index.html这是我的命令:cd~/opt/h2o-3.18.0.8-hdp2.6hadoopjarh2odriver.jar-nodes1-mapperXmx6g-output/user/spark/h2o-3_output而且h2o集群运行成功。但是我在h2o-flow中运行exampleflow之后，并没有看到任何与GBM算法相关的计算，只有H2O本身。我想我会看到这样的东西。这是使用RapidMiner的决策树流程图的结果，
几个月来，我一直在通过Zeppelin和Dataproc控制台在Dataproc上使用Spark/Hadoop，但最近我遇到了以下错误。Causedby:java.io.FileNotFoundException:/hadoop/yarn/nm-local-dir/usercache/root/appcache/application_1530998908050_0001/blockmgr-9d6a2308-0d52-40f5-8ef3-0abce2083a9c/21/temp_shuffle_3f65e1ca-ba48-4cb0-a2ae-7a81dcdcf466(Nosuchfil
我想到了一种按大小列出yarn正在运行的应用程序的方法。因为大小分为分配的MB和分配的VCore，我决定假设一个VCore大约为10000MB。#Useshttpieandjq,oryoucouldusecurlwith-HContent-Type:application/jsonhttphttp://yarn-web-ui-url:port/ws/v1/cluster/apps|jq'.apps.app|sort_by(.allocatedMB+.allocatedVCores*10000)|reverse|.[]|select(.state=="RUNNING")|{name,al
我们有一个复杂的环境，它使用多种技术计算日常任务:SPARKPY-SPARKJavaMapReduce和HIVE。最近我们集成了一个新系统，可以在运行时对服务进行动态解析。该系统在任务初始化之前(动态地)更新环境变量。有一个库可以读取环境变量并对其进行处理(无关紧要)。因此，每个任务在其执行器/映射器/缩减器环境中都需要这个环境变量。我们的任务由YARN资源管理器管理。总结一下，我想传递YARN环境变量，它将在所有容器(ApplicationMaster和执行器/映射器/缩减器)上公开。到目前为止我尝试过的事情:SPARK-我玩过:spark-submit--confspark.yar
