草庐IT

Master-Detail

全部标签

hadoop - YARN Application Master 无法连接到 Resource Manager

我有一个4节点集群(1个名称节点/资源管理器3个数据节点/节点管理器)我正在尝试运行一个简单的tez示例orderedWordCounthadoopjarC:\HDP\tez-0.4.0.2.1.1.0-1621\tez-mapreduce-examples-0.4.0.2.1.1.0-1621.jarorderedwordcountsample/test.txt/sample/out作业被接受,Applicationmaster和容器被设置但是在节点管理器上我看到了这些日志2014-09-1017:53:31,982INFO[ServiceThread:org.apache.tez.

java - 连接到远程 Spark master - Java/Scala

我在AWS中创建了一个3节点(1个主节点,2个工作节点)ApacheSpark集群。我可以从主节点向集群提交作业,但是我无法让它远程工作。/*SimpleApp.scala*/importorg.apache.spark.SparkContextimportorg.apache.spark.SparkContext._importorg.apache.spark.SparkConfobjectSimpleApp{defmain(args:Array[String]){vallogFile="/usr/local/spark/README.md"//Shouldbesomefileony

scala - Spark 驱动程序被 master 解除关联并删除

我有一个由两个奴隶和一个主人组成的集群,我设置了一个jar(scala)给spark主人(192.168.1.64):spark-submit--masterspark://spark-master:7077--classtests.elementstarget/scala-2.10/zzz-project_2.10-1.0.jar运行一段时间后它突然停止,终端上的最后几行是...15/08/1917:45:24INFOscheduler.TaskSchedulerImpl:Addingtaskset411292.0with6tasks15/08/1917:45:24WARNsched

hadoop - Hbase:如何为 Hbase master 指定主机名

我正在努力设置一个具有2个节点的Hbase分布式集群,一个是我的机器,一个是VM,使用VirtualBox中的“host-only”适配器。我的问题是区域服务器(来自VM机器)无法连接到主机上运行的Hbasemaster。尽管在Hbaseshell中我可以在VM机器('slave')上的区域服务器中列出,创建表,......,日志总是显示org.apache.hadoop.hbase.regionserver.HRegionServer:Unabletoconnecttomaster.Retrying.Errorwas:java.net.ConnectException:Connect

hadoop - 使用 --master yarn-cluster : issue with spark-assembly 运行 spark-submit

我在基于Kerberos的集群上运行Spark1.1.0、HDP2.1。我可以使用--masteryarn-client成功运行spark-submit,并且结果已正确写入HDFS,但是,该作业没有显示在HadoopAllApplications页面上。我想使用--masteryarn-cluster运行spark-submit但我仍然收到此错误:appDiagnostics:Applicationapplication_1417686359838_0012failed2timesduetoAMContainerforappattempt_1417686359838_0012_0000

hadoop - 异常 : java. Spark 中的 lang.Exception : When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment.

我是新的apache-spark。我已经在spark独立模式下测试了一些应用程序。但我想运行应用程序yarn模式。我在windows中运行apache-spark2.1.0。这是我的代码c:\spark>spark-submit2--masteryarn--deploy-modeclient--executor-cores4--jarsC:\DependencyJars\spark-streaming-eventhubs_2.11-2.0.3.jar,C:\DependencyJars\scalaj-http_2.11-2.3.0.jar,C:\DependencyJars\confi

apache-spark - Spark Driver 内存和 Application Master 内存

我是否正确理解了客户端模式的文档?客户端模式与驱动程序在应用程序主机中运行的集群模式相反?在客户端模式下,driver和applicationmaster是独立的进程,因此spark.driver.memory+spark.yarn.am.memory必须小于机器的内存?在客户端模式下,驱动程序内存是否未包含在应用程序主内存设置中? 最佳答案 clientmodeisopposedtoclustermodewherethedriverrunswithintheapplicationmaster?是,当Spark应用程序部署在YARN

php - Laravel 5.2 在同一页面上更新 Eloquent Master Detail

这是我在Laravel5.2中实现主从页面的两个模型,Blade页面和Controller。我想知道如何将详细信息部分更新回数据库。1)主模型namespaceApp;useIlluminate\Database\Eloquent\Model;classOrderextendsModel{protected$fillable=['id','name','created_at','updated_at'];publicfunctiondetail(){return$this->hasMany('App\OrderDetail','fid','id');}publicfunctionget

php - Zend Framework应用层Master/Slave切换

我正在编写一个应用程序,需要在应用程序层内进行主/从切换。现在,我在创建映射器时实例化一个Zend_Db_Table对象,然后将DefaultAdapter设置到从属对象。现在在基本映射器类中,我有以下方法:publicfunctionuseWriteAdapter(){if(Zend_Db_Table_Abstract::getDefaultAdapter()!=$this->_writeDb){Zend_Db_Table_Abstract::setDefaultAdapter($this->_writeDb);$this->_tableGateway=newZend_Db_Tabl

php - 致 PHP 专家 : How to master PHP?

按照目前的情况,这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持,但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visitthehelpcenter指导。关闭12年前。“掌握”PHP需要(平均)多少年的经验?他/她需要用PHP完成哪些具体项目才能认为自己是一名优秀的PHP程序员?