我在Centos6.7上的单节点HortonworksHadoop集群(HDP2.3.4)上运行浏览器:与localhost:8000和:8000,我可以访问Hue。同样适用于8080的Ambari然而,其他几个端口,我只能通过主机名访问。因此,例如:50070,我可以访问namenode服务。如果我使用localhost:50070,我无法建立连接。所以我假设localhost被阻止了,namenode没有。我该如何设置localhost和有相同的端口配置? 最佳答案 这可能表明NameNodeHTTP服务器套接字绑定(bind)
我已经停止了ntpd并重新启动了它。已经做了一个ntpdatepool.ntp.org。错误出现一次,主机很健康,但一段时间后再次出现时钟偏移错误。我还观察到,在执行ntpdate后,cloudera的Web界面停止工作。它说潜在的不匹配配置修复并重新启动色调。我在VMware上安装了带有centos的cloudera快速启动虚拟机。 最佳答案 检查/etc/ntp.conf文件是否在所有节点/主节点上都相同重启ntp使用chkconfig添加守护进程并将其设置为开启 关于hadoop-
我有一个包含5个数据节点的Hadoop集群(ClouderaCDH4.2)。我正在尝试运行创建HBaseConfiguration对象的MapReduce作业。tasktracker尝试失败,因为它们试图连接到localhost:2181而不是实际zookeeper安装的地址。我知道这是因为没有为tasktracker提供包含hbase配置的正确类路径。但是,如果我这样运行作业:HADOOP_CLASSPATH=`/usr/bin/hbaseclasspath`hadoopjarmyjar.jar文档表明这应该可以解决问题。hbaseclasspath中的第一个条目是/usr/lib/
我正在尝试使用this在ubuntu上安装hadoop教程我已经更改了所有conf文件并尝试了互联网上可用的所有解决方案。我在运行start-all.sh时没有收到任何错误,但是当我使用jps检查进程时,我得到了这个:->3132Jps2742SecondaryNameNode2830JobTracker当我使用stop-all.sh时,我得到:->stoppingjobtrackerlocalhost:notasktrackertostopnonamenodetostoplocalhost:nodatanodetostoplocalhost:stoppingsecondaryname
我有一些私有(private)主机可以从YARN集群中通过IP而不是通过主机名可见。当他们尝试以YARN客户端模式提交任何Spark作业时,会尝试从集群连接驱动程序主机。由于默认情况下spark.driver.host配置为本地主机名,因此失败。那么有什么好的选择来处理这个问题吗?诸如自动将``spark.driver.host`设置为用于连接到集群的客户端IP接口(interface)地址之类的东西?正确的DNS解析不是选项。不可能。 最佳答案 基于此http://spark.apache.org/docs/latest/conf
我的主机中有一个csv文件,我有一个docker虚拟机。我想将主机中csv文件中的数据上传到VM。我正在使用python的hive_service库来连接和进行查询。但是,我对如何将数据放入VM感到困惑。例如,下面的脚本连接并能够查询配置单元,但在第二次查询时失败。我需要将smpl.txt从我的主机上传到dockervmimportsysfromhive_serviceimportThriftHivefromhive_service.ttypesimportHiveServerExceptionfromthriftimportThriftfromthrift.transportimpo
我正在尝试在我的亚马逊实例上的2节点集群上设置hadoop。每个实例都有一个公共(public)dns,我用它来引用它们。因此,在两台机器上的/etc/hosts文件中,我附加了如下行:{publicdnsof1stinstance}node1{publicdnsof2stinstance}node2我还可以通过简单地执行以下操作从另一个实例连接到每个实例:ssh{publicdnsoftheotherinstance}在hadoop/conf/slaves上的第一个实例文件中,我有:localhostnode2当我启动脚本bin/start-dfs.sh时它能够在主节点上启动名称节点
已编辑:-我已经在两台不同的机器上完成了单节点集群,我已经将一个作为主机(192.168.1.1)并将其他m/c作为从机(192.168.1.2),我能够成功地在两台机器之间进行ping,我已进行以下更改以进入2节点集群更新:-两台机器上的/etc/hostshosts.allowAll:Ashish-PC192.168.1.1:allowAll:slave192.168.1.2:allow主文件与Ashish-PC奴隶文件与Ashish-PCslave将本地主机公钥复制到远程主机(从属)时出现错误:端口22ssh-copy-id-i~/.ssh/id_rsa.pubhadoop@sl
我正在使用的版本,Hadoop2.2.0和HBase0.96.1.1,所有节点中的Hive0.12.0谁能解释给我的这个错误?hive>CREATEEXTERNALTABLEtest(keystring,valuesmap)STOREDBY'org.apache.hadoop.hive.hbase.HBaseStorageHandler'WITHSERDEPROPERTIES("hbase.columns.mapping"=":key,values:"TBLPROPERTIES("hbase.table.name"="test");FAILED:ExecutionError,retur
我创建了一个Cloudera集群并从OracleDB导入了一些示例测试文件。但过了一会儿,我不得不更改节点的主机名。我按照cloudera网站中提到的指南进行操作,一切正常。但是当我尝试访问我之前创建的表(同时使用hive和impala)时,出现以下错误:获取结果遇到以下错误:java.io.IOException:java.lang.IllegalArgumentException:java.net.UnknownHostException:[旧主机名]然后我在同一个数据库下创建了另一个表(使用Hue>Metastore表),我可以毫无问题地访问在新主机名下创建的这些新表。谁能解释一