草庐IT

Hadoop 作业跟踪器只能从本地主机访问

我正在设置Hadoop(0.20.2)。对于初学者,我只想让它在一台机器上运行——我可能在某个时候需要一个集群,但当我到达那里时我会担心这个。我已经到了我的客户端代码可以连接到作业跟踪器并开始作业的地步,但是有一个问题:作业跟踪器只能从运行它的同一台机器上访问。我实际上用nmap进行了端口扫描,它显示端口9001在从Hadoop机器扫描时打开,而在从其他地方扫描时关闭。我在三台机器(一台Mac、一台Ubuntu和一台在VirtualBox中运行的UbuntuVM)上试过这个,结果是一样的。他们都没有设置任何防火墙,所以我很确定这是一个Hadoop问题。有什么建议吗?

hadoop - 使用主机系统上的客户端访问在 VM 中运行的 HBase

我尝试用客户端程序将一些数据写入hbaseHBase@Hadoop在Cloudera@ubuntu的预配置虚拟机中运行。客户端在托管虚拟机的系统上运行,并直接在虚拟机中运行客户端。所以现在我想用vm外的client访问vm上的server我正在使用NAT。为了能够访问HBaseMaster、HUE等服务器,在虚拟机上运行我在虚拟框中配置了端口转发:因此我可以访问HBaseMaster、HUE的概览站点。在我创建的虚拟机上针对服务器运行客户端hbase-site.xml内容:hbase.zookeeper.quorumlocalhosthbase.zookeeper.property.c

hadoop - Hbase 管理的 zookeeper 突然尝试连接到本地主机而不是 zookeeper quorum

我正在使用表映射器和缩减器对大规模问题进行一些测试。在某一点之后,当工作完成80%时,我的reducer开始出现故障。从我查看系统日志时可以看出,问题是我的一个动物园管理员试图连接到本地主机,而不是法定人数中的其他动物园管理员奇怪的是,当映射正在进行时,它似乎可以很好地连接到其他节点,这减少了它遇到的问题。以下是系统日志的选定部分,可能与弄清楚发生了什么有关2014-06-2709:44:01,599INFO[main]org.apache.zookeeper.ZooKeeper:Initiatingclientconnection,connectString=hdev02:5181,

hadoop - 为什么 DataFrame.saveAsTable ("df") 将表保存到不同的 HDFS 主机?

我已经用Spark(1.4.0)配置了Hive(1.13.1),我可以从hive访问所有数据库和表,我的仓库目录是hdfs://192.168.1.17:8020/用户/hive/仓库但是,当我尝试使用df.saveAsTable("df")函数通过Spark-Shell(使用master)将Dataframe保存到Hive中时,我遇到了这个错误。15/07/0314:48:59INFOaudit:ugi=userip=unknown-ip-addrcmd=get_database:default15/07/0314:48:59INFOHiveMetaStore:0:get_table

hadoop - Hbase:如何为 Hbase master 指定主机名

我正在努力设置一个具有2个节点的Hbase分布式集群,一个是我的机器,一个是VM,使用VirtualBox中的“host-only”适配器。我的问题是区域服务器(来自VM机器)无法连接到主机上运行的Hbasemaster。尽管在Hbaseshell中我可以在VM机器('slave')上的区域服务器中列出,创建表,......,日志总是显示org.apache.hadoop.hbase.regionserver.HRegionServer:Unabletoconnecttomaster.Retrying.Errorwas:java.net.ConnectException:Connect

hadoop - hdfs Datanode 拒绝与 namenode 通信,因为无法解析主机名

我在LXC容器内的一台机器上有3个DataNode和1个NameNode。与NameNode位于同一节点上的DataNode工作正常,但我没有得到其他2个:InitializationfailedforBlockpoolBP-232943349-10.0.3.112-1417116665984(DatanodeUuidnull)servicetohadoop12.domain.local/10.0.3.112:8022Datanodedeniedcommunicationwithnamenodebecausehostnamecannotberesolved(ip=10.0.3.233,

java - 通过 Java API 从远程主机访问 HDFS,用户身份验证

我需要通过JavaAPI从远程桌面使用HDFS集群。在写访问之前一切正常。如果我尝试创建任何文件,我都会收到访问权限异常。路径看起来不错,但异常指示我的远程桌面用户名,这当然不是我访问所需HDFS目录所需要的。问题是:-有什么方法可以在JavaAPI中使用“简单”身份验证来表示不同的用户名?-您能否用JavaAPI示例对hadoop/HDFS中的身份验证/授权方案进行一些很好的解释?是的,我已经知道在这种情况下使用shell别名可能会使'whoami'过载,但我更愿意避免这样的解决方案。这里还有一些细节是我不喜欢使用一些技巧,比如通过SSH和脚本的管道。我想只使用JavaAPI执行所有

php - 在虚拟主机中托管 Laravel 项目

我想在我的虚拟主机中托管我的laravel项目。在我的虚拟主机中,有Public_html文件夹。在使用Laravel之前,我可以使用Public_html文件夹中的default.php或index.php来调用我的网站。但在laravel框架中,index.php位于public文件夹中。如何从我的Public_html访问Laravel/public/index.php? 最佳答案 它是您正在使用的共享主机吗?如果是,则:将public(L5)的内容直接放在public_html上(注意不要意外覆盖.htaccess文件)然后

php - 邮件功能在本地主机服务器中不起作用

我在我的本地主机服务器上。我在下面使用此代码,但我从未收到过电子邮件。 最佳答案 我知道有点晚了......检查您的本地主机是否配置为发送电子邮件在ubuntu终端上尝试执行以下命令#apt-getinstallsendmail 关于php-邮件功能在本地主机服务器中不起作用,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/14802606/

mysql - MySQL "::1"主机名指的是什么?

在新安装的(Windows版本)MySQL5.5.9上SELECTuser,hostFROMmysql.user给予:userhostrootlocalhostroot127.0.0.1root::1localhost但是::1在这里代表什么IP/主机名? 最佳答案 ::1是localhost的IPv6地址。详细信息(包括与Windows案例相关的那些)位于http://dev.mysql.com/doc/refman/5.5/en/default-privileges.html. 关于