草庐IT

hadoop - fs.defaultFS 只监听localhost的8020端口

coder 2024-01-07 原文

我有一个 CDH4.3 一体机启动并运行，我正在尝试远程安装一个 hadoop 客户端。我注意到，在不更改任何默认设置的情况下，我的 hadoop 集群正在监听 127.0.0.1:8020。

[cloudera@localhost ~]$ netstat -lent | grep 8020
tcp        0      0 127.0.0.1:8020              0.0.0.0:*                   LISTEN      492        100202 

[cloudera@localhost ~]$ telnet ${all-in-one vm external IP} 8020
Trying ${all-in-one vm external IP}...
telnet: connect to address ${all-in-one vm external IP} Connection refused
[cloudera@localhost ~]$ telnet 127.0.0.1 8020
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'

我的远程机器有所有配置(core-site.xml, hdfs-site.xml)指向${all-in-one vm external IP}。当我从远程客户端运行某些东西时，我得到了这个:

└ $ ./bin/hdfs --config /home/${myself}/hadoop-2.0.0-cdh4.3.0/etc/hadoop dfs -ls
13/10/27 05:27:53 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
ls: Call From ubuntu/127.0.1.1 to ${all-in-one vm external IP}:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

我更改了我的 hadoop 一体机 vm: /etc/hadoop/conf 下的 core-site.xml 和 hdfs-site.xml from:localhost.localdomain -> $ {all-in-one vm external IP}, 但是重启 hdfs 后，它仍然监听 localhost 8020。有什么想法吗？我怎样才能让它在 8020 而不是本地主机上收听 ${external IP}。

最佳答案

您应该能够直接将属性 dfs.namenode.rpc-address 调整为 0.0.0.0:8020 以使 NameNode Client IPC 服务监听所有接口(interface)，或将其设置为您的特定 IP 以使其仅在那里收听。

也就是说，多合一虚拟机外部 IP 更改您所说的应该有效，但由于问题没有您的确切配置和日志，我无法说明原因。

关于hadoop - fs.defaultFS 只监听localhost的8020端口，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/19618242/

defaultFSlocalhostcodehadoopsectionhdfscloudera

有关hadoop - fs.defaultFS 只监听localhost的8020端口的更多相关文章

  1. hadoop安装之保姆级教程（二）之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN. ApacheYARN（YetanotherResourceNegotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的分布式计算模

  2. ruby-on-rails - Rails 4.2.0.beta2 - 无法连接到 LocalHost？ - 2

    我按照RailsTutorial.org第三版(刚刚发布的版本)中的说明安装了Rails4.2.0.beta2。我没有使用cloudIDE，而是在带有RVM的Windows7主机上通过Vagrant使用UbuntuTrusty32。rails_4.2.0.beta2_newhello_app然后粘贴到hisgemfilesample中。在那之后，我跑了:$bundleinstall$railss服务器启动正常，但是当我尝试连接到localhost:3000时，出现“找不到服务器”更奇怪的是，我还有几个其他的Rails入门项目，我一直在使用Rails4.0.3和4.1.6，我能够很好地连

  3. ruby-on-rails - Rails 是否支持监听 UDP 套接字的简洁方式？ - 2

    在Rails中，什么是集成更新模型某些元素的UDP监听过程的最佳方式(特别是它将向其中一个表添加行)。简单的答案似乎是在同一个进程中使用UDP套接字对象启动一个线程，但我什至不清楚我应该在哪里做适合Rails方式的事情。有没有一种巧妙的方法来开始收听UDP？具体来说，我希望能够编写一个UDPController并在每个数据报消息上调用一个特定的方法。理想情况下，我希望避免在UDP上使用HTTP(因为它会浪费一些在这种情况下非常宝贵的空间)，但我完全控制消息格式，因此我可以为Rails提供它需要的任何信息。 最佳答案 Rails是一个

  4. ruby-on-rails - Faraday::ConnectionFailed，Connection refused - connect(2) for “localhost” port 9200 Error Ruby on Rails - 2

    我正在尝试使用RubyonRails在我的应用程序中添加Searchkickgem，但是当我在搜索框中键入一个词时，我的应用程序中出现此错误。我已经根据需要安装了elasticsearch和最新版本的java，但错误仍然是一样的。这是我得到的错误:Faraday::ConnectionFailedinPostsController#searchConnectionrefused-connect(2)for"localhost"port9200这是我的代码:终端显示已安装Elasticsearch:终端Warning:elasticsearch-1.7.3alreadyinstalled

  5. ruby - Chromedriver Devtools 端口号错误 - 2

    尝试使用capybara、selenium和chromedriver-helper运行测试时出现以下错误。使用相同版本的chromedriver，测试在mac上本地运行良好。我已经尝试在我的spec_helper中明确设置远程调试端口，但显然这被忽略了，因为chromedriver使用随机远程调试端口。Selenium::WebDriver::Error::UnknownError:unknownerror:Devtoolsportnumberfilecontentswereinanunexpectedformat(Driverinfo:chromedriver=2.40.565383

  6. ruby - 如何在 HTTParty 中设置端口 - 2

    我读到HTTParty使用SSLiftheportissetto443，但我不知道如何设置端口。有人可以为我澄清一下吗？ 最佳答案 检查规范:https://github.com/jnunemaker/httparty/blob/82a90c1b93b076f9d2d7410123c2b5d609401a1f/spec/httparty/request_spec.rb#L41目标URL预计使用端口443。只需在目标URI末尾添加:443就足以使HTTParty使用SSL。顺便说一下，HTTPSURL也将使用SSL。例子:http:/

  7. 大数据之Hadoop数据仓库Hive - 2

    目录：一、简介二、HQL的执行流程三、索引四、索引案例五、Hive常用DDL操作六、Hive常用DML操作七、查询结果插入到表八、更新和删除操作九、查询结果写出到文件系统十、HiveCLI和Beeline命令行的基本使用十一、Hive配置一、简介Hive是一个构建在Hadoop之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类SQL查询功能，用于查询的SQL语句会被转化为MapReduce作业，然后提交到Hadoop上运行。特点：简单、容易上手(提供了类似sql的查询语言hql)，使得精通sql但是不了解Java编程的人也能很好地进行大数据分析；灵活性高，可以自定义用户函数(UDF)和

  8. Ruby NET::SCP 和自定义端口 - 2

    我正在尝试使用Net::SCP为ssh连接定义一个自定义端口，但到目前为止运气不佳。下面是我如何尝试使用自定义ssh端口从服务器下载远程文件的示例:require"rubygems"require'net/scp'Net::SCP.download!("www.server.com","user","/opt/platform/upload/projects/file.txt","/tmp/bb.pdf",{:password=>"mypassword",:port=>22202})我得到的错误信息是:Errno::ECONNREFUSED:Connectionrefused-conn

  9. ruby - Openshift 端口转发 - 2

    关于它的话题已经很多了。但是我卡住了我成功配置了ssh!现在我想为与TOAD的连接配置端口转发。我用过这个图:https://blog.openshift.com/getting-started-with-port-forwarding-on-openshift/现在当我尝试rhcport-forward-aphp我收到此错误无法解析PKey:没有起始行我创立了这个:http://blog.skypayjm.com/2015/02/accessing-remote-openshifts-database.html我尝试降级ssh，但没有任何改变。有人知道我做错了什么吗？此致，布莱希特

  10. 华为静态NAT、动态NAT、PAT端口复用 - 2

    一、网络环境及TOP1.1R1相当于内网的一台PC， IP：192.168.1.10 网关为 192.168.1.254[R1]iproute-static0.0.0.00192.168.1.254#R1配置默认路由（网关）1.2R2为出口路由器，分别连接内网R1及外网R31）R2 内网接口IP：192.168.1.2542）R2外网接口IP：100.1.1.102）R2NAT地址为：100.1.1.11-100.1.1.14二、静态NAT配置1.1静态NAT（一对一双向）R2配置静态NAT，将公网IP100.1.1.11映射到内网R1 192.168.1.10[R2]intg0/0/1[R2

随机推荐