草庐IT

Hadoop客户端和集群分离

codeneng 2023-03-28 原文

Hadoop client and cluster separation

我是hadoop 的新手，linux 也是如此。我的教授要求我们使用端口映射或 VPN 将 Hadoop 客户端和集群分开。我不明白这种分离的意义。谁能给个提示？

现在我有了集群客户端分离的想法。我认为客户端机器上也需要安装hadoop。当客户端提交一个hadoop作业时，它被提交给集群的主服务器。

我还有一些幼稚的想法：

1.创建客户端机器并安装hadoop .

2. 将 fs.default.name 设置为 hdfs://master:9000

3. 将 dfs.namenode.name.dir 设置为 file://master/home/hduser/hadoop_tmp/hdfs/namenode
对吗？

4.那我不知道怎么设置dfs.namenode.name.dir等配置。

5.我觉得主要思路是设置配置文件让作业在hadoop集群中运行，但是具体怎么做我不知道。

首先..这个链接有关于客户端如何与namenode通信的详细信息

http://www.informit.com/articles/article.aspx?p=2460260

用户不应破坏集群的功能。就是这个意思。想象一下，有一大群数据科学家从集群的一个主人那里开始他们的工作。如果有人启动内存密集型操作，在同一台机器上运行的主进程可能最终没有内存并崩溃。这将使整个集群处于故障状态。

如果您将客户端节点与主/从节点分开，用户仍然可以使客户端崩溃，但集群会保持正常运行。

  • 最简单的方法是将配置从集群节点完全复制到客户端。通常 hadoop 配置位于 /etc/hadoop/conf 中。将此目录从主计算机复制到客户端计算机。您应该在集群和客户端中安装相同版本的 hadoop。
  • 那么datanodes和namenodes呢？它们也会在客户端硬盘中吗？
  • 您不必在客户端计算机上运行任何服务。通过"安装相同版本的 hadoop"，我的意思是，将它们全部放在硬盘上(二进制文件、库等)。
  • 我需要在客户端机器上全部启动吗？我需要将客户端机器添加到集群机器的hosts文件中吗？
  • 不，您不必启动任何 hadoop 服务。我不确定"主机"文件。是 /etc/hosts 吗？如果是，那么是的，您应该将客户端的主机名添加到所有集群节点上的 /etc/hosts 中。

Hadoop客户端sectionhadoopwyncluster-computinghadoop2vpn

有关Hadoop客户端和集群分离的更多相关文章

  1. hadoop安装之保姆级教程（二）之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN. ApacheYARN（YetanotherResourceNegotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的分布式计算模

  2. ruby - 在 TCPServer (Ruby) 中，我如何从客户端获取 IP/MAC？ - 2

    我想在Ruby的TCPServer中获取客户端的IP地址。以及(如果可能的话)MAC地址。例如，Ruby中的时间服务器，请参阅评论。tcpserver=TCPServer.new("",80)iftcpserverputs"Listening"loopdosocket=tcpserver.acceptifsocketThread.newdoputs"Connectedfrom"+#HERE!HowcanigettheIPAddressfromtheclient?socket.write(Time.now.to_s)socket.closeendendendend非常感谢!

  3. ruby-on-rails - 为什么我必须在使用客户验证器后重新加载 rspec 中的记录？ - 2

    我有一个模型User，它在创建后的回调中创建了选项#Userhas_one:user_optionsafter_create:create_optionsprivatedefcreate_optionsUserOptions.create(user:self)end我对此有一些简单的Rspec覆盖:describe"newuser"doit"createsuser_optionsaftertheuseriscreated"douser=create(:user)user.user_options.shouldbe_kind_of(UserOptions)endend一切正常，直到我将自

  4. ruby - 如何获得带有 SSL 客户端证书的 HTTPS 请求以与 Ruby EventMachine 一起使用？ - 2

    我正在尝试使用RubyEventMachine访问使用SSL证书身份验证的HTTPSWeb服务，但我没有让它工作。我编写了以下简单代码块来对其进行端到端测试:require'rubygems'require'em-http'EventMachine.rundourl='https://foobar.com/'ssl_opts={:private_key_file=>'/tmp/private.key',:cert_chain_file=>'/tmp/ca.pem',:verify_peer=>false}http=EventMachine::HttpRequest.new(url).g

  5. ruby-on-rails - 在 Ruby on Rails 应用程序中使用客户端 SSL - 2

    我正在为需要与API建立SSL连接的客户端开发应用程序。我得到了三个文件；一个信任根证书(.cer)文件、一个中间证书(.cer)文件和一个签名的响应文件。我得到的安装说明与IIS或Javakeytool程序有关；我正在用RubyonRails构建应用程序，所以这两种方法都不是一个选项(据我所知)。证书由运行API服务的组织自签名，看来我获得了客户端证书以相互验证https连接。我不确定如何使用我的应用程序中的证书连接和使用API签名响应文件的作用我读过"Usingaself-signedcertificate"和thisarticleonOpenSSLinRuby但两者似乎都不是很到

  6. ruby - 为什么这个启用 SSL 的 Ruby 服务器/客户端测试有效？ - 2

    我正在努力在Ruby中创建启用SSL的服务器，以及与服务器一起使用的相应Ruby客户端。为了进行测试，我使用以下命令创建了自己的根CA证书。$:~/devel/ssl-test/ssl/CA$opensslgenrsa-outTestCA.key2048GeneratingRSAprivatekey,2048bitlongmodulus............+++...........................+++eis65537(0x10001)$:~/devel/ssl-test/ssl/CA$opensslreq-new-keyTestCA.key-outTestCA.

  7. 【详解】Docker安装Elasticsearch7.16.1集群 - 2

    开门见山|拉取镜像dockerpullelasticsearch:7.16.1|配置存放的目录#存放配置文件的文件夹mkdir-p/opt/docker/elasticsearch/node-1/config#存放数据的文件夹mkdir-p/opt/docker/elasticsearch/node-1/data#存放运行日志的文件夹mkdir-p/opt/docker/elasticsearch/node-1/log#存放IK分词插件的文件夹mkdir-p/opt/docker/elasticsearch/node-1/plugins若你使用了moba，直接右键新建即可如上图所示依次类推创建

  8. 企业大数据发展面临问题之存算分离技术思考 - 2

    文章目录概述背景为何要存算分离优势**应用场景**存算分离产品技术流派华为JuiceFSHashDataXSKY概述背景Hadoop一出生就是奔存算一体设计，当时设计思想就是存储不动而计算(code也即是代码程序)动，负责调度Yarn会把计算任务尽量发到要处理数据所在的实例上，这也是与传统集中式存储最大的不同。为何当时Hadoop设计存算一体的耦合？要知道2006年服务器带宽只有100Mb/s~1Gb/s,但是HDD也即是磁盘吞吐量有50MB/s，这样带宽远远不够传输数据，网络瓶颈尤为明显，无奈之举只好把计算任务发到数据所在的位置。众观历史常言道天下分久必合合久必分，随着云计算技术的发展，数据

  9. 大数据之Hadoop数据仓库Hive - 2

    目录：一、简介二、HQL的执行流程三、索引四、索引案例五、Hive常用DDL操作六、Hive常用DML操作七、查询结果插入到表八、更新和删除操作九、查询结果写出到文件系统十、HiveCLI和Beeline命令行的基本使用十一、Hive配置一、简介Hive是一个构建在Hadoop之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类SQL查询功能，用于查询的SQL语句会被转化为MapReduce作业，然后提交到Hadoop上运行。特点：简单、容易上手(提供了类似sql的查询语言hql)，使得精通sql但是不了解Java编程的人也能很好地进行大数据分析；灵活性高，可以自定义用户函数(UDF)和

  10. ruby-on-rails - 在处理电子邮件回复时，我怎样才能忽略任何电子邮件客户端细节和历史记录？ - 2

    我有一个通过IMAP处理传入电子邮件的Rails应用程序。当前使用一种方法来搜索TMail对象的各个部分以查找给定的content_type:defself.search_parts_for_content_type(parts,content_type='text/html')parts.eachdo|part|ifpart.content_type==content_typereturnpart.bodyelseifpart.multipart?ifbody=self.search_parts_for_content_type(part.parts,content_type)ret

随机推荐