草庐IT

javascript - 可扩展的Node.js应用程序体系结构

coder 2023-05-29 原文

过去，我只在本地计算机上玩Node.js，所以我只有使用单进程Node.js应用程序的经验。现在，我想创建一个可以在网络上发布的Web应用程序。

该Web应用程序将类似于多人游戏-使用Socket.IO进行客户端-服务器通信，使用Express处理HTTP请求，使用grunt进行任务管理，等等-我也想将其他NPM软件包也用于各种任务。

我想将此应用程序的体系结构设计为

  • 启用水平可伸缩性(后来，当我有很多访问者时，我不必重写整个应用程序)
  • 最小化对不同执行环境的依赖(以最大程度地提高可移植性)

    • 如何使用Node实现此目的？

    我想高层架构将包括:
  • 不同的服务器进程(每个进程将运行Express的实例并处理传入的HTTP请求)。
  • 某处应该有一个负载均衡器。
  • (可选):后台处理，可以定期运行并处理“共享数据”

    • 由于我的应用程序将是一个多人游戏应用程序，每个用户都可以与其他在线用户进行交互，因此我应该将一些共同状态(“共享数据”)存储在可以在这些进程之间共享的位置。

    为简单起见，起初我不必保留此共享数据，所以我认为我应该使用像Redis这样的内存数据存储。

    总体情况如下所示:

    这种设计提出了一些问题:

    如何产生流程？

    我应该使用Node的child_process还是cluster模块并手动启动工作进程？顺便说一句，是否有可能完全手动启动这些程序，例如，如果我将应用程序部署到Heroku或Nodejitsu？

    或: is there a better way to store these information in a config file?
    我的意思是，如果可以不通过编辑代码而是配置条目来配置多少服务器实例，那就更好了。

    系统界限？

    如果我手动生成进程，那么(我猜)所有进程都将在同一台(虚拟)服务器上运行。

    如果该服务器具有4个CPU内核，则最多可以生成4个Node实例，因为如果生成更多，则CPU会进行上下文切换，这会破坏整体性能。

    如果需要更多流程实例该怎么办？假设我需要100个服务器实例。我是否必须将我的应用程序部署到25台服务器，并在每台服务器上生成4个进程？

    在我看来，诸如Nodejitsu之类的托管服务会以某种方式向您隐藏此系统边界层，但我看不到它在实际中是如何工作的。

    特别是存在此“共享数据”提供程序组件。我猜想此提供程序(如Redis服务器)必须在其他服务器上运行，以便所有进程都可以使用。但是在这种情况下，它很容易成为瓶颈，不是吗？

    负载均衡器？

    如果我使用某些托管服务，是否必须自己设置负载平衡器层？

    编辑:

    回答一些实际问题:第一步，我要无缝处理4-500个并发用户(Socket.IO连接)。这是我可以实际实现的访客数量。

    但是我很好奇，是否有可能(如果是，怎么办？)设计可以轻松扩展的应用程序体系结构。假设我的网站从一天到第二天都将变得很流行，第二天我必须服务数千个用户，而不是与数百个并发用户打交道。

    据我所知，Heroku和Nodejitsu之类的云托管服务可以很容易地适应这些情况-您只需要增加worker/dynos/等等的数量即可-但是只有在您拥有正确的应用程序体系结构的情况下，它才能起作用。

    关于共享数据:我不想保留它。我只想保留它在内存中。一方面，由于Socket.IO，需要一些共享的数据提供程序-一个用户将能够向另一个“节点”中的用户发送消息。为此，我将使用Redis作为共享数据提供程序。 Redis需要处理的事务数等于使用Socket.IO发送/接收的消息量，约1000-1500消息/秒。

    另一方面，需要一些共享数据提供程序，因为我想基于多个条件来连接用户。稍后，后台进程将定期重新计算/优化那些连接的概率(“权重”)。我已经有了一些想法，如何实现高效的数据结构来处理对该内存表的快速插入/删除操作。因此，“共享数据提供者”组件将包含一些服务器端代码(可能是Node.js)，这些代码可以存储这些连接。

    我知道这是TL; DR，但希望它能回答您有关该问题的所有技术问题。 :)

    最佳答案

    好的，这是要经历的很多事情。首先，您的关注点分离是适当的，您需要一种流程进行通信的方式，这可以通过Redis实例或其他pub/sub或req/res系统(例如redis，kue，zmq等)进行。注意:如果您的数据/消息使用量显着增长，则可能仍需要分片，至少应尽可能多。如果使用更复杂的消息队列系统(兔子或其他AMQP)，则可以缓解此问题。

    看来您主要关心的是流程管理。通常，如果您使用的是Heroku，则应该能够按节点扩展单个进程，但是仍然需要外部的协调器节点。如果您是自托管主机(不是通过heroku或类似主机)，则应查看pm2或forever ...然后可以启动多个实例...

    在大多数情况下，您的物流/基础设施问题将根据您的需求而有所不同。更不用说涉及CI/CD，泊坞窗和其他技术的较新策略。或您的数据库使用。

    关于javascript - 可扩展的Node.js应用程序体系结构，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/25951490/

    javascriptNodebrstrongnoreferrernode.jsherokuscalability

    有关javascript - 可扩展的Node.js应用程序体系结构的更多相关文章

    1. ruby - 将差异补丁应用于字符串/文件 - 2

      对于具有离线功能的智能手机应用程序，我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl

    2. ruby - 使用 C 扩展开发 ruby​​gem 时，如何使用 Rspec 在本地进行测试？ - 2

      我正在编写一个包含C扩展的gem。通常当我写一个gem时，我会遵循TDD的过程，我会写一个失败的规范，然后处理代码直到它通过，等等......在“ext/mygem/mygem.c”中我的C扩展和在gemspec的“扩展”中配置的有效extconf.rb，如何运行我的规范并仍然加载我的C扩展？当我更改C代码时，我需要采取哪些步骤来重新编译代码？这可能是个愚蠢的问题，但是从我的gem的开发源代码树中输入“bundleinstall”不会构建任何native扩展。当我手动运行rubyext/mygem/extconf.rb时，我确实得到了一个Makefile(在整个项目的根目录中)，然后当

    3. ruby-on-rails - Rails 应用程序之间的通信 - 2

      我构建了两个需要相互通信和发送文件的Rails应用程序。例如，一个Rails应用程序会发送请求以查看其他应用程序数据库中的表。然后另一个应用程序将呈现该表的json并将其发回。我还希望一个应用程序将存储在其公共(public)目录中的文本文件发送到另一个应用程序的公共(public)目录。我从来没有做过这样的事情，所以我什至不知道从哪里开始。任何帮助，将不胜感激。谢谢! 最佳答案 无论Rails是什么，几乎所有Web应用程序都有您的要求，大多数现代Web应用程序都需要相互通信。但是有一个小小的理解需要你坚持下去，网站不应直接访问彼此

    4. ruby - 无法运行 Rails 2.x 应用程序 - 2

      我尝试运行2.x应用程序。我使用rvm并为此应用程序设置其他版本的ruby​​:$rvmuseree-1.8.7-head我尝试运行服务器，然后出现很多错误:$script/serverNOTE:Gem.source_indexisdeprecated,useSpecification.Itwillberemovedonorafter2011-11-01.Gem.source_indexcalledfrom/Users/serg/rails_projects_terminal/work_proj/spohelp/config/../vendor/rails/railties/lib/r

    5. ruby-on-rails - Rails 应用程序中的 Rails : How are you using application_controller. rb 是新手吗？ - 2

      刚入门rails，开始慢慢理解。有人可以解释或给我一些关于在application_controller中编码的好处或时间和原因的想法吗？有哪些用例。您如何为Rails应用程序使用应用程序Controller？我不想在那里放太多代码，因为据我了解，每个请求都会调用此Controller。这是真的？ 最佳答案 ApplicationController实际上是您应用程序中的每个其他Controller都将从中继承的类(尽管这不是强制性的)。我同意不要用太多代码弄乱它并保持干净整洁的态度，尽管在某些情况下ApplicationContr

    6. ruby-on-rails - 如何在我的 Rails 应用程序 View 中打印 ruby​​ 变量的内容？ - 2

      我是一个Rails初学者，但我想从我的RailsView(html.haml文件)中查看Ruby变量的内容。我试图在ruby​​中打印出变量(认为它会在终端中出现)，但没有得到任何结果。有什么建议吗？我知道Rails调试器，但更喜欢使用inspect来打印我的变量。 最佳答案 您可以在View中使用puts方法将信息输出到服务器控制台。您应该能够在View中的任何位置使用Haml执行以下操作:-puts@my_variable.inspect 关于ruby-on-rails-如何在我的R

    7. c - mkmf 在编译 C 扩展时忽略子文件夹中的文件 - 2

      我想这样组织C源代码:+/||___+ext||||___+native_extension||||___+lib||||||___(Sourcefilesarekeptinhere-maycontainsub-folders)||||___native_extension.c||___native_extension.h||___extconf.rb||___+lib||||___(Rubysourcecode)||___Rakefile我无法使此设置与mkmf一起正常工作。native_extension/lib中的文件(包含在native_extension.c中)将被完全忽略。

    8. ruby-on-rails - 如何在 Gem 中获取 Rails 应用程序的根目录 - 2

      是否可以在应用程序中包含的gem代码中知道应用程序的Rails文件系统根目录？这是gem来源的示例:moduleMyGemdefself.included(base)putsRails.root#returnnilendendActionController::Base.send:include,MyGem谢谢，抱歉我的英语不好 最佳答案 我发现解决类似问题的解决方案是使用railtie初始化程序包含我的模块。所以，在你的/lib/mygem/railtie.rbmoduleMyGemclassRailtie使用此代码，您的模块将在

    9. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

      无论您是想搭建桌面端、WEB端或者移动端APP应用，HOOPSPlatform组件都可以为您提供弹性的3D集成架构，同时，由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台（桌面/WEB/APP，而且某些客户端是“瘦”客户端）快速、方便地将数据接入到3D应用系统的解决方案，并且当访问数据时，在各个平台上的性能和用户体验保持一致，HOOPSPlatform将帮助您完成。利用HOOPSPlatform，您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品，HOOPSSDK包含的技术有：快速且准确的CAD

    10. 叮咚买菜基于 Apache Doris 统一 OLAP 引擎的应用实践 - 2

      导读：随着叮咚买菜业务的发展，不同的业务场景对数据分析提出了不同的需求，他们希望引入一款实时OLAP数据库，构建一个灵活的多维实时查询和分析的平台，统一数据的接入和查询方案，解决各业务线对数据高效实时查询和精细化运营的需求。经过调研选型，最终引入ApacheDoris作为最终的OLAP分析引擎，Doris作为核心的OLAP引擎支持复杂地分析操作、提供多维的数据视图，在叮咚买菜数十个业务场景中广泛应用。作者｜叮咚买菜资深数据工程师韩青叮咚买菜创立于2017年5月，是一家专注美好食物的创业公司。叮咚买菜专注吃的事业，为满足更多人“想吃什么”而努力，通过美好食材的供应、美好滋味的开发以及美食品牌的孵

    随机推荐