草庐IT

大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介

east4ming 2023-03-28 原文

?️Reference:
IoT 边缘计算系列文章

什么是边缘容器?

边缘容器的概念

边缘容器是分散的计算资源,尽可能靠近最终用户或设备,以减少延迟、节省带宽并增强整体数字体验。

可以访问互联网的设备数量每天都在增加。有包括但不限于:

  • 智能电视
  • 智能家居
  • 智能手机
  • 智能汽车
  • 物联网 IoT 创造的多种多样其他智能设备

大多数用户运行对时间敏感的应用程序,滞后会降低用户体验的质量。遥远的集中式云服务存在高延迟,通常是应用程序性能不佳的罪魁祸首。开发边缘计算旨在使数据处理更接近用户并解决与网络相关的性能问题。

具体而言,边缘容器允许组织通过将应用程序的关键组件移动到网络边缘来分散服务。通过将智能转移到边缘,组织可以实现更低的网络成本和更快的响应时间。

但是,当组织采用边缘容器/计算时,他们会遇到诸如 管理异构设备(不同的处理器、操作系统等), 资源受限的设备,以及间歇性连接等问题。

边缘计算的发展趋势

?️Reference:

Edge Computing will be 4x larger than cloud and will generate 75% of data worldwide by 2025. With hardware and
software spread across hundreds or thousands of locations, the only feasible way to manage these distributed systems are the simple paradigms around observability, loosely coupled systems, declarative APIs, and robust automation, that have made cloud native technologies so successful in the cloud. Kubernetes is already becoming a key part of the edge ecosystem, driving integrations and operations.

到 2025 年,全世界** 75%的数据将会产生于边缘,边缘计算的规模将会比云大 4 倍。由于软硬件分散部署在成百上千的 不同位置上,管理这些分布式系统的唯一可行的方法是围绕可观测性、松耦合系统、声明式 API 和强大的自动化**的简单范式,这些范式已经在云计算中促使云原生技术获得成功。Kubernetes 已经成为边缘生态系统的关键部分,持续推动其集成和运维。

-- Reported from Kubernetes on EDGE DAY

为什么需要容器?

容器是易于部署的软件包,容器化应用程序易于分发,使其成为边缘计算解决方案的自然选择。与传统云容器相比,边缘容器可以并行部署到地理位置不同的接入点(PoP),以实现更高级别的可用性。

云容器和边缘容器之间的主要区别在于位置。虽然云容器在遥远的区域数据中心运行,但边缘容器位于网络的边缘,更接近最终用户。

由于主要区别在于位置,边缘容器使用与云容器相同的工具,因此开发人员可以使用其现有的 Docker 专业知识进行边缘计算。若要管理容器,组织可以使用 Web UI、terraform/ansible 或容器编排系统 (K8S 等)。

边缘容器的优点

  • 低延迟:边缘容器提供极低的延迟,因为它们距离最终用户只有"最后一公里"。
  • 可扩展性:边缘网络比集中式云具有更多的 PoP。因此,边缘容器可以同时部署到多个位置,使组织有机会更好地满足区域需求。
  • 成熟度:Docker 等容器技术被认为是成熟的,经过实战考验。此外,无需重新训练,因此测试边缘容器的开发人员可以使用他们熟悉的相同 Docker 工具。
  • 减少带宽:集中式应用程序可能会产生高额网络费用,因为所有流量都集中在云供应商的数据中心。边缘容器靠近用户,可以提供预处理和缓存。

边缘容器的缺点

  • 管理复杂性:将多个容器,多个操作系统,多个架构设备分布在许多区域需要仔细规划和运维/监控。
  • 增加攻击面:边缘设备往往由于绑定硬件以及分散分布,一般难以及时更新,导致边缘设备经常成为被攻击成功的对象。
  • PoP 之间的网络费用:除了常规的入口和出口费用外,边缘容器还对 PoP 之间的流量收取单独的费用,需要考虑这些费用。(如:5G 物联网卡的网络费用)
  • 资源紧张: CPU/ 内存 / 存储 资源紧张,边缘设备相比云中心的资源,资源更为紧张,提供不了云中心类似的 CPU/内存/存储。一个边缘设备的资源一般在:1C0.5G8G - 2C8G32G 之间
  • 网络条件恶劣: 比如存在 5G 收费网络的情况,且访问的目的端地址需要开通权限,且按照流量收费,且因为 5G 网络条件,网络传输能力受限,且不稳定(可能会在一段时间内离线)

边缘计算的应用场景

这里由于笔者的能力所限,仅做部分举例:

  • 商业卫星
  • 航空设备:如战斗机等
  • 交通行业:
    • 收费站
    • 智慧交管
    • 车路协同
    • 智慧停车
  • 能源行业
    • 煤矿设备
  • 工业制造
    • 产线
  • CDN
  • 智能汽车
  • 智慧园区
  • 金融:银行终端
  • 智慧物流
  • 电力
    • 电力巡检
  • 安防监控

IoT 边缘容器集群管理的通用架构

针对边缘容器的缺点之一:管理的复杂性,由于软硬件分散部署在成百上千的不同位置上,管理这些分布式系统的唯一可行的方法是围绕可观测性、松耦合系统、声明式 API 和强大的自动化的简单范式,这些范式已经在云计算中促使云原生技术获得成功。

通用的架构是: 云-边-端 三层架构。

  1. : 云中心, 统一管理,核心计算;
  2. :边缘侧,边缘计算,边缘网络, 联通到云端;
  3. : 端侧设备。

方案至少需要实现以下目标:

  • 云边协同:通过云端管理边端的所有容器集群。管理至少包括 2 方面:下发指令,查看健康状态;
  • 边缘自治:云/边网络中断/不稳定/异常时,边端无法连接到云端,这种情况下边端可以正常运行;
  • 边端轻量化:需要资源少,支持 arm 架构,可以在资源受限的情况下正常运行

IoT 边缘容器集群管理的几种架构方案

总结来看,有以下多种基于开源的实践方案:

  1. Rancher + K3s: Rancher 用于云端场景,K3s 用于边场景。端是各类设备。 多个 K3s 边集群通过 Rancher 统一管理。
  2. HashiCorp 解决方案: Nomad+ (consul 可选)+ docker/容器,这是一种受欢迎程度也很广,但是比起 k8s 还是略低的编排技术。通过 Nomad UI/API/CLI 统一管理,将 nomad agent + (consul agent 可选) + docker/其他容器 作为边/端场景。
  3. portainer+ docker: Portainer 是类似 rancher 的容器管理方案,但是可以管理多种容器编排系统,如:Docker, Docker Swarm, Kubernetes, Nomad. 这里选择直接管理 docker 及 docker swarm 的方式。Portainer 用于云端场景,作为统一管理入口,docker + portainer agent 作为边/端场景。
  4. KubeEdge: KubeEdge 是一个开源系统,用于将本地容器化应用协调能力扩展到边缘的主机。它建立在 kubernetes 之上,为网络、应用部署和云与边缘之间的元数据同步提供基本的基础设施支持。在这种方案下,Kubernetes 集群/Kubeedge CloudCore 作为云端场景,EdgeCore 作为边,edged 作为端。
  5. 除了以上较成熟且有案例的方案外,还有以下方案:
    1. OpenYurt
    2. SuperEdge
    3. Akri
    4. WasmEdge, 基于 Wasm, WasmEdge 为云原生和边缘原生环境中的 Linux 容器提供了一个轻量级、快速、安全和可移植的替代方案。未来可期。

这里重点对前 4 个笔者认为较为成熟的、现在已经可落地的方案做一个简要说明。

继续阅读

  1. 大规模 IoT 边缘容器集群管理的几种架构-1-Rancher+K3s
  2. 大规模 IoT 边缘容器集群管理的几种架构-2-HashiCorp 解决方案 Nomad
  3. 大规模 IoT 边缘容器集群管理的几种架构-3-Portainer
  4. 大规模 IoT 边缘容器集群管理的几种架构-4-Kubeedge
  5. 大规模 IoT 边缘容器集群管理的几种架构-5-总结

参考资料

三人行, 必有我师; 知识共享, 天下为公. 本文由东风微鸣技术博客 EWhisper.cn 编写.

有关大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介的更多相关文章

  1. ruby - i18n Assets 管理/翻译 UI - 2

    我正在使用i18n从头开始​​构建一个多语言网络应用程序,虽然我自己可以处理一大堆yml文件,但我说的语言(非常)有限,最终我想寻求外部帮助帮助。我想知道这里是否有人在使用UI插件/gem(与django上的django-rosetta不同)来处理多个翻译器,其中一些翻译器不愿意或无法处理存储库中的100多个文件,处理语言数据。谢谢&问候,安德拉斯(如果您已经在ruby​​onrails-talk上遇到了这个问题,我们深表歉意) 最佳答案 有一个rails3branchofthetolkgem在github上。您可以通过在Gemfi

  2. ruby-on-rails - 获取 inf-ruby 以使用 ruby​​ 版本管理器 (rvm) - 2

    我安装了ruby​​版本管理器,并将RVM安装的ruby​​实现设置为默认值,这样'哪个ruby'显示'~/.rvm/ruby-1.8.6-p383/bin/ruby'但是当我在emacs中打开inf-ruby缓冲区时,它使用安装在/usr/bin中的ruby​​。有没有办法让emacs像shell一样尊重ruby​​的路径?谢谢! 最佳答案 我创建了一个emacs扩展来将rvm集成到emacs中。如果您有兴趣,可以在这里获取:http://github.com/senny/rvm.el

  3. ruby-on-rails - 事件管理员日期过滤器日期格式自定义 - 2

    是否有简单的方法来更改默认ISO格式(yyyy-mm-dd)的ActiveAdmin日期过滤器显示格式? 最佳答案 您可以像这样为日期选择器提供额外的选项,而不是覆盖js:=f.input:my_date,as::datepicker,datepicker_options:{dateFormat:"mm/dd/yy"} 关于ruby-on-rails-事件管理员日期过滤器日期格式自定义,我们在StackOverflow上找到一个类似的问题: https://s

  4. ruby - (Ruby || Python) 窗口管理器 - 2

    我想用这两种语言中的任何一种(最好是ruby​​)制作一个窗口管理器。老实说,除了我需要加载某种X模块外,我不知道从哪里开始。因此,如果有人有线索,如果您能指出正确的方向,那就太好了。谢谢 最佳答案 XCB,X的下一代API使用XML格式定义X协议(protocol),并使用脚本生成特定语言绑定(bind)。它在概念上与SWIG类似,只是它描述的不是CAPI,而是X协议(protocol)。目前,C和Python存在绑定(bind)。理论上,Ruby端口只是编写一个从XML协议(protocol)定义语言到Ruby的翻译器的问题。生

  5. ruby-on-rails - 事件管理员和自定义方法 - 2

    这是我在ActiveAdmin中的自定义页面ActiveAdmin.register_page"Settings"doaction_itemdolink_to('Importprojects','settings/importprojects')endcontentdopara"Text"endcontrollerdodefimportprojectssystem"rakedataspider:import_projects_ninja"para"OK"endendend我想做的是,当我单击“导入项目”按钮时,我想在Controller中执行rake任务。但是我无法访问该方法。可能是什

  6. ruby - Ruby 和 Ruby on Rails 中的三层架构 - 2

    我是一名决定学习Ruby和RubyonRails的ASP.NETMVC开发人员。我已经有所了解并在RoR上创建了一个网站。在ASP.NETMVC上开发,我一直使用三层架构:数据层、业务层和UI(或表示)层。尝试在RubyonRails应用程序中使用这种方法,我发现没有关于它的信息(或者也许我只是找不到它?)。也许有人可以建议我如何在RubyonRails上创建或使用三层架构?附言我使用ruby​​1.9.3和RubyonRails3.2.3。 最佳答案 我建议在制作RoR应用程序时遵循RubyonRails(RoR)风格。Rails

  7. ruby-on-rails - (Ruby,Rails) 基于角色的身份验证和用户管理...? - 2

    我正在寻找用于Rails的优质管理插件。似乎大多数现有的插件/gem(例如“restful_authentication”、“acts_as_authenticated”)都围绕着self注册等展开。但是,我正在寻找一种功能齐全的基于管理/管理角色的解决方案——但不是简单地附加到另一个非基于角色的解决方案。如果我找不到,我想我会自己动手......只是不想重新发明轮子。 最佳答案 RyanBates最近做了两个关于授权的railscast(注意身份验证和授权之间的区别;身份验证检查用户是否如她所说的那样,授权检查用户是否有权访问资源

  8. Linux磁盘分区中物理卷(PV)、卷组(VG)、逻辑卷(LV)创建和(LVM)管理 - 2

    文章目录一基础定义二创建逻辑卷2-1准备物理设备2-2创建物理卷2-3创建卷组2-4创建逻辑卷2-5创建文件系统并挂载文件三扩展卷组和缩减卷组3-1准备物理设备3-2创建物理卷3-3扩展卷组3-4查看卷组的详细信息以验证3-5缩减卷组四扩展逻辑卷4-1检查卷组是否有可用的空间4-2扩展逻辑卷4-3扩展文件系统五删除逻辑卷5-1备份数据5-2卸载文件系统5-3删除逻辑卷5-4删除卷组5-5删除物理卷六LVM逻辑卷缩容6-1缩容注意事项6-2标准缩容步骤一基础定义LVM,LogicalVolumeManger,逻辑卷管理,Linux磁盘分区管理的一种机制,建立在硬盘和分区上的一个逻辑层,提高磁盘分

  9. ruby-on-rails - 使用用户或管理员模型和 Basecamp 样式子域设计登录 - 2

    我为Devise用户和管理员提供了不同的模型。我也在使用Basecamp风格的子域。除了我需要能够以用户或管理员身份进行身份验证的一些Controller和操作外,一切都运行良好。目前我有authenticate_user!在我的application_controller.rb中设置,对于那些只有管理员才能访问的Controller和操作,我使用skip_before_filter跳过它。不幸的是,我不能简单地指定每个Controller的身份验证要求,因为我仍然需要一些Controller和操作才能被用户或管理员访问。我尝试了一些方法都无济于事。看来,如果我移动authentica

  10. ruby-on-rails - 具有管理 namespace 的 Rails 3 中的 I18n - 2

    我正在根据Rails指南的建议开发Rails应用程序,以创建包含翻译的文件夹树和文件。我的文件夹树与此类似:|-defaults|---es.rb|---en.rb|-models|---book|-----es.rb|-----en.rb|-views|---defaults|-----es.rb|-----en.rb|---books|-----es.rb|-----en.rb|---users|-----es.rb|-----en.rb|---navigation|-----es.rb|-----en.rbconfig/locales/views/books/en.yml中的内容

随机推荐