草庐IT

【分享一个工具】通过定义proto3来自动生成多进程模式的插件代码

ahfuzhang 2023-03-28 原文

作者:张富春(ahfuzhang)，转载时请注明作者和引用链接，谢谢！

我在多进程插件框架 hashicorp/go-plugin 的基础上，使用 protoreflect 来解析 proto3 语法的IDL文件，通过命令行工具自动生成多进程框架的 callee 和 caller 代码。
项目的地址请看：https://github.com/ahfuzhang/go-plugin/tree/main/examples/code_generator
并且已经提了PR到官方。

golang自身的plugin还非常的弱，主要有这些限制：

  • 其插件的编译环境必须与宿主进程的编译环境完全一致
  • 插件可以动态加载，但是无法动态卸载

hashicorp公司（他们更出名的产品是terra-form）开源的go-plugin使用了多进程的模式来实现插件，宿主进程创建子进程，然后通过unix套接字来通讯。
虽然跨进程来通讯有一定的损耗，但对于计算的场景还是OK的，反之用于通讯则不太适合。
hashicorp/go-plugin有这样一些不错的特性：

  • 提供了多进程插件化运行的框架，可以以多种方式写caller端和callee端。
  • 可以动态的加载插件（创建进程）、卸载插件（退出子进程）
  • 因为是跨进程的通讯，所以子进程的稳定性不影响宿主进程；其所有的操作系统资源都是与主进程隔离的
  • 官方甚至提供了一个用python实现子进程的例子
    • 如果用go + lua的方式来写插件，相信可以做到用lua来实现动态跨进程执行的效果
    • 基于这个框架可以很容易写出一个FAAS（Function as-a Service）框架来
  • 提供了日志、加密、通讯等其他支撑性的功能

最后再介绍我实现的这个小工具：如果基于grpc的风格来写插件，其中还是要实现一部分对grpc接口的封装，如果每次写插件都要写这些重复代码，未免有点太繁琐了。所以可以在proto3中定义好service，并通过extension的语法来定义插件名字。具体的步骤已经写在了文档里，大致是：

  • 通过*.proto文件来定义请求格式、响应格式、服务接口；
    • 通过plugin_name这个extension来定义服务对应的插件名字，如果不写，则插件名字就是服务名。
  • 通过protoc来把*.proto变成xx.pb.go的golang代码
  • 通过gen_code命令行来读取*.proto, 生成插件需要的xx.plugin.go文件
    • 同时生成callee目录，生成插件对应的代码。然后在todo的位置填写代码
    • 生成callee_test.go文件，可以拷贝到宿主进程中，用于加载插件。

再补充一点，如果需要把一堆基本类型构成的[]interface{}数组的数据在插件之间传递，我写的上一个工具可以解决这个场景：如何在proto3中用上golang对应的interface{}类型，以及这个工具：Serilizer

Have fun, 希望对你有用。 ?

多进自动生成liahfuzhangGo

有关【分享一个工具】通过定义proto3来自动生成多进程模式的插件代码的更多相关文章

  1. ruby - Facter::Util::Uptime:Module 的未定义方法 get_uptime (NoMethodError) - 2

    我正在尝试设置一个puppet节点，但ruby​​gems似乎不正常。如果我通过它自己的二进制文件(/usr/lib/ruby/gems/1.8/gems/facter-1.5.8/bin/facter)在cli上运行facter，它工作正常，但如果我通过由ruby​​gems(/usr/bin/facter)安装的二进制文件，它抛出:/usr/lib/ruby/1.8/facter/uptime.rb:11:undefinedmethod`get_uptime'forFacter::Util::Uptime:Module(NoMethodError)from/usr/lib/ruby

  2. ruby - 如何在 buildr 项目中使用 Ruby 代码？ - 2

    如何在buildr项目中使用Ruby？我在很多不同的项目中使用过Ruby、JRuby、Java和Clojure。我目前正在使用我的标准Ruby开发一个模拟应用程序，我想尝试使用Clojure后端(我确实喜欢功能代码)以及JRubygui和测试套件。我还可以看到在未来的不同项目中使用Scala作为后端。我想我要为我的项目尝试一下buildr(http://buildr.apache.org/)，但我注意到buildr似乎没有设置为在项目中使用JRuby代码本身!这看起来有点傻，因为该工具旨在统一通用的JVM语言并且是在ruby中构建的。除了将输出的jar包含在一个独特的、仅限ruby​​

  3. ruby - 使用 Vim Rails，您可以创建一个新的迁移文件并一次性打开它吗？ - 2

    使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta

  4. ruby-on-rails - Rails 源代码 : initialize hash in a weird way? - 2

    在rails源中:https://github.com/rails/rails/blob/master/activesupport/lib/active_support/lazy_load_hooks.rb可以看到以下内容@load_hooks=Hash.new{|h,k|h[k]=[]}在IRB中，它只是初始化一个空哈希。和做有什么区别@load_hooks=Hash.new 最佳答案 查看rubydocumentationforHashnew→new_hashclicktotogglesourcenew(obj)→new_has

  5. ruby-on-rails - Rails - 一个 View 中的多个模型 - 2

    我需要从一个View访问多个模型。以前，我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它，但这似乎不是“ruby方式”，我将需要在不久的将来访问更多模型。这可能会变得很脏，是否有针对这种情况的任何技术？注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展，本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向，这似乎很麻烦。最终从任何

  6. ruby-on-rails - 渲染另一个 Controller 的 View - 2

    我想要做的是有2个不同的Controller，client和test_client。客户端Controller已经构建，我想创建一个test_clientController，我可以使用它来玩弄客户端的UI并根据需要进行调整。我主要是想绕过我在客户端中内置的验证及其对加载数据的管理Controller的依赖。所以我希望test_clientController加载示例数据集，然后呈现客户端Controller的索引View，以便我可以调整客户端UI。就是这样。我在test_clients索引方法中试过这个:classTestClientdefindexrender:template=>

  7. ruby-on-rails - Rails 3.2.1 中 ActionMailer 中的未定义方法 'default_content_type=' - 2

    我在我的项目中添加了一个系统来重置用户密码并通过电子邮件将密码发送给他，以防他忘记密码。昨天它运行良好(当我实现它时)。当我今天尝试启动服务器时，出现以下错误。=>BootingWEBrick=>Rails3.2.1applicationstartingindevelopmentonhttp://0.0.0.0:3000=>Callwith-dtodetach=>Ctrl-CtoshutdownserverExiting/Users/vinayshenoy/.rvm/gems/ruby-1.9.3-p0/gems/actionmailer-3.2.1/lib/action_mailer

  8. ruby - 在 jRuby 中使用 'fork' 生成进程的替代方案？ - 2

    在MRIRuby中我可以这样做:deftransferinternal_server=self.init_serverpid=forkdointernal_server.runend#Maketheserverprocessrunindependently.Process.detach(pid)internal_client=self.init_client#Dootherstuffwithconnectingtointernal_server...internal_client.post('somedata')ensure#KillserverProcess.kill('KILL',

  9. ruby-on-rails - form_for 中不在模型中的自定义字段 - 2

    我想向我的Controller传递一个参数，它是一个简单的复选框，但我不知道如何在模型的form_for中引入它，这是我的观点:{:id=>'go_finance'}do|f|%>Transferirde:para:Entrada:"input",:placeholder=>"Quantofoiganho?"%>Saída:"output",:placeholder=>"Quantofoigasto?"%>Nota:我想做一个额外的复选框，但我该怎么做，模型中没有一个对象，而是一个要检查的对象，以便在Controller中创建一个ifelse，如果没有检查，请帮助我，非常感谢,谢谢

  10. ruby - 主要 :Object when running build from sublime 的未定义方法 `require_relative' - 2

    我已经从我的命令行中获得了一切，所以我可以运行rubymyfile并且它可以正常工作。但是当我尝试从sublime中运行它时，我得到了undefinedmethod`require_relative'formain:Object有人知道我的sublime设置中缺少什么吗？我正在使用OSX并安装了rvm。 最佳答案 或者，您可以只使用“require”，它应该可以正常工作。我认为“require_relative”仅适用于ruby​​1.9+ 关于ruby-主要:Objectwhenrun

随机推荐