作者：vivo 互联网AI团队- Liu Zuocheng、Zhou Baojian
本文根据周保建老师在“2022 vivo开发者大会"现场演讲内容整理而成。公众号回复【2022 VDC】获取互联网技术分会场议题相关资料。
使用基于有限有向图的调度框架，可以控制在线服务中异步调度的流程，但这对分支路径的管理不够友好，随着节点增多，调度流程会越来越复杂而难以控制。因此我们实现了支持分支路径的图调度框架，解决普通图调度框架可扩展性差的问题。
vivo效果广告实时在线服务是提供实时AI算法推荐的服务。在广告投放场景，承载了一天百亿级别数量的请求，支持vivo广告收入。在可用性、可扩展性等方面具有非常高的要求。服务中起到调度作用的模块，上下游依赖特别多，比如特征服务、ABT实验平台、实时数据流、模型计算模块等等。调度模块在请求下游服务的方式都是采用异步的方式。那么我们是怎么管理这么多异步请求的呢？
异步调用已成为系统设计中的主流方法。虽然异步调度提升了系统性能，提升了资源的利用率，但却对系统的可扩展性和可维护性提出了挑战。回忆历史中用过的异步管理方法有以下三种。
面向过程方法
树调度
有限有向图管理
单纯使用面向过程的方法，简单却粗放，随着下游服务增多，代码逻辑中产生大量的callback函数和类使，得系统调度过程繁杂无序，可扩展性和可维护性变差。
树调度方法，使得异步调度进入框架调控的新阶段。可扩展性方面较面向过程的方法要好很多。但树结构不能准确描述复杂服务的调用流程。
有限有向图，是目前使用最为广泛的方法。扩展性较好，能管理复杂的调用流程。但这是否是一种完美的方法呢？不是的。有限有向图，对图中节点是全路径访问，对分支路径的管理不够友好。因此我们依然要探索新的方法。
为了解释有限有向图在实时在线服务中的局限性，我们以vivo效果广告预估服务的调度流程为例，进行说明。把调度流程经过抽象后，调度流程如左图一样简洁明了，但这只是理想状态。
那么现实状况又是什么样子的呢？大家来看，和所有的实时在线服务一样，我们在系统设计时，为了系统健壮，总要和大量的异常和超时做斗争。并且除了异常和超时，系统还需要有兜底逻辑。上一个简洁明了的有限有向图已经不复存在。
为了进一步说明，有限有向图不能完全把控在线服务中异步调度的流程。我们依据刚才展示的流程调度图，做了一个状态转换图。在这个图中，展示了系统中各个状态的流转路径，总数达到了7条之多。有限有向图是一种全路径图调度框架，已经难以适用复杂度不断增长的系统。
全路径图调度框架具体有什么痛点，逼迫让我们去寻找新的方法。具体原因就在这里，有限有向图在落地实践中，使用skip状态变量约束路径。系统在处理一次任务的过程中，不经过的路径上的所有节点状态都会被设置为skip。
全路径的图调度框架中，每增添一个节点，会导致：控制变量数量 +1，状态全集 x2， 复杂度成指数增长。在如此状态下，对复杂系统添加流程或调整流程，就会变成工程师的噩梦。设计开发时必须小心甚微，上线时则如履薄冰。
为了安全开发和提升迭代效率，新的调度方法被迫切地创建出来，那就支持分支路径的图调度框架。它的原理，则是在原有的图调度框架中，添加两处功能，一是加入了分支节点，二是对于图中节点的触发和激活支持“与”激活和“或”激活。是不是像极了逻辑电路呢？
大家是否有疑问，添加两处修改就可以了吗？这样做真的有效吗？其实依据，就来自于我们的《编译原理》里的常见概念和常见规律。
有限有向图，是一种NFA，即不确定的有限自动机。我们都知道，在实践中NFA实现难度很大，它不如DFA简洁和简单。所以结论呼之欲出，支持分支路径的图调度框架，则是把图变成DFA。我们还给它起了新名字，DDAG。
实践是检验真理的唯一标准，我们再通过实际的落地过程看，分支路径调度框架是否满足我们的预期。
我们回忆一下vivo效果广告预估服务的调度流程，那一个充满着异常、超时、兜底逻辑的调用图。为了便于说明，我们把它化简了一下，变成一个流程图，如左图，目前它还是一个全路径的调度图。使用分支路径调度框架改造后，变成右图，图中添加了判断节点，具体路径的走向则由判断逻辑来控制。大量Skip的状态控制变量依然不复存在。图中蓝、青、红分别代表了3条路径，让路径和流程一目了然。
当图与实时在线系统融合在一起的时候，我们发现了分支路径图调度框架更多的提升空间。比如，图的整体的超时、异常管理，图中节点的超时、异常管理，以及复杂图结构的自动化简，会成为我们以后进一步升级的空间。
分支路径图调度框架在vivo效果广告预估服务中做了一次成功的实践。它帮助工程师降低在开发过程中的风险，提速在项目中的迭代效率。让算法预估服务的飞轮越转越快！
很好奇，就使用rubyonrails自动化单元测试而言，你们正在做什么？您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您？git中的预提交Hook？只是手动调用？我完全理解测试，但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的，并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您？ 最佳答案 不确定您到底想听什么，但是有几个级别的自动代码库控制:在处理某项功能时，您可以使用类似autotest的内容获得关于哪些有效，哪些无效的即时反馈。要确保您的提
导读：随着叮咚买菜业务的发展，不同的业务场景对数据分析提出了不同的需求，他们希望引入一款实时OLAP数据库，构建一个灵活的多维实时查询和分析的平台，统一数据的接入和查询方案，解决各业务线对数据高效实时查询和精细化运营的需求。经过调研选型，最终引入ApacheDoris作为最终的OLAP分析引擎，Doris作为核心的OLAP引擎支持复杂地分析操作、提供多维的数据视图，在叮咚买菜数十个业务场景中广泛应用。作者｜叮咚买菜资深数据工程师韩青叮咚买菜创立于2017年5月，是一家专注美好食物的创业公司。叮咚买菜专注吃的事业，为满足更多人“想吃什么”而努力，通过美好食材的供应、美好滋味的开发以及美食品牌的孵
如何使此根路径转到:“/dashboard”而不仅仅是http://example.com？root:to=>'dashboard#index',:constraints=>lambda{|req|!req.session[:user_id].blank?} 最佳答案 您可以通过以下方式实现:root:to=>redirect('/dashboard')match'/dashboard',:to=>"dashboard#index",:constraints=>lambda{|req|!req.session[:user_id].b
Transformers开始在视频识别领域的“猪突猛进”，各种改进和魔改层出不穷。由此作者将开启VideoTransformer系列的讲解，本篇主要介绍了FBAI团队的TimeSformer，这也是第一篇使用纯Transformer结构在视频识别上的文章。如果觉得有用，就请点赞、收藏、关注！paper:https://arxiv.org/abs/2102.05095code(offical):https://github.com/facebookresearch/TimeSformeraccept:ICML2021author:FacebookAI一、前言Transformers(VIT)在图
我需要根据字符串路径的长度将字符串路径数组转换为符号、哈希和数组的数组给定以下数组:array=["info","services","about/company","about/history/part1","about/history/part2"]我想生成以下输出，对不同级别进行分组，根据级别的结构混合使用符号和对象。产生以下输出:[:info,:services,about:[:company,history:[:part1,:part2]]]#altsyntax[:info,:services,{:about=>[:company,{:history=>[:part1,:pa
我认为我的问题最好用一个例子来描述。假设我有一个名为“Thing”的简单模型，它有一些简单数据类型的属性。像...Thing-foo:string-goo:string-bar:int这并不难。数据库表将包含具有这三个属性的三列，我可以使用@thing.foo或@thing.bar之类的东西访问它们。但我要解决的问题是当“foo”或“goo”不再包含在简单数据类型中时会发生什么？假设foo和goo代表相同类型的对象。也就是说，它们都是“Whazit”的实例，只是数据不同。所以现在事情可能看起来像这样......Thing-bar:int但是现在有一个新的模型叫做“Whazit”，看起来
我有一个要在我的Rails3项目中使用的数组扩展方法。它应该住在哪里？我有一个应用程序/类，我最初把它放在(array_extensions.rb)中，在我的config/application.rb中我加载路径:config.autoload_paths+=%W(#{Rails.root}/应用程序/类)。但是，当我转到railsconsole时，未加载扩展。是否有一个预定义的位置可以放置我的Rails3扩展方法？或者，一种预先定义的方式来添加它们？我知道Rails有自己的数组扩展方法。我应该将我的添加到active_support/core_ext/array/conversion
Organization和Image具有一对一的关系。Image有一个名为filename的列，它存储文件的路径。我在Assets管道中包含这样一个文件:app/assets/other/image.jpg。播种时如何包含此文件的路径？我已经在我的种子文件中尝试过:@organization=...@organization.image.create!(filename:File.open('app/assets/other/image.jpg'))#Ialsotried:#@organization.image.create!(filename:'app/assets/other/i
我想开始使用“Sinatra”框架进行编码，但我找不到该框架的“MVC”模式。是“MVC-Sinatra”模式或框架吗？ 最佳答案 您可能想查看Padrino这是一个围绕Sinatra构建的框架，可为您的项目提供更“类似Rails”的感觉，但没有那么多隐藏的魔法。这是使用Sinatra可以做什么的一个很好的例子。虽然如果您需要开始使用这很好，但我个人建议您将它用作学习工具，以对您来说最有意义的方式使用Sinatra构建您自己的应用程序。写一些测试/期望，写一些代码，通过测试-重复:)至于ORM，你还应该结帐Sequel其中(imho
参见下面的示例，我想最好使用第二种方法，但第一种也可以。哪种方法最好，使用另一种的后果是什么？classTestdefstartp"started"endtest=Test.newtest.startendclassTest2defstartp"started"endendtest2=Test2.newtest2.start 最佳答案 我肯定会说第二种变体更有意义。第一个不会导致错误，但对象实例化完全过时且毫无意义。外部变量在类的范围内不可见:var="string"classAvar=A.newendputsvar#=>strin
