草庐IT

从零开始画自己的DAG作业依赖图(一)--前期准备

华为云技术精粹 2024-04-29 原文

背景：

由于业务场景需要展示作业之间的依赖关系，由于一些开源的插件和当前的业务逻辑有一些冲突，个人打算尝试从零开始，一点点实现自己的DAG图。同时用博客记录自己实现过程和总结，不正确的地方，欢迎指正提升。

场景分析：

  1. 数据开发中常常有作业之间的依赖，在执行作业的时候，可能会出现有些作业失败，或者重试，这时候，运维或者开发的人，需要有一个很直观的图去展示作业之间的依赖，这时候DAG 依赖流程图就是一个很好的展现形式。
  2. 大数据场景下，可能会出现很多节点，甚至可能达到上千，甚至上万的节点，节点之间的边有可能也会很多，大的数据下，图的渲染时间需要考虑在内
  3. 用户有可能在看了图之后，想直接重跑或者查看某个节点的上下游节点，等等运维操作
  4. 用户可能需要图拖动某个算子，点击某个算子，复制某些算子的名称等一些操作

实现目标：

基于以上客户的要求，我们大致明确要实现目标和需求，梳理如下

  1. 用图的方式展示作业之间的依赖，基本能力要达到
  2. 图要能够支撑大数据场景，在很多节点下
    • 节点之间布局清晰
    • 节点的之间的连线不要重叠，少交叉
    • 图能够支持缩放，拖动
    • 图中节点支持拖动
  3. 图要支持运维能力
    • 悬浮某个节点 ，展示该节点的上下游，能够区分上下游节点
    • 选中某个节点，以及支持选中某个节点全部上游或者下游节点
    • 右键可以定制化业务操作，例如作业实例的重跑，停止
    • 作业名称支持复制
    • 选中具体某个节点可以展示该节点的信息面板
  4. 优化提升
    • 提供鸟瞰图的功能，保证大数据下可以查找节点
    • 提供搜索功能，能够精准在图上定位出要找的作业

交互设计稿：

基于以上目标，设计稿大致如下

技术选型：

一般的DAG，就两种方式，一种是canvas实现，另外一种就是svg，由于svg 对于事件处理比较简单，但是性能会差一些，后续如果svg 性能搞不定，可以使用canvas优化，新手，所以这里我选择了svg。用了svg.js,这个开源的插件，封装了一些简单的svg 函数，可以减少部分工作量。

实现过程概览：

个人打算分一下几个方面，逐步实现。

  1. 规划，背景，交互设计方案，技术选型
  2. 节点的分层布局算法
  3. 节点之间的线条路径
  4. 图上运维--右键，选中，节点复制等
  5. 图上事件--缩放，平移，节点拖动等
  6. 后期优化--纵向排列优化
  7. 后期优化--鸟瞰图以及搜索框及其他
  8. 后期优化--大数据节点优化

基本工作已经准备完了，接下来开搞！

本文由华为云发布。

DAG从零开始xff0cxff0xff云计算华为云

有关从零开始画自己的DAG作业依赖图(一)--前期准备的更多相关文章

  1. ruby-on-rails - 在 ruby​​ .gemspec 文件中，如何指定依赖项的多个版本？ - 2

    我正在尝试修改当前依赖于定义为activeresource的gem:s.add_dependency"activeresource","~>3.0"为了让gem与Rails4一起工作，我需要扩展依赖关系以与activeresource的版本3或4一起工作。我不想简单地添加以下内容，因为它可能会在以后引起问题:s.add_dependency"activeresource",">=3.0"有没有办法指定可接受版本的列表？~>3.0还是~>4.0？ 最佳答案 根据thedocumentation,如果你想要3到4之间的所有版本，你可以这

  2. ruby - RuntimeError(自动加载常量 Apps 多线程时检测到循环依赖 - 2

    我收到这个错误:RuntimeError(自动加载常量Apps时检测到循环依赖当我使用多线程时。下面是我的代码。为什么会这样？我尝试多线程的原因是因为我正在编写一个HTML抓取应用程序。对Nokogiri::HTML(open())的调用是一个同步阻塞调用，需要1秒才能返回，我有100,000多个页面要访问，所以我试图运行多个线程来解决这个问题。有更好的方法吗？classToolsController0)app.website=array.join(',')putsapp.websiteelseapp.website="NONE"endapp.saveapps=Apps.order("

  3. Observability：从零开始创建 Java 微服务并监控它 （二） - 2

    这篇文章是继上一篇文章“Observability：从零开始创建Java微服务并监控它（一）”的续篇。在上一篇文章中，我们讲述了如何创建一个Javaweb应用，并使用Filebeat来收集应用所生成的日志。在今天的文章中，我来详述如何收集应用的指标，使用APM来监控应用并监督web服务的在线情况。源码可以在地址 https://github.com/liu-xiao-guo/java_observability 进行下载。摄入指标指标被视为可以随时更改的时间点值。当前请求的数量可以改变任何毫秒。你可能有1000个请求的峰值，然后一切都回到一个请求。这也意味着这些指标可能不准确，你还想提取最小/

  4. ruby-on-rails - 在所有延迟的作业之前 Hook - 2

    是否可以在所有delayed_job任务之前运行一个方法？基本上，我们试图确保每个运行delayed_job的服务器都有我们代码的最新实例，所以我们想运行一个方法来在每个作业运行之前检查它。(我们已经有了“check”方法并在别处使用它。问题只是关于如何从delayed_job中调用它。) 最佳答案 现在有一种官方方法可以通过插件来做到这一点。这篇博文通过示例清楚地描述了如何执行此操作http://www.salsify.com/blog/delayed-jobs-callbacks-and-hooks-in-rails(本文中描述

  5. ruby - 有什么方法可以告诉 sidekiq 一项工作依赖于另一项工作 - 2

    有什么方法可以告诉sidekiq一项工作依赖于另一项工作，并且在后者完成之前无法开始？ 最佳答案 仅使用Sidekiq；答案是否定的。正如DickieBoy所建议的那样，您应该能够在依赖作业完成时将其启动。像这样。#app/workers/hard_worker.rbclassHardWorkerincludeSidekiq::Workerdefperform()puts'Doinghardwork'LazyWorker.perform_async()endend#app/workers/lazy_worker.rbclassLaz

  6. ruby-on-rails - Ruby/Rails 中的夏令时开始和结束日期 - 2

    我正在开发一个Rails应用程序，我需要在其中找到给定特定偏移量或时区的夏令时开始和结束日期。我基本上在我的数据库中保存了从用户浏览器接收到的时区偏移量(“+3”，“-5”)，我想在它出现时修改它由于夏令时的变化。我知道Time实例变量有dst?和isdst方法，如果存储在它们中的日期在夏令时与否。>Time.new.isdst=>true但是使用它来查找夏令时的开始和结束日期会占用太多资源，而且我还必须为我拥有的每个时区偏移量执行此操作。我想知道更好的方法。 最佳答案 好的，基于你所说的和@dhouty'sanswer:您希望能够

  7. ruby-on-rails - phusion passenger 和 ruby​​ 1.9.1 已经开始工作了吗？ - 2

    我有一台生产机器和一台开发机器，都运行ubuntu8.10并且都运行最新的phusionpassenger。当我在osx上的本地开发机器上使用ruby​​1.9.1时，我想知道外面的人是否已经在使用带有ruby​​1.9.1甚至1.9.2的phusionpassenger？如果是这样，请告诉我们您的设置!此外，有没有办法在apache上使用phusionpassenger同时运行ruby​​1.8.7(ree)和1.9.1？感谢您的指点，我在任何地方都找不到任何提示... 最佳答案 是的，从某些2.2.x版本开始就正式支持它，我不记

  8. ruby - Rails 3 - 我可以将开始日期设置为 date_select 方法吗？ - 2

    date_select方法只能设置:start_year，但我想设置开始日期(例如3个月前的日期)(但没有这样的选项)。那么，我可以将开始日期设置为date_select方法吗？或者，要制作这样的选择框，我应该使用select_tag和options_for_select吗？或者，有什么解决办法吗？谢谢， 最佳答案 有可能……例如:start_year–设置年份选择的开始年份。默认为Time.now.year-5参见thisresource. 关于ruby-Rails3-我可以将开始日期

  9. ruby - 从特定索引开始迭代数组 - 2

    我想从特定索引开始遍历数组。我该怎么做？myj.eachdo|temp|...end 最佳答案 执行以下操作:your_array[your_index..-1].eachdo|temp|###end 关于ruby-从特定索引开始迭代数组，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/44151758/

  10. 关于Qt程序打包后运行库依赖的常见问题分析及解决方法 - 2

    目录一.大致如下常见问题：（1）找不到程序所依赖的Qt库version`Qt_5'notfound(requiredby（2）CouldnotLoadtheQtplatformplugin"xcb"in""eventhoughitwasfound（3）打包到在不同的linux系统下，或者打包到高版本的相同系统下，运行程序时，直接提示段错误即segmentationfault，或者Illegalinstruction(coredumped)非法指令（4）ldd应用程序或者库，查看运行所依赖的库时，直接报段错误二.问题逐个分析，得出解决方法：（1）找不到程序所依赖的Qt库version`Qt_5'

随机推荐