草庐IT

OfferOrders

全部标签

DolphinDB +Python Airflow 高效实现数据清洗

DolphinDB作为一款高性能时序数据库,其在实际生产环境中常有数据的清洗、装换以及加载等需求,而对于该如何结构化管理好ETL作业,Airflow提供了一种很好的思路。本篇教程为生产环境中ETL实践需求提供了一个解决方案,将PythonAirflow引入到DolphinDB的高可用集群中,通过使用Airflow所提供的功能来实现更好管理DolphinDB数据ETL作业,整体架构如下:1.Airflow1.1Airflow简介Airflow是一个可编程,调度和监控的工作流平台,基于有向无环图(Directedacyclicgraph,DAG),Airflow可以定义一组有依赖的任务,按照依赖依

DolphinDB +Python Airflow 高效实现数据清洗

DolphinDB作为一款高性能时序数据库,其在实际生产环境中常有数据的清洗、装换以及加载等需求,而对于该如何结构化管理好ETL作业,Airflow提供了一种很好的思路。本篇教程为生产环境中ETL实践需求提供了一个解决方案,将PythonAirflow引入到DolphinDB的高可用集群中,通过使用Airflow所提供的功能来实现更好管理DolphinDB数据ETL作业,整体架构如下:1.Airflow1.1Airflow简介Airflow是一个可编程,调度和监控的工作流平台,基于有向无环图(Directedacyclicgraph,DAG),Airflow可以定义一组有依赖的任务,按照依赖依