草庐IT

python - Airflow :运行一次 Airflow 子标记的模式

来自Airflow文档:SubDAGsmusthaveascheduleandbeenabled.IftheSubDAG’sscheduleissettoNoneor@once,theSubDAGwillsucceedwithouthavingdoneanything我知道subdagoperator实际上是作为BackfillJob实现的,因此我们必须向运算符(operator)提供schedule_interval。但是,有没有办法为子标签获取schedule_interval="@once"的语义等价物?我担心,如果我对subdag使用setschedule_interval="

python - Airflow - SubDag 中长时间运行的任务在一小时后标记为失败

我在airflow中有一个SubDAG,它有一个长时间运行的步骤(通常大约2小时,但它会根据正在运行的单元而有所不同)。在1.7.1.3下,此步骤将始终导致AIRFLOW-736当其中的所有步骤都成功时,SubDAG将停止在“运行”状态。我们可以通过在数据库中手动将SubDagOperator标记为成功(而不是运行)来解决此问题,因为我们在SubDAG之后没有步骤。我们现在正在测试Airflow1.8.1,通过执行以下操作进行升级:关闭我们的调度器和工作器通过pip,卸载airflow并安装apache-airflow(版本1.8.1)运行Airflow升级b运行Airflow调度器和