草庐IT

[​DuckDB] 多核算子并行的源码解析

DuckDB是近年来颇受关注的OLAP数据库,号称是OLAP领域的SQLite,以精巧简单,性能优异而著称。笔者前段时间在调研Doris的Pipeline的算子并行方案,而DuckDB基于论文《Morsel-DrivenParallelism:ANUMA-AwareQueryEvaluationFrameworkfortheMany-CoreAge》实现SQL算子的高效并行化的Pipeline执行引擎,所以笔者花了一些时间进行了学习和总结,这里结合了MarkRaasveldt进行的分享和原始代码来一一剖析DuckDB在执行算子并行上的具体实现。1.基础知识问题1:并行task的数目由什么决定?

[​DuckDB] 多核算子并行的源码解析

DuckDB是近年来颇受关注的OLAP数据库,号称是OLAP领域的SQLite,以精巧简单,性能优异而著称。笔者前段时间在调研Doris的Pipeline的算子并行方案,而DuckDB基于论文《Morsel-DrivenParallelism:ANUMA-AwareQueryEvaluationFrameworkfortheMany-CoreAge》实现SQL算子的高效并行化的Pipeline执行引擎,所以笔者花了一些时间进行了学习和总结,这里结合了MarkRaasveldt进行的分享和原始代码来一一剖析DuckDB在执行算子并行上的具体实现。1.基础知识问题1:并行task的数目由什么决定?