草庐IT

UniqueMergeTree

全部标签

UniqueMergeTree:支持实时更新删除的 ClickHouse 表引擎

UniqueMergeTree开发的业务背景首先,我们看一下哪些场景需要用到实时更新。我们总结了三类场景:第一类是业务需要对它的交易类数据进行实时分析,需要把数据流同步到ClickHouse这类OLAP数据库中。大家知道,业务数据诸如订单数据天生是存在更新的,所以需要OLAP数据库去支持实时更新。第二个场景和第一类比较类似,业务希望把TP数据库的表实时同步到ClickHouse,然后借助ClickHouse强大的分析能力进行实时分析,这就需要支持实时的更新和删除。最后一类场景的数据虽然不存在更新,但需要去重。大家知道在开发实时数据的时候,很难保证数据流里没有重复数据,因此通常需要存储系统支持数

UniqueMergeTree:支持实时更新删除的 ClickHouse 表引擎

UniqueMergeTree开发的业务背景首先,我们看一下哪些场景需要用到实时更新。我们总结了三类场景:第一类是业务需要对它的交易类数据进行实时分析,需要把数据流同步到ClickHouse这类OLAP数据库中。大家知道,业务数据诸如订单数据天生是存在更新的,所以需要OLAP数据库去支持实时更新。第二个场景和第一类比较类似,业务希望把TP数据库的表实时同步到ClickHouse,然后借助ClickHouse强大的分析能力进行实时分析,这就需要支持实时的更新和删除。最后一类场景的数据虽然不存在更新,但需要去重。大家知道在开发实时数据的时候,很难保证数据流里没有重复数据,因此通常需要存储系统支持数