更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 相信大家都对大名鼎鼎的ClickHouse有一定的了解了，它强大的数据分析性能让人印象深刻。但在字节大量生产使用中，发现了ClickHouse依然存在了一定的限制。本篇将详细介绍我们是如何为ClickHouse增强高可用能力的。字节遇到的ClickHouse可用性问题随着字节业务的快速发展，产品快速扩张，承载业务的ClickHouse集群节点数也快速增加。另一方面，按照天进行的数据分区也快速增加，一个集群管理的库表特别多，开始出现元数据不一致的情况。两方面结合，导致集群的可用性极速下降，以至于到了业务难以接受
目录建表语法数据处理策略资料分享参考文章MergeTree拥有主键，但是它的主键却没有唯一键的约束。这意味着即便多行数据的主键相同，它们还是能够被正常写入。在某些使用场合，用户并不希望数据表中含有重复的数据。ReplacingMergeTree就是在这种背景下为了数据去重而设计的，它能够在合并分区时删除重复的数据。但是ReplacingMergeTree并不一定保证不会出现重复的数据。ReplacingMergeTree是另外一个常用的表引擎，ReplacingMergeTree和MergeTree的不同之处在于它会删除排序键值相同的重复项。数据的去重只会在数据合并期间进行。合并会在后台一个不
目录建表语法数据处理策略资料分享参考文章MergeTree拥有主键，但是它的主键却没有唯一键的约束。这意味着即便多行数据的主键相同，它们还是能够被正常写入。在某些使用场合，用户并不希望数据表中含有重复的数据。ReplacingMergeTree就是在这种背景下为了数据去重而设计的，它能够在合并分区时删除重复的数据。但是ReplacingMergeTree并不一定保证不会出现重复的数据。ReplacingMergeTree是另外一个常用的表引擎，ReplacingMergeTree和MergeTree的不同之处在于它会删除排序键值相同的重复项。数据的去重只会在数据合并期间进行。合并会在后台一个不
目录建表数据存储主键和索引在查询中的表现主键的选择选择与排序键不同的主键索引和分区在查询中的应用部分单调主键的使用跳数索引可用的索引类型并发数据访问列和表的TTL列TTL表TTL删除数据使用多个块设备进行数据存储配置虚拟列资料分享参考文章Clickhouse中最强大的表引擎当属MergeTree（合并树）引擎及该系列（MergeTree）中的其他引擎。MergeTree系列的引擎被设计用于插入极大量的数据到一张表当中。数据可以以数据片段的形式一个接着一个的快速写入，数据片段在后台按照一定的规则进行合并。相比在插入时不断修改（重写）已存储的数据，这种策略会高效很多。主要特点存储的数据按主键排序。
目录建表数据存储主键和索引在查询中的表现主键的选择选择与排序键不同的主键索引和分区在查询中的应用部分单调主键的使用跳数索引可用的索引类型并发数据访问列和表的TTL列TTL表TTL删除数据使用多个块设备进行数据存储配置虚拟列资料分享参考文章Clickhouse中最强大的表引擎当属MergeTree（合并树）引擎及该系列（MergeTree）中的其他引擎。MergeTree系列的引擎被设计用于插入极大量的数据到一张表当中。数据可以以数据片段的形式一个接着一个的快速写入，数据片段在后台按照一定的规则进行合并。相比在插入时不断修改（重写）已存储的数据，这种策略会高效很多。主要特点存储的数据按主键排序。
业务背景：自纵行科技在2020年推出ZETag云标签以来广受市场好评，目前已经在物流、资产管理、库存盘点等领域有了许多落地项目。在业务量急速增加的过程中，ZETag云平台作为解决方案中重要的一环，也面临了许多挑战与考验。本文分享了在建设ZETag云平台过程中，我们在架构设计方面的一些思路与实践。面临的挑战1）设备量与数据量的快速增加不同于传统的物联网终端，低成本ZETag云标签更多用于物的定位与追踪，同时，还有次抛等新的应用场景。因此，ZETag云标签的数量远远大于传统的物联网终端，万级别标签每客户将是业务常态，可以预估ZETag云平台需要管理的标签量将在百万到千万级，每天需要保存的上报数据将
业务背景：自纵行科技在2020年推出ZETag云标签以来广受市场好评，目前已经在物流、资产管理、库存盘点等领域有了许多落地项目。在业务量急速增加的过程中，ZETag云平台作为解决方案中重要的一环，也面临了许多挑战与考验。本文分享了在建设ZETag云平台过程中，我们在架构设计方面的一些思路与实践。面临的挑战1）设备量与数据量的快速增加不同于传统的物联网终端，低成本ZETag云标签更多用于物的定位与追踪，同时，还有次抛等新的应用场景。因此，ZETag云标签的数量远远大于传统的物联网终端，万级别标签每客户将是业务常态，可以预估ZETag云平台需要管理的标签量将在百万到千万级，每天需要保存的上报数据将
目录基础类型数值类型IntFloatDecimal字符串类型StringFixedStringUUID时间类型DateTimeDateTime64Date复合类型数组Array元组Tuple枚举Enum嵌套Nested特殊数据类型NullableDomainClickHouse相关资料分享参考文章ClickHouse属于分析型数据库，ClickHouse提供了许多数据类型，它们可以划分为基础类型、复合类型和特殊类型。其中基础类型使ClickHouse具备了描述数据的基本能力，而另外两种类型则使ClickHouse的数据表达能力更加丰富立体。基础类型基础类型只有数值、字符串和时间三种类型，没有B
目录基础类型数值类型IntFloatDecimal字符串类型StringFixedStringUUID时间类型DateTimeDateTime64Date复合类型数组Array元组Tuple枚举Enum嵌套Nested特殊数据类型NullableDomainClickHouse相关资料分享参考文章ClickHouse属于分析型数据库，ClickHouse提供了许多数据类型，它们可以划分为基础类型、复合类型和特殊类型。其中基础类型使ClickHouse具备了描述数据的基本能力，而另外两种类型则使ClickHouse的数据表达能力更加丰富立体。基础类型基础类型只有数值、字符串和时间三种类型，没有B
更多技术交流、求职机会、试用福利，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群近年来，OLAP产品的竞争日渐激烈，目前企业间流行的既有Impala、Greenplum等上一代较为成熟的数据分析产品，也有ClickHouse、Kylin、Druid、Doris、StarRocks等在不同场景各具特色的新一代分析引擎。这些产品各有胜场，用户在进行选择时需要对各产品有全面的了解，并且要求产品知识紧跟最新版本，才能准确的选出适合自己公司的产品。字节跳动旗下抖音、今日头条等产品的成长速度很快，需要分析处理的数据也随之指数级的快速增长，这对分析的实时性有极高的要求。在选择OLAP引擎时，字
