1前言在《ElasticSearch降本增效常见的方法》一文中曾提到过zstd压缩算法[1]，一步一个脚印我们终于在京东ES上线支持了zstd；我觉得促使目标完成主要以下几点原因：Elastic官方原因：zstd压缩算法没有在Elastic官方的开发计划中；Elastic的licenes变更，很多功能使用受限ES产品竞争力：提升京东ES产品在业界的竞争力，两大云友商和其他大厂都在陆续支持，在对外比拼的时候，我们需要提升我们这方面的能力信创大背景：我们需要对开源组件有更好的自主管控和建设能力京东零售ES与云ES产品融合：有更好的机会去打磨我们的ES内核降本增效：ztsd压缩算法，能够在降低存储成

ZSTD（全称为Zstandard）是一种开源的无损数据压缩算法，其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式，本特性使得Hive支持ZSTD压缩格式的表。Hive支持基于ZSTD压缩的存储格式有常见的ORC，RCFile，TextFile，JsonFile，Parquet，Squence，CSV。ZSTD压缩格式的建表方式如下：ORC存储格式建表时可指定TBLPROPERTIES(“orc.compress”=“zstd”)：createtabletab_1(...)storedasorcTBLPROPERTIES("orc.compress"="zstd");Parquet存

​ 1前言在《ElasticSearch降本增效常见的方法》一文中曾提到过zstd压缩算法[1]，一步一个脚印我们终于在京东ES上线支持了zstd；我觉得促使目标完成主要以下几点原因：Elastic官方原因：zstd压缩算法没有在Elastic官方的开发计划中；Elastic的licenes变更，很多功能使用受限ES产品竞争力：提升京东ES产品在业界的竞争力，两大云友商和其他大厂都在陆续支持，在对外比拼的时候，我们需要提升我们这方面的能力信创大背景：我们需要对开源组件有更好的自主管控和建设能力京东零售ES与云ES产品融合：有更好的机会去打磨我们的ES内核降本增效：ztsd压缩算法，能够在降低存

前文分别介绍了滴滴自研的ES强一致性多活是如何实现的、以及如何提升ES的性能潜力。由于滴滴ES日志场景每天写入量在5PB-10PB量级，写入压力和业务成本压力大，为了提升ES的写入性能，我们让ES支持ZSTD压缩算法，本篇文章详细展开滴滴在落地ZSTD压缩算法上的思考和实践。// 背景 //ES通过索引（Index）对外提供数据检索能力，索引是用于组织和存储数据的逻辑单元。每个索引由若干个分片（shard）组成，每个分片就是一个Lucene索引，可以在不同的节点上进行分布式存储和并行处理，提高性能和可伸缩性。每个分片由一组段文件（segment）组成，段是分片中更小的存储和搜索单元，是一组物理

Zstd压缩算法简介最近维护一个老的缓存系统，使用RUST语音实现，底层使用磁盘缓存。因为人员离职，打算用JAVA/KOTLIN重新实现一遍。考虑到历史缓存数量比较大，采用灰度模式，复用历史缓存，只是程序改成JAVA版本。刚刚开始一切比较顺利，但是上线以后显示历史缓存错误，比如hash不一样。仔细翻看历史代码，底部存储使用了一种叫做zstd的一种压缩算法，找找资料，发现这个还挺牛的，特记录下。Zstd，全称Zstandard，是Facebook于2016年开源的新无损压缩算法。与zlib、lz4、xz等当前流行的压缩算法不同，Zstd寻求一种压缩性能与压缩率通吃的方案，而实际上它也确实做到了。

Zstd压缩算法简介最近维护一个老的缓存系统，使用RUST语音实现，底层使用磁盘缓存。因为人员离职，打算用JAVA/KOTLIN重新实现一遍。考虑到历史缓存数量比较大，采用灰度模式，复用历史缓存，只是程序改成JAVA版本。刚刚开始一切比较顺利，但是上线以后显示历史缓存错误，比如hash不一样。仔细翻看历史代码，底部存储使用了一种叫做zstd的一种压缩算法，找找资料，发现这个还挺牛的，特记录下。Zstd，全称Zstandard，是Facebook于2016年开源的新无损压缩算法。与zlib、lz4、xz等当前流行的压缩算法不同，Zstd寻求一种压缩性能与压缩率通吃的方案，而实际上它也确实做到了。