一、背景 慢查询指的是数据库中查询时间超过了指定的阈值的SQL，这类SQL通常伴随着执行时间长、服务器资源占用高、业务响应慢等负面影响。随着携程酒店业务的不断扩张，再加上大量的SQLServer转MySQL项目的推进，慢查询的数量正在飞速增长，每日的报警量也居高不下，因此慢查询的治理优化已经是刻不容缓，此文主要针对MySQL。 二、慢查询治理实践 1、SQL上线流程优化 之前的流程发布比较快捷，但是随着质量差的SQL发布\迁移得越来越多，告警和回退数量也随之变多，综合下来，数据库风险方面不容乐观，该流程需要优化。 和旧流程相比，新增了一个SQLReview的环节，将潜在的慢查询提前筛选出来
一、背景 慢查询指的是数据库中查询时间超过了指定的阈值的SQL，这类SQL通常伴随着执行时间长、服务器资源占用高、业务响应慢等负面影响。随着携程酒店业务的不断扩张，再加上大量的SQLServer转MySQL项目的推进，慢查询的数量正在飞速增长，每日的报警量也居高不下，因此慢查询的治理优化已经是刻不容缓，此文主要针对MySQL。 二、慢查询治理实践 1、SQL上线流程优化 之前的流程发布比较快捷，但是随着质量差的SQL发布\迁移得越来越多，告警和回退数量也随之变多，综合下来，数据库风险方面不容乐观，该流程需要优化。 和旧流程相比，新增了一个SQLReview的环节，将潜在的慢查询提前筛选出来
本文将从以下五部分切入，讲述日志系统的演进之路：携程日志的背景和现状、如何搭建一套日志系统、从ElasticSearch到Clickhouse存储演进、日志3.0重构及未来计划。 一、日志背景及现状 图1 2012年以前，携程的各个部门日志自行收集治理（如图1）。这样的方式缺乏统一标准，不便治理管控，也更加消耗人力和物力。 从2012年开始，携程技术中心推出基于ElasticSearch的日志系统，统一了日志的接入、ETL、存储和查询标准。随着业务量的增长，数据量膨胀到4PB级别，给原来的ElasticSearch存储方案带来不少挑战，如OOM、数据延迟及负载不均等。此外，随着集群规模的扩大，
本文将从以下五部分切入，讲述日志系统的演进之路：携程日志的背景和现状、如何搭建一套日志系统、从ElasticSearch到Clickhouse存储演进、日志3.0重构及未来计划。 一、日志背景及现状 图1 2012年以前，携程的各个部门日志自行收集治理（如图1）。这样的方式缺乏统一标准，不便治理管控，也更加消耗人力和物力。 从2012年开始，携程技术中心推出基于ElasticSearch的日志系统，统一了日志的接入、ETL、存储和查询标准。随着业务量的增长，数据量膨胀到4PB级别，给原来的ElasticSearch存储方案带来不少挑战，如OOM、数据延迟及负载不均等。此外，随着集群规模的扩大，
作者介绍Dongyu，资深云原生研发工程师，专注于日志与OLAP领域，主要负责携程日志平台和CHPaas平台的研发及其运维管理工作。本文将从以下五部分切入，讲述日志系统的演进之路：携程日志的背景和现状、如何搭建一套日志系统、从ElasticSearch到Clickhouse存储演进、日志3.0重构及未来计划。一、日志背景及现状图12012年以前，携程的各个部门日志自行收集治理（如图1）。这样的方式缺乏统一标准，不便治理管控，也更加消耗人力和物力。从2012年开始，携程技术中心推出基于ElasticSearch的日志系统，统一了日志的接入、ETL、存储和查询标准。随着业务量的增长，数据量膨胀到4
作者介绍Dongyu，资深云原生研发工程师，专注于日志与OLAP领域，主要负责携程日志平台和CHPaas平台的研发及其运维管理工作。本文将从以下五部分切入，讲述日志系统的演进之路：携程日志的背景和现状、如何搭建一套日志系统、从ElasticSearch到Clickhouse存储演进、日志3.0重构及未来计划。一、日志背景及现状图12012年以前，携程的各个部门日志自行收集治理（如图1）。这样的方式缺乏统一标准，不便治理管控，也更加消耗人力和物力。从2012年开始，携程技术中心推出基于ElasticSearch的日志系统，统一了日志的接入、ETL、存储和查询标准。随着业务量的增长，数据量膨胀到4
作者｜小丰，携程研发总监，专注于分布式数据库研究，大数据领域实时计算和大数据应用的系统架构设计。背景随着携程酒店数据的膨胀以及个性化需求的增多，每个数据接口个性化的排期开发，因为没有标准化，从需求讨论，数据准备、接口封装、上线调试到接口api说明，期间需要花费大量的时间。一个接口的实现到生产上线至少需要2天甚至更多时间，这个时间成本不得不依赖排期开发；随着历史接口的迭代，已对外提供的700多数据接口中，其中500多个还在使用，并且每年的增量在100多，开发和维护成本高，特别是在追溯上游离线数据逻辑的时候，过于依赖研发资源；不同研发团队技术栈不一样，算法相关的研发更多偏向于python开发，对
作者｜小丰，携程研发总监，专注于分布式数据库研究，大数据领域实时计算和大数据应用的系统架构设计。背景随着携程酒店数据的膨胀以及个性化需求的增多，每个数据接口个性化的排期开发，因为没有标准化，从需求讨论，数据准备、接口封装、上线调试到接口api说明，期间需要花费大量的时间。一个接口的实现到生产上线至少需要2天甚至更多时间，这个时间成本不得不依赖排期开发；随着历史接口的迭代，已对外提供的700多数据接口中，其中500多个还在使用，并且每年的增量在100多，开发和维护成本高，特别是在追溯上游离线数据逻辑的时候，过于依赖研发资源；不同研发团队技术栈不一样，算法相关的研发更多偏向于python开发，对
作者｜携程前端框架团队，为携程集团各业务线提供优秀的Web解决方案，当前主要专注：新一代研发模式探索，Rust构建工具链路升级、Serverless应用框架开发、在线文档系统开发、低代码平台搭建、适老化与无障碍探索等。一、摘要随着携程接入小程序平台类型的增加，前端需要负责的端越来越多，研发成本也随之成倍增加。为了解决一套代码多端运行的诉求，携程小程序框架不断调整、升级，逐渐形成了携程Taro跨端解决方案。二、背景2.1小程序现状近几年业界推出了各种小程序平台，每个小程序平台都会提供一个专属的原生小程序DSL，这些DSL之间或多或少存在一些差异，这意味着使用某一类型小程序DSL编写的代码，无法
作者｜携程前端框架团队，为携程集团各业务线提供优秀的Web解决方案，当前主要专注：新一代研发模式探索，Rust构建工具链路升级、Serverless应用框架开发、在线文档系统开发、低代码平台搭建、适老化与无障碍探索等。一、摘要随着携程接入小程序平台类型的增加，前端需要负责的端越来越多，研发成本也随之成倍增加。为了解决一套代码多端运行的诉求，携程小程序框架不断调整、升级，逐渐形成了携程Taro跨端解决方案。二、背景2.1小程序现状近几年业界推出了各种小程序平台，每个小程序平台都会提供一个专属的原生小程序DSL，这些DSL之间或多或少存在一些差异，这意味着使用某一类型小程序DSL编写的代码，无法
