草庐IT

京东云开发者|mysql基于binlake同步ES积压解决方案

1背景与目标1.1背景国际财务泰国每月月初账单任务生成,或者重算账单数据,数据同步方案为mysql通过binlake同步ES数据,在同步过程中发现计费事件表,计费结果表均有延迟,ES数据与Mysql数据不一致,导致业务页面查询数据不准确,部分核心计算通过ES校验失败1.2目标解决binlake到JMQ积压同步ES延迟问题2当前业务流程2.1流程图现有业务基本流程如下图,包含运营端和外部数据接入,整体操作到数据存储流程2.2数据流3问题分析3.1问题现象jmq积压,报警国内站截图如下3.2筛查分析普及:JMQ默认生产者发送消息QPS受到主题的broker数量影响,(8w/s)/broker3.2

京东云开发者|mysql基于binlake同步ES积压解决方案

1背景与目标1.1背景国际财务泰国每月月初账单任务生成,或者重算账单数据,数据同步方案为mysql通过binlake同步ES数据,在同步过程中发现计费事件表,计费结果表均有延迟,ES数据与Mysql数据不一致,导致业务页面查询数据不准确,部分核心计算通过ES校验失败1.2目标解决binlake到JMQ积压同步ES延迟问题2当前业务流程2.1流程图现有业务基本流程如下图,包含运营端和外部数据接入,整体操作到数据存储流程2.2数据流3问题分析3.1问题现象jmq积压,报警国内站截图如下3.2筛查分析普及:JMQ默认生产者发送消息QPS受到主题的broker数量影响,(8w/s)/broker3.2