简述ApacheDoris是一个现代化的MPP分析型数据库产品,仅需亚秒级响应时间即可获得查询结果,能有效地支持实时数据分析。本文主要介绍如何使用CloudCanal快速构建一条稳定高效运行的PostgreSQL到Doris数据同步链路。技术点基于StreamLoad的导入方式Doris提供了多种导入方式。CloudCanal采用了StreamLoad的方式进行导入,源端的消息会转成字节流,最后会以Batch的形式通过HTTP协议发往Doris。相比直接通过SQL写入的方式,StreamLoad方式会有更好的性能,写入的数据直接经FE转发给BE处理。如果直接采用SQL写入,在FE侧,会有额外的
简述SQLServer是一个值得信赖的老牌数据库系统,自从1988年由Microsoft、Sybase和Ashton-Tate三家公司共同推出之后就一直不断迭代更新。而如今我们提到SQLServer通常是指Microsoft从SQLServer2000之后的版本。至今SQLServer家族已经非常繁茂涵盖了云上(AzureSQLServer)、IoT设备(边缘SQLServer)、以及经典版本(本地SQLServer)。实现SQLServer作为源端的实时数据同步,一般都会用到它的CDC功能,这个功能是从2008版本才开始支持。因此本文主要也是基于SQLServer2008版本介绍如何使用Cl
简述SQLServer是一个值得信赖的老牌数据库系统,自从1988年由Microsoft、Sybase和Ashton-Tate三家公司共同推出之后就一直不断迭代更新。而如今我们提到SQLServer通常是指Microsoft从SQLServer2000之后的版本。至今SQLServer家族已经非常繁茂涵盖了云上(AzureSQLServer)、IoT设备(边缘SQLServer)、以及经典版本(本地SQLServer)。实现SQLServer作为源端的实时数据同步,一般都会用到它的CDC功能,这个功能是从2008版本才开始支持。因此本文主要也是基于SQLServer2008版本介绍如何使用Cl
简述ClickHouse是一种流行的列式数据库,对于计算uv、mv、pv等聚合类数据相当友好,所以广泛使用于各类报表场景。本文主要介绍如何使用CloudCanal快速构建一条稳定高效运行的ORACLE到ClickHouse数据同步链路。示例中ORACLE库为PDB模式,ClickHouse为单副本实例。技术点ORACLE源端增量同步技术CloudCanal对于ORACLE源端增量同步采用LogMiner分析redo日志或物化视图/类trigger方式进行。对于前者,我们采用了多种优化方式,将ORACLE源端增量同步做到准确、稳定、性能几个方面的平衡,这些技术包括:采用LogMiner最标准的方
简述ClickHouse是一种流行的列式数据库,对于计算uv、mv、pv等聚合类数据相当友好,所以广泛使用于各类报表场景。本文主要介绍如何使用CloudCanal快速构建一条稳定高效运行的ORACLE到ClickHouse数据同步链路。示例中ORACLE库为PDB模式,ClickHouse为单副本实例。技术点ORACLE源端增量同步技术CloudCanal对于ORACLE源端增量同步采用LogMiner分析redo日志或物化视图/类trigger方式进行。对于前者,我们采用了多种优化方式,将ORACLE源端增量同步做到准确、稳定、性能几个方面的平衡,这些技术包括:采用LogMiner最标准的方
简述实时数据处理领域中,使用Flink方式,除了从日志服务订阅埋点数据外,总离不开从关系型数据库订阅并处理相关业务数据,这时就需要监测并捕获数据库增量数据,将变更按发生的顺序写入到消息中间件以供计算(或消费)。本文主要介绍如何通过CloudCanal快速构建一条高效稳定运行的MySQL->Kafka->Flink数据同步链路。技术点兼容多种常见消息结构CloudCanal目前支持DebeziumEnvelope(新增)、Canal、AliyunDTSAvro等多种流行消息结构,对数据下游消费比较友好。本次对DebeziumEnvelope消息格式的支持,我们采用了一种轻量的方式做到完全兼容,充
简述实时数据处理领域中,使用Flink方式,除了从日志服务订阅埋点数据外,总离不开从关系型数据库订阅并处理相关业务数据,这时就需要监测并捕获数据库增量数据,将变更按发生的顺序写入到消息中间件以供计算(或消费)。本文主要介绍如何通过CloudCanal快速构建一条高效稳定运行的MySQL->Kafka->Flink数据同步链路。技术点兼容多种常见消息结构CloudCanal目前支持DebeziumEnvelope(新增)、Canal、AliyunDTSAvro等多种流行消息结构,对数据下游消费比较友好。本次对DebeziumEnvelope消息格式的支持,我们采用了一种轻量的方式做到完全兼容,充
摘要:洞悉华为云数字化差旅App的架构变迁之路,体验混合开发魅力。本文分享自华为云社区《DTSETechTalk第21期丨从原生迈向混合,小而美团队如何搞定APP高效定制?》,作者:华为云社区精选。令开发者们心动的App端开发神器究竟长什么样?小而美的团队如何精准拿捏客户多元化定制需求,实现高效开发?在企业通用服务类App中,如何瞄准团队定位,快速engage客户?近日,华为云DTSE技术布道师徐意带来了《揭秘华为云数字化差旅:如何用混合开发玩转高效定制》的主题分享。徐意与开发者们交流了华为云数字化差旅移动端APP从原生框架到混合开发的演进过程,以及如何通过ReactNative及Hybr
摘要:洞悉华为云数字化差旅App的架构变迁之路,体验混合开发魅力。本文分享自华为云社区《DTSETechTalk第21期丨从原生迈向混合,小而美团队如何搞定APP高效定制?》,作者:华为云社区精选。令开发者们心动的App端开发神器究竟长什么样?小而美的团队如何精准拿捏客户多元化定制需求,实现高效开发?在企业通用服务类App中,如何瞄准团队定位,快速engage客户?近日,华为云DTSE技术布道师徐意带来了《揭秘华为云数字化差旅:如何用混合开发玩转高效定制》的主题分享。徐意与开发者们交流了华为云数字化差旅移动端APP从原生框架到混合开发的演进过程,以及如何通过ReactNative及Hybr
时常看到有父母追着孩子喂饭,甚至有些父母拿着碗追着小孩走了四条巷,很辛苦。孩子不吃饭只想玩,大人很无奈。站在孩子的角度,也很无奈。不想吃饭,而又被强迫着吃饭。想玩又不能尽情玩,玩得不爽,饭也吃得不香。一些家庭的这种现象持续了很久,甚至小孩六七岁了,还是没有改观。大人和小孩都太累、太辛苦了。 这个问题很好解决。 当孩子想玩不想吃饭时,父母只需要跟孩子约定:这一餐不吃饭可以,但是在下一餐之前,饿了是没有东西吃的,唯一能”吃“的就是喝水,凉白开。小孩一听可以玩了,想都不想就答应了。大人也不用再追着喂饭了。然后就是严格的执行这个约定,也要跟其他大人认真严肃地说跟小孩有这个约定,所有人共