草庐IT

从1天→10分钟，华为云DRS在背后做了这些

华为云官方博客 2023-03-28 原文

数字化时代下，企业IT的数据重心从支持在线交易后移到运营分析，数据的及时更新、高效分析、减少人工干预，是企业经营的追求目标。因此企业不再满足于“T+1”，而是“T+0”，需要实时和个性化，对于汽车行业也不例外。

一汽-大众汽车有限公司（简称一汽-大众）于1991年成立，是我国第一个按经济规模起步建设的现代化乘用车工业基地，旗下有奥迪、大众、捷达三大品牌20余款产品，覆盖A、B、C级全系列乘用车型。为了更好地服务客户，一汽-大众通过分析客户使用习惯及偏好、产品个性化需求收集等方式，多维度满足用户购车和体验需求。

但随着数据挖掘的深入，对BI平台的要求也越高，为解决报表业务系统数据量的快速增长、数据汇集、交互分析难等难题，一汽-大众携手华为云数据库在MEP（经销商多功能生态平台）-BI平台项目合作中取得了突破，跨越了挑战。

实时数据更新，才能具备更快的市场反应能力

众所周知，BI平台的报表系统可以连接多维数据库。报表是帮助用户掌握和了解数据，企业决策者通过实时数据进行分析和挖掘，为业务的变化及时作出应对策略。

一汽-大众4S门店的BI报表业务需要实时汇集所有门店的数据，面临巨大的技术挑战：60+MySQL实例，200+数据库，共3万张表需要数据实时同步到BI系统内。

如果按照传统的数据入湖方式，需要配置3万条数据同步链路，以及海量的工作比对数据一致性，维护成本极高，同步效率低下。此外，随着数据量的膨胀，现有的数据库无法支撑数TB级别的数据量。

因此打造支持海量数据存储、数据实时同步的商业数据智能分析的BI平台迫在眉睫。

面对一汽-大众的业务挑战，华为云在方案选型上的主要考量如下：

  • 抽取数据对源数据库影响最小化：抽取数据不能拖垮源数据库，也不能对源业务的性能造成较大的衰减，甚至表被锁定；
  • 部署实施要轻量简单：不需要在每个数据源安装代理程序，即开即用，配置操作简单易用；
  • 数据一致性有保障：基于binlog解析进行逻辑数据同步，具有断点续传和严格的认点技术，有效确保数据一致性。

综上，具备实时精准同步且保障数据一致的轻量级服务，华为云数据复制服务DRS是迎接业务挑战的不二之选。

助力报表系统数据实时同步，全面释放数据价值

DRS(Data replication Service)华为云数据复制服务，可以将云上的数据通过多对一的方案汇集到具备写入能力的华为旗舰型云原生数据库GaussDB(for MySQL)中，保证数据一致性和实效性，再通过DRS实施同步，从GaussDB(for MySQL)同步到华为云数据仓库GaussDB(DWS)中进行分析。但要达到实时数据同步难度极大，因此，华为云数据库解决了以下核心难题：

  • 增加数据来源列，解决主键冲突：通过MySQL到GaussDB(for MySQL)的多对一方案，增加数据来源列，记录server/database/table信息，避免多个源表主键冲突；
  • 同步链路支持动态加减表：新增业务随时需要增加同步的表，华为云DRS支持GaussDB(for MySQL)的链路动态增减表，配置更加简单方便；
  • 标记数据入湖时间，帮助实时分析：增加附加列数据行写入时间和更新时间的列，标记数据插入和更新时间，为数据入湖及数据实时分析打下基础；
  • 引入缓冲数据库，实时计算：针对1.8万张表不停的汇集和写入，选择了百万级QPS吞吐量和海量数据存储能力的GaussDB(for MySQL)作为缓冲层数据库，解决OLTP和OLAP数据库之间天然的数据处理能力差异。基于DRS实时准确的数据同步后，华为云GaussDB(DWS)实现实时计算，极大缩短复杂报表的执行时间；
  • 数据实时精准同步：基于华为云DRS准确的数据同步能力，正常情况下延迟均在1s以内，为实时报表提供基础条件，且数据同步准确度高，源端和目标端数据行数一致。

业务上线后，一汽-大众业务报表系统维护的链路数量从3万条降低至65条，工作效率大幅提升；同时10亿级数据无一条丢失，极大降低数据比对工作；帮助一汽-大众实现了销售报表数据可用时间从1天降低为10分钟，时效性大幅提升。

此外，**缓冲层数据库GaussDB(for MySQL) **具备海量数据存储能力，最大支持128TB，超百万级QPS吞吐，可支撑业务快速发展；基于GaussDB(for MySQL)的计算存储分离架构，数据三副本存储强一致，数据零丢失；RTO秒级，故障秒切换，全面保障数据安全。

一汽-大众以用户为中心，构建以数据分析为核心的生态圈，洞察用户需求，提供高价值产品，深受客户青睐。而华为云数据库通过技术手段实现数据实时同步，从海量的数据中发现洞察，为企业经营决策提供数据基础。未来，华为云数据库将持续携手一汽-大众通过数字技术，打造差异化有竞争力的数字化服务，满足客户对产品和服务日益增长的个性化需求。

【重磅推荐】华为云数据库特惠活动

本文由华为云发布。

rarrDRSstrong数据GaussDB云计算

有关从1天→10分钟，华为云DRS在背后做了这些的更多相关文章

  1. 华为OD机试用Python实现 -【明明的随机数】 2023Q1A - 2

    华为OD机试题本篇题目：明明的随机数题目输入描述输出描述：示例1输入输出说明代码编写思路最近更新的博客华为od2023|什么是华为od，od薪资待遇，od机试题清单华为OD机试真题大全，用Python解华为机试题|机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为o

  2. 华为常用命令 - 2

    system-view进入系统视图quit退到系统视图sysname交换机命名vlan20创建vlan(进入vlan20)displayvlan显示vlanundovlan20删除vlan20displayvlan20显示vlan里的端口20Interfacee1/0/24进入端口24portlink-typeaccessvlan20把当前端口放入vlan20undoporte1/0/10删除当前VLAN端口10displaycurrent-configuration显示当前配置02配置交换机支持TELNETinterfacevlan1进入VLAN1ipaddress192.168.3.100

  3. 由于 libgmp.10.dylib 的问题，Ruby 2.2.0 无法运行 - 2

    我刚刚安装了带有RVM的Ruby2.2.0，并尝试使用它得到了这个:$rvmuse2.2.0--defaultUsing/Users/brandon/.rvm/gems/ruby-2.2.0dyld:Librarynotloaded:/usr/local/lib/libgmp.10.dylibReferencedfrom:/Users/brandon/.rvm/rubies/ruby-2.2.0/bin/rubyReason:Incompatiblelibraryversion:rubyrequiresversion13.0.0orlater,butlibgmp.10.dylibpro

  4. ruby - 为什么 Ruby 返回 `str[-1..1]` 它做了什么？ - 2

    假设我们有一个字符串str。如果str仅包含一个字符，例如str="1"，则str[-1..1]返回1.但是如果str的size(length)比一个长，比如str="anythingelse"，然后str[-1..1]返回""(空字符串)。为什么Ruby会这样解释字符串切片？ 最佳答案 这种行为正是字符范围的工作方式。范围开始是-1，这是字符串中的最后一个字符。范围结束为1，即从开始算起的第二个位置。所以对于单字符字符串，这相当于0..1，也就是那个单个字符。对于双字符字符串，这是1..1，即第二个字符。对于三个字符的字符串，这是

  5. ruby - ri 有空文件 – Ubuntu 11.10, Ruby 1.9 - 2

    我正在运行Ubuntu11.10并像这样安装Ruby1.9:$sudoapt-getinstallruby1.9rubygems一切都运行良好，但ri似乎有空文档。ri告诉我文档是空的，我必须安装它们。我执行此操作是因为我读到它会有所帮助:$rdoc--all--ri现在，当我尝试打开任何文档时:$riArrayNothingknownaboutArray我搜索的其他所有内容都是一样的。 最佳答案 这个呢？apt-getinstallri1.8编辑或者试试这个:(非rvm)geminstallrdocrdoc-datardoc-da

  6. ruby-on-rails - expect() 在 rspec/cucumber 中做了什么？ - 2

    在MichaelHartl的RailsTutorial中,许多示例使用expect()方法。这是cucumber步骤定义中的一个这样的例子:Then/^sheshouldseeherprofilepage$/doexpect(page).tohave_title(@user.name)end同样的例子可以写成同样的效果:Then/^sheshouldseeherprofilepage$/dopage.shouldhave_title(@user.name)end为什么要使用expect()？它增加了什么值(value)？ 最佳答案

  7. ruby-on-rails - gem install rmagick -v 2.13.1 错误 Failed to build gem native extension on Mac OS 10.9.1 - 2

    我已经通过提供MagickWand.h的路径尝试了一切，我安装了命令工具。谁能帮帮我？$geminstallrmagick-v2.13.1Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingrmagick:ERROR:Failedtobuildgemnativeextension./Users/ghazanfarali/.rvm/rubies/ruby-1.8.7-p357/bin/rubyextconf.rbcheckingforRubyversion>=1.8.5...yescheckingfor/

  8. ruby-on-rails - % 在下面的代码中做了什么？ - 2

    我正在阅读“Rails3Way”，在第39页，它显示了匹配:to=>重定向方法的代码示例。在该方法中存在以下代码。虽然我知道模对数字有什么作用，但我不确定下面的%是做什么的，因为路径和参数显然都不是数字。如果有人能帮助我理解%在这种情况下的用法，我将不胜感激。proc{|params|path%params} 最佳答案 这可能是String#%与其他语言中的sprintf非常相似的方法:'%05d'%10#=>"00010"它可以接受单个参数或数组:'%.3f%s'%[10.341412,'samples']#=>"10.341sa

  9. ruby - 安装 tiny_tds 在 mac os 10.10.5 上出现错误 - 2

    我正在使用macos，我想使用ruby​​驱动程序连接到sqlserver。我想使用tiny_tds，但它给出了缺少free_tds的错误，但它已经安装了。怎么能过这个？~brewinstallfreetdsWarning:freetds-0.91.112alreadyinstalled~sudogeminstalltiny_tdsBuildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingtiny_tds:ERROR:Failedtobuildgemnativeextension.完整日志如下:/System

  10. ruby - rails 3.2.2(或 3.2.1)+ Postgresql 9.1.3 + Ubuntu 11.10 连接错误 - 2

    我正在使用PostgreSQL9.1.3(x86_64-pc-linux-gnu上的PostgreSQL9.1.3，由gcc-4.6.real(Ubuntu/Linaro4.6.1-9ubuntu3)4.6.1，64位编译)和在ubuntu11.10上运行3.2.2或3.2.1。现在，我可以使用以下命令连接PostgreSQLsupostgres输入密码我可以看到postgres=#我将以下详细信息放在我的config/database.yml中并执行“railsdb”，它工作正常。开发:adapter:postgresqlencoding:utf8reconnect:falsedat

随机推荐