草庐IT

非业务

全部标签

墨天轮访谈 | 百度云邱学达:GaiaDB如何解决云上场景的业务需求?

分享嘉宾:邱学达百度云原生数据库资深技术专家整理:墨天轮社区导读业务上云的大背景对弹性与可靠性的要求越来越高,传统架构的单机数据库或是分片数据库已经很难支撑快速增长的业务,导致单机瓶颈、扩容缩量、故障恢复慢、兼容性、资源利用率低等一系列的问题显现,同时单机时代数据库的的缺点会在云上高倍率放大。基于这些痛点,墨天轮技术社区邀请到来自百度云数据库资深技术专家,拥有多年数据库与分布式存储开发经验的嘉宾邱学达,为大家带来【GaiaDB架构解析及互联网应用案例】的主题分享,谈谈云原生数据库GaiaDB如何解决云上场景的业务需求。GaiaDB是什么?1、GaiaDB的核心特性GaiaDB是百度自研的新一代

墨天轮访谈 | 百度云邱学达:GaiaDB如何解决云上场景的业务需求?

分享嘉宾:邱学达百度云原生数据库资深技术专家整理:墨天轮社区导读业务上云的大背景对弹性与可靠性的要求越来越高,传统架构的单机数据库或是分片数据库已经很难支撑快速增长的业务,导致单机瓶颈、扩容缩量、故障恢复慢、兼容性、资源利用率低等一系列的问题显现,同时单机时代数据库的的缺点会在云上高倍率放大。基于这些痛点,墨天轮技术社区邀请到来自百度云数据库资深技术专家,拥有多年数据库与分布式存储开发经验的嘉宾邱学达,为大家带来【GaiaDB架构解析及互联网应用案例】的主题分享,谈谈云原生数据库GaiaDB如何解决云上场景的业务需求。GaiaDB是什么?1、GaiaDB的核心特性GaiaDB是百度自研的新一代

PostgreSQL 在视频、图片去重,图像搜索业务中的应用

 背景图像处理的业务场景比较多,例如图像搜索、视频去重、人脸识别、美图、图片去重等。比如,视频去重,一些用户上传了较多的视频,同一部电影可能有不同的版本,分辨率不一样,音轨不一样,压缩比不一样。这种情况会导致服务端重复存储大量的视频。又比如甄别黄色视频或黄色图片,鉴黄师的职业要消失了。有什么方法可以得到重复的视频呢?如何鉴别黄色视频和图片呢?本文将给你揭晓。  另一方面,图片搜索是继文字搜索后又一个比较常用的搜索引擎。市面上常见的搜索引擎有谷歌、百度、搜狗等图片搜索引擎。http://image.baidu.com/http://images.google.com.hk例如在搜索引擎提供的接口

PostgreSQL 在视频、图片去重,图像搜索业务中的应用

 背景图像处理的业务场景比较多,例如图像搜索、视频去重、人脸识别、美图、图片去重等。比如,视频去重,一些用户上传了较多的视频,同一部电影可能有不同的版本,分辨率不一样,音轨不一样,压缩比不一样。这种情况会导致服务端重复存储大量的视频。又比如甄别黄色视频或黄色图片,鉴黄师的职业要消失了。有什么方法可以得到重复的视频呢?如何鉴别黄色视频和图片呢?本文将给你揭晓。  另一方面,图片搜索是继文字搜索后又一个比较常用的搜索引擎。市面上常见的搜索引擎有谷歌、百度、搜狗等图片搜索引擎。http://image.baidu.com/http://images.google.com.hk例如在搜索引擎提供的接口

优化数仓业务视图:过滤条件传递

摘要:在业务功能实现时,经常会用到视图简化查询SQL。但有时候会因为视图降低查询效率,本文主要分析在业务需求满足的情况下,将有效的过滤条件传递到基表,减少运算过程中数据库需要处理的数据量,提升SQL执行效率。本文分享自华为云社区《GaussDB(DWS)业务视图优化-过滤条件传递》,作者:卫小毛。在业务功能实现时,经常会用到视图简化查询SQL。但有时候会因为视图降低查询效率,本文主要分析在业务需求满足的情况下,将有效的过滤条件传递到基表,减少运算过程中数据库需要处理的数据量,提升SQL执行效率。SQL举例SELECTcount(1)AShave_done_num,t1.task_def_key

优化数仓业务视图:过滤条件传递

摘要:在业务功能实现时,经常会用到视图简化查询SQL。但有时候会因为视图降低查询效率,本文主要分析在业务需求满足的情况下,将有效的过滤条件传递到基表,减少运算过程中数据库需要处理的数据量,提升SQL执行效率。本文分享自华为云社区《GaussDB(DWS)业务视图优化-过滤条件传递》,作者:卫小毛。在业务功能实现时,经常会用到视图简化查询SQL。但有时候会因为视图降低查询效率,本文主要分析在业务需求满足的情况下,将有效的过滤条件传递到基表,减少运算过程中数据库需要处理的数据量,提升SQL执行效率。SQL举例SELECTcount(1)AShave_done_num,t1.task_def_key

离线数仓建设,企业大数据的业务驱动与技术实现丨03期直播回顾

原文链接:离线数仓建设,企业大数据的业务驱动与技术实现丨03期直播回顾视频回顾:点击这里课件获取:点击这里一、离线数仓建设背景离线数据是相对实时数据而言的数据产出,不同于实时数据,离线数据一般是T+1天处理,也就是说昨天产生的数据至少要今天才能看到计算结果。离线数据一般应用于对数据时效要求不高,需要基于一段时间的历史数据计算才能得到结果的场景,我们大致可以分为离线数据分析及数据应用两类,离线数据计算具备:数据准确度高、吞吐量大、计算成本低等特点。离线数据应用的场景非常广泛,企业的数据迎来了爆发式的增长,目前企业数据规模巨大、数据类型多样、生成及处理速度极快、数据价值巨大但密度却较低,这些数据增

离线数仓建设,企业大数据的业务驱动与技术实现丨03期直播回顾

原文链接:离线数仓建设,企业大数据的业务驱动与技术实现丨03期直播回顾视频回顾:点击这里课件获取:点击这里一、离线数仓建设背景离线数据是相对实时数据而言的数据产出,不同于实时数据,离线数据一般是T+1天处理,也就是说昨天产生的数据至少要今天才能看到计算结果。离线数据一般应用于对数据时效要求不高,需要基于一段时间的历史数据计算才能得到结果的场景,我们大致可以分为离线数据分析及数据应用两类,离线数据计算具备:数据准确度高、吞吐量大、计算成本低等特点。离线数据应用的场景非常广泛,企业的数据迎来了爆发式的增长,目前企业数据规模巨大、数据类型多样、生成及处理速度极快、数据价值巨大但密度却较低,这些数据增

SAP MM 进口采购业务中供应商多送或者少送场景的处理

SAPMM进口采购业务中供应商多送或者少送场景的处理  进口采购业务实践中,会出现供应商多送或者少送的场景。比如采购订单100个,供应商送货过来105个或者97个。 那么问题来了,对于这种场景的收货,在SAP系统上该怎么做?单单从SAP技术上办法很多,比如根据实际数量修改采购订单数量,然后根据实际数量收货过账,以实现后续的三单匹配,本地(Domestic)采购常常可以这种办法解决;或者设置Overdelivery/underdelivery容差,容差范围内按实际数量直接收货。 但是进口涉及到报关环节,报关的时候需要把据采购订单上的关键信息,比如物料,数量,价格,金额等信息提交给海关,一旦完成了

SAP MM 进口采购业务中供应商多送或者少送场景的处理

SAPMM进口采购业务中供应商多送或者少送场景的处理  进口采购业务实践中,会出现供应商多送或者少送的场景。比如采购订单100个,供应商送货过来105个或者97个。 那么问题来了,对于这种场景的收货,在SAP系统上该怎么做?单单从SAP技术上办法很多,比如根据实际数量修改采购订单数量,然后根据实际数量收货过账,以实现后续的三单匹配,本地(Domestic)采购常常可以这种办法解决;或者设置Overdelivery/underdelivery容差,容差范围内按实际数量直接收货。 但是进口涉及到报关环节,报关的时候需要把据采购订单上的关键信息,比如物料,数量,价格,金额等信息提交给海关,一旦完成了