草庐IT

火山引擎 DataLeap:揭秘字节跳动业务背后的分布式数据治理思路

动手点关注干货不迷路导读:经过十多年的发展,数据治理在传统行业以及新兴互联网公司都已经产生落地实践。字节跳动也在探索一种分布式的数据治理方式。本篇内容来源于火山引擎超话数据直播活动的回顾,将从以下四个部分展开分享:字节的挑战与实践数据治理的发展与分布式分布式自治架构分布式自治核心能力字节的挑战与实践首先来看一个问题:“一家公司,数据体系要怎么搭建?”方案一:整体规划,系统架构驱动方案二:问题出发,业务价值驱动在字节跳动,我们选择的是方案二,即从业务遇到的问题出发,重视落地结果与业务过程,去解决实际的治理问题。基于这个理念,在数据治理过程中,字节跳动也面临以下三个挑战与机遇:业务特点:业务发展快

火山引擎 DataLeap:揭秘字节跳动业务背后的分布式数据治理思路

动手点关注干货不迷路导读:经过十多年的发展,数据治理在传统行业以及新兴互联网公司都已经产生落地实践。字节跳动也在探索一种分布式的数据治理方式。本篇内容来源于火山引擎超话数据直播活动的回顾,将从以下四个部分展开分享:字节的挑战与实践数据治理的发展与分布式分布式自治架构分布式自治核心能力字节的挑战与实践首先来看一个问题:“一家公司,数据体系要怎么搭建?”方案一:整体规划,系统架构驱动方案二:问题出发,业务价值驱动在字节跳动,我们选择的是方案二,即从业务遇到的问题出发,重视落地结果与业务过程,去解决实际的治理问题。基于这个理念,在数据治理过程中,字节跳动也面临以下三个挑战与机遇:业务特点:业务发展快

火山引擎 DataLeap 数据血缘技术建设实践

经验一:数据血缘模型的分层架构1.挑战首先介绍一下字节内部数据血缘遇到的挑战。随着公司业务扩张、用户数量持续增长以及数仓建设不断完善,元数据种类和数量也经历了非线性增长,并在此期间涌现出一些问题。第一,扩展性。好的扩展性可以在面对新型元数据血缘时保证快速接入和迭代,而扩展性不佳则会导致在业务变化时需要不停地重构来适应业务,对业务造成很多影响。第二,性能。一个模型本身的插入和更新效率会直接影响数据的导入导出的流程,这些都会带来更直观的业务上的感受,所以需要考虑如何保证环节高效性。第三,时效性。很多应用场景对正确率格外敏感,如果血缘数据有延迟,其实就等于血缘的不准确,会对业务造成影响。最后,赋能业

火山引擎 DataLeap 数据血缘技术建设实践

经验一:数据血缘模型的分层架构1.挑战首先介绍一下字节内部数据血缘遇到的挑战。随着公司业务扩张、用户数量持续增长以及数仓建设不断完善,元数据种类和数量也经历了非线性增长,并在此期间涌现出一些问题。第一,扩展性。好的扩展性可以在面对新型元数据血缘时保证快速接入和迭代,而扩展性不佳则会导致在业务变化时需要不停地重构来适应业务,对业务造成很多影响。第二,性能。一个模型本身的插入和更新效率会直接影响数据的导入导出的流程,这些都会带来更直观的业务上的感受,所以需要考虑如何保证环节高效性。第三,时效性。很多应用场景对正确率格外敏感,如果血缘数据有延迟,其实就等于血缘的不准确,会对业务造成影响。最后,赋能业

接通率维持 66% 以上,为什么火山引擎 VeDI 能让企业智能外呼不再难?

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群智能机器人在企业级市场的应用更加深入了。随着人工智能技术的进一步发展,包括智能外呼、财务审核、自助客服等在内的智能机器人服务正在企业内部完成进一步实践。以财务机器人为例,根据QYResearch的数据报告显示,2020年中国RPA(RoboticProcessAutomation,机器人流程自动化)市场规模仅有3亿美元,但到2023年,这一数字将以64%的年复合增长率增至10.2亿美元。在企业财务审核流程中,作为财务岗位工作人员的得力帮手,财务机器人可以实现「7天x24时x365天」实时在线,保障企业员工随时随

接通率维持 66% 以上,为什么火山引擎 VeDI 能让企业智能外呼不再难?

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群智能机器人在企业级市场的应用更加深入了。随着人工智能技术的进一步发展,包括智能外呼、财务审核、自助客服等在内的智能机器人服务正在企业内部完成进一步实践。以财务机器人为例,根据QYResearch的数据报告显示,2020年中国RPA(RoboticProcessAutomation,机器人流程自动化)市场规模仅有3亿美元,但到2023年,这一数字将以64%的年复合增长率增至10.2亿美元。在企业财务审核流程中,作为财务岗位工作人员的得力帮手,财务机器人可以实现「7天x24时x365天」实时在线,保障企业员工随时随

火山引擎 RTC 音频 AI 降噪的应用与实践

​作者|陈力从视频会议到远程医疗,从连麦开黑到陪伴社交,疫情常态化加速了线下活动线上化,逐渐改变了人们的生产生活方式。其中,音频质量很大程度上影响着通话体验,而噪声又很大程度决定音频质量。比如,居家办公场景,就流传着“居家办公,必有邻居装修”的定律。也是因为装修声会很大程度影响参与效率,所以对居家办公的同学带来了很大的影响。火山引擎RTC,集成了自研的深度学习降噪方案,来应对游戏、互娱、会议等实时音视频沟通场景下的噪声影响。让我们看一下RTCAI降噪在会议、游戏、居家场景下的降噪效果对比。会议场景游戏场景居家场景通过上面的对比效果可以明显看到不同噪声对线上生产、生活场景的影响,以及通过AI降噪

火山引擎 RTC 音频 AI 降噪的应用与实践

​作者|陈力从视频会议到远程医疗,从连麦开黑到陪伴社交,疫情常态化加速了线下活动线上化,逐渐改变了人们的生产生活方式。其中,音频质量很大程度上影响着通话体验,而噪声又很大程度决定音频质量。比如,居家办公场景,就流传着“居家办公,必有邻居装修”的定律。也是因为装修声会很大程度影响参与效率,所以对居家办公的同学带来了很大的影响。火山引擎RTC,集成了自研的深度学习降噪方案,来应对游戏、互娱、会议等实时音视频沟通场景下的噪声影响。让我们看一下RTCAI降噪在会议、游戏、居家场景下的降噪效果对比。会议场景游戏场景居家场景通过上面的对比效果可以明显看到不同噪声对线上生产、生活场景的影响,以及通过AI降噪

湖仓一体架构在火山引擎 LAS 的探索与实践

LAS服务是什么?LAS有哪些优化特性?本文将从基础概念、数据库内核特性优化、数据服务化、业务实践等角度全方位介绍湖仓一体架构在LAS的探索与实践。LAS服务是什么?在了解Las服务是什么之前,先来了解一下数据平台整体行业的发展趋势,大概分为三个阶段。第一阶段,一般被称为传统数仓,一种从1980年开始的基于传统数据库技术来做的BI分析场景。在这种架构下,通常计算和存储是高度一体的。整体系统能支撑的计算能力,依赖于服务提供商的硬件配置,整体成本高,存在物理上限,扩展起来比较麻烦。第二阶段,随着技术的演进,2010年开始出现了以Hadoop技术体系为主流的传统数据湖。在以Hadoop技术为主的数据

湖仓一体架构在火山引擎 LAS 的探索与实践

LAS服务是什么?LAS有哪些优化特性?本文将从基础概念、数据库内核特性优化、数据服务化、业务实践等角度全方位介绍湖仓一体架构在LAS的探索与实践。LAS服务是什么?在了解Las服务是什么之前,先来了解一下数据平台整体行业的发展趋势,大概分为三个阶段。第一阶段,一般被称为传统数仓,一种从1980年开始的基于传统数据库技术来做的BI分析场景。在这种架构下,通常计算和存储是高度一体的。整体系统能支撑的计算能力,依赖于服务提供商的硬件配置,整体成本高,存在物理上限,扩展起来比较麻烦。第二阶段,随着技术的演进,2010年开始出现了以Hadoop技术体系为主流的传统数据湖。在以Hadoop技术为主的数据