2023年11月，火山引擎于北京、上海、深圳三地先后举办了火山引擎公共云·城市分享会，大会以“乘云·向未来”为主题，将火山引擎承载字节跳动复杂、大规模、智能化业务中沉淀的实践经验与参会嘉宾进行了分享。根据会上几大核心话题梳理而成的系列《上云笔记》已出炉，接下来会陆续与大家见面，欢迎关注。今天要分享的是《字节跳动超大规模数据库产品技术演进之路》：获取完整演讲实录长按或扫码即可阅读

公众号「架构成长指南」，专注于生产实践、云原生、分布式系统、大数据技术分享。概述随着科技的进步，软件系统的部署架构也在不断演进，从以前传统的物理机到虚拟机、Docker和Kubernetes，我们经历了一系列变化。这些技术的引入给我们带来了更高的资源利用率、更快的部署速度和更强大的扩展性，下面让我们一起探索这些演进，了解如何从传统部署走向现代化架构，为软件系统的开发和部署带来更多的便利和灵活性。物理机部署物理机部署在计算机早期阶段比较盛行，因为那时候虚拟化和云计算等技术还没有普及，物理机是主要的部署选择。优点性能和资源控制：物理机提供了直接访问硬件资源的能力，在某些对性能要求较高的应用场景中，

2023年11月，火山引擎于北京、上海、深圳三地先后举办了火山引擎公共云·城市分享会，大会以“乘云·向未来”为主题，将火山引擎承载字节跳动复杂、大规模、智能化业务中沉淀的实践经验与参会嘉宾进行了分享。根据会上几大核心话题梳理而成的系列《上云笔记》已出炉，接下来会陆续与大家见面，欢迎关注。今天要分享的是《字节跳动多云演进及降本之实践》：获取完整演讲实录长按或扫码即可阅读

近期随着AI市场的爆发式增长，作为AI背后技术的核心之一GPU（图形处理器）的价格也水涨船高。GPU在人工智能中发挥着巨大的重要，特别是在计算和数据处理方面。目前生产GPU主流厂商其实并不多，主要就是NVIDIA、AMD、Intel、高通等厂家。本文将主要聊聊NVIDIAGPU的核心架构及架构演进。在探讨NVIDIAGPU架构之前，我们先来了解一些相关的基本知识。GPU的概念，是由NVIDIA公司在1999年发布Geforce256图形处理芯片时首先提出，从此NVIDIA显卡的芯就用GPU来称呼，是专门设计用于处理图形渲染的处理器，主要负责将图像数据转换为可以在屏幕上显示的图像。与CPU不同，

大家好呀，我是楼仔。本文将介绍微服务架构和相关的组件，介绍他们是什么，以及为什么要使用微服务架构和这些组件。本文侧重于简明地表达微服务架构的全局图景，因此不会涉及具体如何使用组件等细节。要理解微服务，首先要先理解不是微服务的那些。通常跟微服务相对的是单体应用，即将所有功能都打包成在一个独立单元的应用程序。从单体应用到微服务并不是一蹴而就的，这是一个逐渐演变的过程。本文将以一个网上超市应用为例来说明这一过程。不BB，详见目录：图片01最初的需求几年前，小明和小皮一起创业做网上超市。小明负责程序开发，小皮负责其他事宜。当时互联网还不发达，网上超市还是蓝海。只要功能实现了就能随便赚钱。所以他们的需求

在字节跳动内部，Spark计算引擎被广泛应用于大规模数据处理，机器学习等场景，天任务数超过150W。线上集群磁盘类型多样，包括SSD、HDD及混合等。每天会产生超过100PB以上的Shuffle数据，同时单个任务的Shuffle数据量可能达到数百TB。巨量的Shuffle数据和复杂的计算资源环境也给Spark运行过程中的Shuffle性能带来了很多挑战。本文将从背景介绍、稳定性资源场景和混部资源场景分享字节跳动在SparkShuffle云原生化方面的大规模演进实践。一、背景介绍Spark 是字节跳动内使用广泛的计算引擎，已广泛应用于各种大规模数据处理、机器学习和大数据场景。目前中国区域内每天的

为了更好的做好容灾保障，使业务能够应对机房级别的故障，滴滴的存储服务都在多机房进行部署。本文简要分析了Redis实现异地多活的几种思路，以及滴滴Redis异地多活架构演进过程中遇到的主要问题和解决方法，抛砖引玉，给小伙伴们一些参考。Redis异地多活的主要思路业界实现Redis异地多活通常三种思路：主从架构、Proxy双写架构、数据层双向同步架构。主从架构主从架构的思路：各机房的Redis通过Proxy对外提供读写服务，业务流量读写本机房的Redis-proxy主机房里的Redis-master实例承担所有机房的写流量从机房里的Redis-slave实例只读，承担本机房里的读流量主从架构的优点

序言罗马不是一天建成的。语聊房当前架构也是不断演进的结果。在技术架构层面，语聊房作为搭建在直播体系上的业务，使用既有技术架构体系可以帮助我们快速搭建早期产品，但随着业务迭代，已有技术体系又成为新的技术架构的负债。同样在业务架构层面，语聊房产品已经迭代一年，产品形态依然在快速变化，已有的业务架构又会成为新的业务架构的阻碍。每一次产品需求的迭代，都会对已有技术架构和业务架构造成双重冲击。本文将结合语聊房持续演进的过程，谈谈业务视角下的架构演进。以及如何构建能应对各种变化的系统，不断达到新的平衡。语聊房来龙去脉了解架构演进之前，我们先了解语聊房业务的来龙去脉。从语聊房的前身PC版本多人连线算起，整块

尽管业内最初强调专有模型，但随着GPT-3等流行语言模型的发布，LLM研究社区开始发布相关开源变体。最早的开源语言模型在性能上落后于最佳的专有模型，不过，它们为提升LLM的研究透明度奠定了基础，并促进了后续LLaMA-2等强大模型的开发。本系列内容分为三部分，主要探讨开源语言大模型的发展历史。本文是该系列文章的第一篇，本文作者将探讨开源LLM历史的起始阶段，它们对于我们理解开源LLM革命至关重要，后来开源LLM的发展完全建立在这些模型的基础上。在本系列内容的后两部分，作者将进一步介绍最新的开源LLM并探讨如何使用模仿和对齐技术来提升模型性能。（本文作者为Rebuy公司AI总监、深度学习博士Ca

近期随着AI市场的爆发式增长，作为AI背后技术的核心之一GPU（图形处理器）的价格也水涨船高。GPU在人工智能中发挥着巨大的重要，特别是在计算和数据处理方面。目前生产GPU主流厂商其实并不多，主要就是NVIDIA、AMD、Intel、高通等厂家。本文将主要聊聊NVIDIAGPU的核心架构及架构演进。深入了解GPU架构在探讨NVIDIAGPU架构之前，我们先来了解一些相关的基本知识。GPU的概念，是由NVIDIA公司在1999年发布Geforce256图形处理芯片时首先提出，从此NVIDIA显卡的芯就用GPU来称呼，是专门设计用于处理图形渲染的处理器，主要负责将图像数据转换为可以在屏幕上显示的图