音视频涉及语音信号处理、数字图像处理、信息论、封装格式、编解码、流媒体协议、网络传输、渲染、算法等。在现实生活中，音视频扮演着越来越重要的角色，比如视频会议、直播、短视频、播放器、语音聊天等。因此，从事音视频是一件比较有意义的事情，机遇与挑战并存。本文将从几个维度进行介绍：音视频开发基础、音视频进阶成长、音视频工作方向、音视频开源库、流媒体协议与书籍。
目录
音频包括：采样率、声道数与声道布局、采样格式、PCM与波形图、音质、音频编码格式、音频封装格式。更详细的音视频概念，可参考：走进音视频的世界——音视频的基本概念。
通用包括：编码原理、C/C++基础、视频分析工具、FFmpeg常用命令、平台相关多媒体API。
视频包括：帧率、码率、分辨率、像素格式、色彩空间、I帧P帧B帧、DTS与PTS、YUV与RGB、位深与色域、视频编码格式、视频封装格式。具体如下图所示：
音视频进阶成长也是分为：音频、通用、视频。其中音频包括：录音、麦克风采集、音频编解码、音频播放、音频分析、音效。
通用包括：熟悉流媒体协议、音视频传输、音视频同步播放、平台相关多媒体运用、FFmpeg相关API运用、OpenGL渲染、音视频编辑。
视频包括：录像、摄像头采集、视频编解码、视频播放、滤镜特效、视频转码。在熟悉音视频基础上深入学习，如下图所示：
相信很多伙伴在音视频工作方向这个十字路口，有过徘徊、迷茫。个人建议是选择自己喜欢的方向，如果还没找到自己所爱，努力去寻找，借用雷总的话“不要害怕做出选择”。一旦做出选择，就要把工作当做事业，不仅仅是为了工作而工作，借用乔布斯的话“Do what you love, love what you do”。把音视频工作方向总结为9个(可能不够准确，仅是个人观点)：直播、传输、算法、视频播放器、流媒体后端、短视频、音频播放、视频编辑、图像处理。具体方向如下：
多媒体处理包括：FFmpeg、libav、Gstreamer。其中FFmpeg是目前最常用的音视频处理库，包括封装格式、编解码、滤镜、图像缩放、音频重采样等模块。
流媒体传输包括WebRTC、live555。其中WebRTC是目前最常用的RTC库，比较著名的模块有JitterBuffer、NetEQ、pacer、网络带宽估计。
播放器包括：ijkplayer、exoplayer、vlc。其中ijkplayer是B站开源的跨平台播放器，exoplayer是Google开源的Android平台播放器，vlc属于VideoLAN非盈利组织所开源。
常用的编解码包括：aac、mp3、opus、vp9、x264、av1。其中aac一般用于点播、短视频，opus用于RTC直播。vp9是Google开源的编码器，VideoLAN有提供x264编码器，av1是AOMedia(开放媒体联盟)开源的新一代视频编码器。
音频处理的开源库包括：sox、soundtouch、speex。其中sox称为音频处理界的瑞士军刀，可以做各种音效、提供各种滤波器。soundtouch用于变速变调、变速不变调。speex严格意义上讲，它是一个编码器，但是它有丰富的音频处理模块：PLC(丢包隐藏)、VAD(静音检测)、DTX(非连续传输)、AEC(回声消除)、NS(噪声抑制)。
流媒体服务器主流的有：SRS、janus。其中SRS是一款简单高效的视频服务器，支持RTMP、WebRTC、HLS、HTTP-FLV、SRT。而janus是MeetEcho公司开源的基于WebRTC的流媒体服务器，严格意义上讲它是一个网关。
做音视频开发绕不开分析工具，掌握使用分析工具至关重要。常用的音视频分析工具包括但不限于：Mp4Parser、VideoEye、Audacity。其中Mp4Parser用于分析mp4格式及其结构。VideoEye是雷神开源的基于Windows平台分析视频码流工具(在此致敬雷神的开源精神)。Audacity是一款开源的音频编辑器，可用于添加各种音效、分析音频波形图。
视频渲染相关开源库有：GPUImage、Grafika、LearnOpenGL。其中GPUImage可用于添加各种滤镜特效。Grafika是Google一位工程师开源的基于Android平台渲染示例库。LearnOpenGL主要是配套其网站的学习OpenGL教程。
相关的开源网站与地址如下：
常见的流媒体传输协议有：RTP、SRTP、RTMP、RTSP、RTCP等。其中RTP(Real-time Transport Protocol)是实时传输协议，而SRTP是安全实时传输协议，即在RTP基础上加密传输，防止音视频数据被窃取。RTMP(Real Time Messaging Protocol)是Adobe开源的实时消息传输协议，基于TCP，基本协议包括：RTMPE、RTMPS、RTMPT。RTSP(Real Time Streaming Protocol)是实时流传输协议，字段包括：OPTIONS、DESCRIBE、SETUP、PLAY、PAUSE、TEARDOWN等。RTCP(RTP Control Protocol)是RTP传输控制协议，用于统计丢包、发送延时。
流媒体应用协议有：HLS、DASH。其中HLS是Apple公司开源的流媒体传输应用协议，同时涉及m3u8协议和ts流。而DASH是Google在广泛运用的流媒体协议，使用fmp4切片，支持自适应码率、多码率的无缝切换。
WebRTC信令协议有：SDP、ICE、NAT、STUN、TURN。当然，WebRTC的网络传输协议也有用到上面提及的流媒体传输协议。
常用的音频编码协议有：MP3、AAC、OPUS、FLAC、AC3、EAC3、AMR_NB、PCM_S16LE。视频编码协议有：H264、HEVC、VP9、MPEG4、AV1等。相关的音视频编解码协议，可参考：走进音视频的世界——音视频编码和走进音视频的世界——音视频解码。
常用的视频封装格式有：mp4、mov、mkv、webm、flv、avi、ts、mpg、wmv等。常用的音频封装格式有：mp3、m4a、flac、ogg、wav、wma、amr等。封装格式是多媒体容器，包含多媒体信息、音视频码流。其中多媒体信息包括：时长、分辨率、帧率、码率、采样率、声道数等等，即上面提及的音视频开发基础的相关概念。而音视频码流是原始数据经过编码压缩得到的若干帧组成的stream，字幕码流一般是由特定格式的文本或位图组成。关于封装格式，可以参考以前写过的文章：走进音视频的世界——音频封装格式和走进音视频的世界——视频封装格式。
以上涉及的协议具体如下：
| 流媒体传输 | RTP(rfc3550) |
| SRTP(rfc3711) | |
| RTMP(adobe) | |
| RTSP(rfc7826) | |
| RTCP(rfc5506) | |
| 流媒体应用 | HLS(rfc8216) |
| DASH(iso23009) | |
| WebRTC协议 | SDP(rfc3264) |
| ICE(rfc5245) | |
| NAT | |
| TURN | |
| STUN | |
| 编码协议 | aac、mp3、opus、ac3等 |
| h264、h265、vp9、av1等 | |
| 封装格式 | mp3、m4a、ogg、wav等 |
| mp4、mkv、flv、ts、avi等 |
音频书籍包括：The music of theory、DSP noise reduction、Audio Signal Process and Coding、数字音频原理及应用、音频信号处理与编码等。
视频书籍包括：数字图像与视频处理、音视频开发进阶指南、视频编码全角度详解、新一代视频压缩编码标准H.264/AVC、新一代高效视频编码H.265/HEVC、数字图像处理(冈萨雷斯版)、多媒体信号编码与传输、OpenGL编程指南、WebRTC native开发实战、FFmpeg从入门到精通、在线视频技术精要等。
关于C/C++相关书籍包括：C语言程序设计、C++编程思想、C++ Primmer Plus、C++程序设计语言、Effective C++。另外推荐的是《程序员的自我修养》。相关书本可参考以前写的博客：那些年曾经看过的书。
C和C++标准文档可以查看：cppreference网站。C语言包括C89、C95、C99、C11、C17、C23，C++语言包括C++98、C++11、C++14、C17、C20、C23。学习API文档，可以快速掌握C/C++语言有哪些头文件，支持哪些库，不同版本的差异。
希望各位朋友在音视频道路上不断成长，怀着一颗热爱技术的心，延迟满足感，coding自己的梦想。既然选择远方，就得风雨兼程，不畏路途险阻，英雄不问出处，努力终有回报。
视频教程：一起学习音视频
在Github音视频交流与查看源码：FFmpegAndroid
我正在编写一个包含C扩展的gem。通常当我写一个gem时，我会遵循TDD的过程，我会写一个失败的规范，然后处理代码直到它通过，等等......在“ext/mygem/mygem.c”中我的C扩展和在gemspec的“扩展”中配置的有效extconf.rb，如何运行我的规范并仍然加载我的C扩展？当我更改C代码时，我需要采取哪些步骤来重新编译代码？这可能是个愚蠢的问题，但是从我的gem的开发源代码树中输入“bundleinstall”不会构建任何native扩展。当我手动运行rubyext/mygem/extconf.rb时，我确实得到了一个Makefile(在整个项目的根目录中)，然后当
我已经在Sinatra上创建了应用程序，它代表了一个简单的API。我想在生产和开发上进行部署。我想在部署时选择，是开发还是生产，一些方法的逻辑应该改变，这取决于部署类型。是否有任何想法，如何完成以及解决此问题的一些示例。例子:我有代码get'/api/test'doreturn"Itisdev"end但是在部署到生产环境之后我想在运行/api/test之后看到ItisPROD如何实现？ 最佳答案 根据SinatraDocumentation:EnvironmentscanbesetthroughtheRACK_ENVenvironm
我们的git存储库中目前有一个Gemfile。但是，有一个gem我只在我的环境中本地使用(我的团队不使用它)。为了使用它，我必须将它添加到我们的Gemfile中，但每次我checkout到我们的master/dev主分支时，由于与跟踪的gemfile冲突，我必须删除它。我想要的是类似Gemfile.local的东西，它将继承从Gemfile导入的gems，但也允许在那里导入新的gems以供使用只有我的机器。此文件将在.gitignore中被忽略。这可能吗？ 最佳答案 设置BUNDLE_GEMFILE环境变量:BUNDLE_GEMFI
这似乎非常适得其反，因为太多的gem会在window上破裂。我一直在处理很多mysql和ruby-mysqlgem问题(gem本身发生段错误，一个名为UnixSocket的类显然在Windows机器上不能正常工作，等等)。我只是在浪费时间吗？我应该转向不同的脚本语言吗？ 最佳答案 我在Windows上使用Ruby的经验很少，但是当我开始使用Ruby时，我是在Windows上，我的总体印象是它不是Windows原生系统。因此，在主要使用Windows多年之后，开始使用Ruby促使我切换回原来的系统Unix，这次是Linux。Rub
我正在玩HTML5视频并且在ERB中有以下片段:mp4视频从在我的开发环境中运行的服务器很好地流式传输到chrome。然而firefox显示带有海报图像的视频播放器，但带有一个大X。问题似乎是mongrel不确定ogv扩展的mime类型，并且只返回text/plain，如curl所示:$curl-Ihttp://0.0.0.0:3000/pr6.ogvHTTP/1.1200OKConnection:closeDate:Mon,19Apr201012:33:50GMTLast-Modified:Sun,18Apr201012:46:07GMTContent-Type:text/plain
无论您是想搭建桌面端、WEB端或者移动端APP应用，HOOPSPlatform组件都可以为您提供弹性的3D集成架构，同时，由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台（桌面/WEB/APP，而且某些客户端是“瘦”客户端）快速、方便地将数据接入到3D应用系统的解决方案，并且当访问数据时，在各个平台上的性能和用户体验保持一致，HOOPSPlatform将帮助您完成。利用HOOPSPlatform，您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品，HOOPSSDK包含的技术有：快速且准确的CAD
在应用开发中，有时候我们需要获取系统的设备信息，用于数据上报和行为分析。那在鸿蒙系统中，我们应该怎么去获取设备的系统信息呢，比如说获取手机的系统版本号、手机的制造商、手机型号等数据。1、获取方式这里分为两种情况，一种是设备信息的获取，一种是系统信息的获取。1.1、获取设备信息获取设备信息，鸿蒙的SDK包为我们提供了DeviceInfo类，通过该类的一些静态方法，可以获取设备信息，DeviceInfo类的包路径为：ohos.system.DeviceInfo.具体的方法如下：ModifierandTypeMethodDescriptionstatic StringgetAbiList()Obt
SPI接收数据左移一位问题目录SPI接收数据左移一位问题一、问题描述二、问题分析三、探究原理四、经验总结最近在工作在学习调试SPI的过程中遇到一个问题——接收数据整体向左移了一位（1bit）。SPI数据收发是数据交换，因此接收数据时从第二个字节开始才是有效数据，也就是数据整体向右移一个字节（1byte）。请教前辈之后也没有得到解决，通过在网上查阅前人经验终于解决问题，所以写一个避坑经验总结。实际背景：MCU与一款芯片使用spi通信，MCU作为主机，芯片作为从机。这款芯片采用的是它规定的六线SPI，多了两根线：RDY和INT，这样从机就可以主动请求主机给主机发送数据了。一、问题描述根据从机芯片手
@作者:SYFStrive @博客首页:HomePage📜：微信小程序📌：个人社区（欢迎大佬们加入）👉：社区链接🔗📌：觉得文章不错可以点点关注👉：专栏连接🔗💃：感谢支持,学累了可以先看小段由小胖给大家带来的街舞👉微信小程序（🔥）目录自定义组件-behaviors 1、什么是behaviors 2、behaviors的工作方式 3、创建behavior 4、导入并使用behavior 5、behavior中所有可用的节点 6、同名字段的覆盖和组合规则总结最后自定义组件-behaviors 1、什么是behaviorsbehaviors是小程序中，用于实现
动漫制作技巧是很多新人想了解的问题，今天小编就来解答与大家分享一下动漫制作流程，为了帮助有兴趣的同学理解，大多数人会选择动漫培训机构，那么今天小编就带大家来看看动漫制作要掌握哪些技巧？一、动漫作品首先完成草图设计和原型制作。设计草图要有目的、有对象、有步骤、要形象、要简单、符合实际。设计图要一致性，以保证制作的顺利进行。二、原型制作是根据设计图纸和制作材料，可以是手绘也可以是3d软件创建。在此步骤中，要注意的问题是色彩和平面布局。三、动漫制作制作完成后，加工成型。完成不同的表现形式后，就要对设计稿进行加工处理，使加工的难易度降低，并得到一些基本准确的概念，以便于后续的大样、准确的尺寸制定。四、
