草庐IT

windows驱动开发8:虚拟摄像头方案

cclk-1024 2023-04-19 原文

一、摄像头框架

在业务场景中,有许多是需要应用能够通过摄像头的方式来访问相关的音视频数据,比如美颜、摄像头多路复用、IP摄像头接入视频会议等。这些功能通过虚拟摄像头的方式来实现,是一个比较通用的解决方案。那么如何及选用哪种技术方案来开发虚拟摄像头呢?本文从windows角度评估其相关技术可行性。

回到问题:应用操作虚拟摄像头,我们可以从Windows的应用是如何操作摄像头来评估。

Windows发展史上,主要使用了以下框架来操作摄像头:

  • VFW(Video Of Windows)这个是Windows最先使用的框架,也是最古老的,好处是接口函数够简单,在有些兼容或者小型用层场所用用也没什么问题。
  • DirectShow,这个是横跨 WINXP, WIN7,WIN8,WIN10都得到很好支持的框架,然而接口函数也挺复杂。
  • Media Foundation, 这个是WIN7之后,开发的新框架,目的是为了替换DirectShow,从而达到更好的性能和适应流媒体发展的需求。

二、应用现状

应用程序可以通过VFW、DirectShow、Media Foundation等一个或多个方式来操作摄像头。那么实际情况是如何的呢?

大量的操作摄像头的程序都是使用DirectShow框架,有小部分还在使用VFW框架。新近开发的程序或者对老版本程序的更新中,相当数量的程序使用Media Foundation框架代替了DirectShow。更有甚者,UWP框架的程序(就是Windows10平台新出来的,为了 “大一统“ 目的,这个目前也是小众,能否发展做大谁知道),对驱动级别的摄像头限制更大,已经不再支持老内核流框架。

所以,摄像头应用框架选择现状为:

  • VFW:较少,一些古老的应用
  • DirectShow:大量,慢慢迁移到Media Foundation
  • Media Foundation:大量
  • UWP:Win10应用,如Camera、Skype等

三、虚拟摄像头

3.1 应用层方式

应用框架方案实现案例
VFW
DirectShowksproxy.axOBS-VirtualCam,C++
Media FoundationMFCreateVirtualCamera(win11)https://github.com/microsoft/Windows-Camera,C#
Media FoundationIMFMediaSource(Vista)

3.2 驱动方式

1、VFW:Video for Windows,是一种趋于废弃的windows驱动模型。指Microsoft推出的关于数字视频的一个软件开发包,VFW的核心是AVI文件标准。围绕AVI文件,VFW推出了一整套完整的视频采集、压缩、解压缩、回放和编辑的应用程序接口。发展趋势:VFW(95) → WDM(98/2000/xp) → WDF(xp之后)。

2、UVC:USB Video Class,USB视频类,是一种为USB视频捕获设备定义的协议标准。是Microsoft与另外几家设备厂商联合推出的为USB视频捕获设备定义的协议标准,已成为USB org标准之一。事实上最新版本windows中,UVC自动加载usbvideo.sys,器内部也是使用ks.sys,即也是使用下面的Kernel Stream流驱动框架。参考:USB 视频类 (UVC) 相机实现指南

3、Kernel Streaming:内核流式传输 (KS) 指的是 Microsoft 提供的服务,支持对流式数据进行内核模式处理。Microsoft 提供了三种多媒体类驱动程序模型: port class、stream class和 AVStream。这些类驱动程序在系统文件 portcls.sys、 stream.sys和 ks.sys中 (内核模式 dll) 的导出驱动程序实现。 在 Windows XP 和更高版本中, ks.sys称为 AVStream。

4、AVStream:是Kernel Streaming三种多媒体驱动模型之一,也是最新版本模型,包含了音视频的部分。在 AVStream 驱动程序模型中,供应商提供与 Microsoft 提供的类驱动程序交互的微型驱动程序,如下图所示。

5、Windows USB摄像头驱动程序栈架构

从上面的图可以看到,厂商只提供硬件和固件,并且这个固件应该满足UVC规范,而其余的由Windows系统包圆了。其中ks.sys与AVStream、portclass.sys之间的关系如下:

  • AVStream是ks.sys中的一部分,而ks.sys是其上层驱动。
  • ks.sys的下层可以是portclass.sys实现的音频类,也可以是USB实现的音视频类。
  • ks.sys文件中包含了全部的ks功能和AVStream功能

6、方案对比

驱动框架说明实现案例
VFW过时的技术,不推荐
UVC实现USB摄像头驱动e2esoft的VCam
Kernel Stream:Port Class主要是音频
Kernel Stream:Stream Class主要是视频,参考:Stream Class
Kernel Stream:AVStream音视频最新驱动框架,参考:AVStreamavshws、avscamera

3.3 方案对比

类别方案平台兼容应用兼容实现难度是否可以开关是否需要管理员权限
应用层direct show>=98一般
mfd- MFCreateVirtualCamera>=win11一般创建、销毁需要
mfd - IMFMediaSource>=vista一般较难
驱动层VFW>=95一般安装需要
UVC>= xp sp2最好最难安装需要
KS - Stream Class>= xp一般较难安装需要
KS - AVSteam>= xp较好较难安装需要

四、总结

如上图所示,无论应用层以哪种方式操作摄像头,最终都会汇聚于Kernel Streaming驱动层,而Kernel Streaming对于USB摄像头又依赖于UVC驱动。所以总结如下:

  • 目前市面大部分应用操作摄像头使用DirectShow、Media Foundation框架,win10微软应用只支持UWP。从兼容层面看只有UVC、AVSteam两类驱动框架开发的虚拟摄像头才可以完全兼容。
  • UVC由于在更底层,可以适配未来windows的版本变化,但开发难度极高;AVSteam在没有新的流媒体驱动框架出现前,是可以满足所有应用兼容,开发难度相对较好。

综上,建议选择AVSteam驱动框架开发虚拟摄像头

有关windows驱动开发8:虚拟摄像头方案的更多相关文章

  1. ruby - 在 Ruby 程序执行时阻止 Windows 7 PC 进入休眠状态 - 2

    我需要在客户计算机上运行Ruby应用程序。通常需要几天才能完成(复制大备份文件)。问题是如果启用sleep,它会中断应用程序。否则,计算机将持续运行数周,直到我下次访问为止。有什么方法可以防止执行期间休眠并让Windows在执行后休眠吗?欢迎任何疯狂的想法;-) 最佳答案 Here建议使用SetThreadExecutionStateWinAPI函数,使应用程序能够通知系统它正在使用中,从而防止系统在应用程序运行时进入休眠状态或关闭显示。像这样的东西:require'Win32API'ES_AWAYMODE_REQUIRED=0x0

  2. ruby - 使用 C 扩展开发 ruby​​gem 时,如何使用 Rspec 在本地进行测试? - 2

    我正在编写一个包含C扩展的gem。通常当我写一个gem时,我会遵循TDD的过程,我会写一个失败的规范,然后处理代码直到它通过,等等......在“ext/mygem/mygem.c”中我的C扩展和在gemspec的“扩展”中配置的有效extconf.rb,如何运行我的规范并仍然加载我的C扩展?当我更改C代码时,我需要采取哪些步骤来重新编译代码?这可能是个愚蠢的问题,但是从我的gem的开发源代码树中输入“bundleinstall”不会构建任何native扩展。当我手动运行rubyext/mygem/extconf.rb时,我确实得到了一个Makefile(在整个项目的根目录中),然后当

  3. ruby - 在 jRuby 中使用 'fork' 生成进程的替代方案? - 2

    在MRIRuby中我可以这样做:deftransferinternal_server=self.init_serverpid=forkdointernal_server.runend#Maketheserverprocessrunindependently.Process.detach(pid)internal_client=self.init_client#Dootherstuffwithconnectingtointernal_server...internal_client.post('somedata')ensure#KillserverProcess.kill('KILL',

  4. Ruby Sinatra 配置用于生产和开发 - 2

    我已经在Sinatra上创建了应用程序,它代表了一个简单的API。我想在生产和开发上进行部署。我想在部署时选择,是开发还是生产,一些方法的逻辑应该改变,这取决于部署类型。是否有任何想法,如何完成以及解决此问题的一些示例。例子:我有代码get'/api/test'doreturn"Itisdev"end但是在部署到生产环境之后我想在运行/api/test之后看到ItisPROD如何实现? 最佳答案 根据SinatraDocumentation:EnvironmentscanbesetthroughtheRACK_ENVenvironm

  5. ruby - 是否可以覆盖 gemfile 进行本地开发? - 2

    我们的git存储库中目前有一个Gemfile。但是,有一个gem我只在我的环境中本地使用(我的团队不使用它)。为了使用它,我必须将它添加到我们的Gemfile中,但每次我checkout到我们的master/dev主分支时,由于与跟踪的gemfile冲突,我必须删除它。我想要的是类似Gemfile.local的东西,它将继承从Gemfile导入的gems,但也允许在那里导入新的gems以供使用只有我的机器。此文件将在.gitignore中被忽略。这可能吗? 最佳答案 设置BUNDLE_GEMFILE环境变量:BUNDLE_GEMFI

  6. ruby - 在 Windows 机器上使用 Ruby 进行开发是否会适得其反? - 2

    这似乎非常适得其反,因为太多的gem会在window上破裂。我一直在处理很多mysql和ruby​​-mysqlgem问题(gem本身发生段错误,一个名为UnixSocket的类显然在Windows机器上不能正常工作,等等)。我只是在浪费时间吗?我应该转向不同的脚本语言吗? 最佳答案 我在Windows上使用Ruby的经验很少,但是当我开始使用Ruby时,我是在Windows上,我的总体印象是它不是Windows原生系统。因此,在主要使用Windows多年之后,开始使用Ruby促使我切换回原来的系统Unix,这次是Linux。Rub

  7. ruby-on-rails - 在 Rails 开发环境中为 .ogv 文件设置 Mime 类型 - 2

    我正在玩HTML5视频并且在ERB中有以下片段:mp4视频从在我的开发环境中运行的服务器很好地流式传输到chrome。然而firefox显示带有海报图像的视频播放器,但带有一个大X。问题似乎是mongrel不确定ogv扩展的mime类型,并且只返回text/plain,如curl所示:$curl-Ihttp://0.0.0.0:3000/pr6.ogvHTTP/1.1200OKConnection:closeDate:Mon,19Apr201012:33:50GMTLast-Modified:Sun,18Apr201012:46:07GMTContent-Type:text/plain

  8. ruby-on-rails - 如何在 Ruby on Rails 中实现由 JSF 2.0 (Primefaces) 驱动的 UI 魔法 - 2

    按照目前的情况,这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持,但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visitthehelpcenter指导。关闭10年前。问题1)我想知道ruby​​onrails是否有功能类似于primefaces的gem。我问的原因是如果您使用primefaces(http://www.primefaces.org/showcase-labs/ui/home.jsf),开发人员无需担心javascript或jquery的东西。据我所知,JSF是一个规范,基于规范的各种可用实现,prim

  9. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用,HOOPSPlatform组件都可以为您提供弹性的3D集成架构,同时,由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台(桌面/WEB/APP,而且某些客户端是“瘦”客户端)快速、方便地将数据接入到3D应用系统的解决方案,并且当访问数据时,在各个平台上的性能和用户体验保持一致,HOOPSPlatform将帮助您完成。利用HOOPSPlatform,您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品,HOOPSSDK包含的技术有:快速且准确的CAD

  10. 【鸿蒙应用开发系列】- 获取系统设备信息以及版本API兼容调用方式 - 2

    在应用开发中,有时候我们需要获取系统的设备信息,用于数据上报和行为分析。那在鸿蒙系统中,我们应该怎么去获取设备的系统信息呢,比如说获取手机的系统版本号、手机的制造商、手机型号等数据。1、获取方式这里分为两种情况,一种是设备信息的获取,一种是系统信息的获取。1.1、获取设备信息获取设备信息,鸿蒙的SDK包为我们提供了DeviceInfo类,通过该类的一些静态方法,可以获取设备信息,DeviceInfo类的包路径为:ohos.system.DeviceInfo.具体的方法如下:ModifierandTypeMethodDescriptionstatic StringgetAbiList​()Obt

随机推荐