草庐IT

C# 屏幕流程序

coder 2024-05-19 原文

最近，我一直在开发一个简单的屏幕共享程序。

实际上，该程序基于 TCP 协议(protocol) 并使用 Desktop duplication API - 一项很酷的服务，支持非常快速的屏幕捕获，还提供有关 的信息MovedRegions(只是改变了它们在屏幕上的位置但仍然存在的区域)和 UpdatedRegions(已更改的区域)。

Desktop 副本有 2 个重要属性 - 2 字节数组，一个用于 previous-pixels 的数组和一个 NewPixels 数组。每 4 个字节代表 RGBA 形式的一个像素，例如，如果我的屏幕是 1920 x 1080，缓冲区大小是 1920 x 1080 * 4。

以下是我的策略的重要亮点

  1. 在初始状态(第一次)我发送整个像素缓冲区(在我的例子中是 1920 x 1080 * 3)- alpha 分量在屏幕上总是 255 :)
  2. 从现在开始，我遍历 UpdatedRegions(它是一个矩形数组)，然后发送区域边界并对其中的像素进行 Xo，如下所示:
writer.Position = 0;
var n = frame._newPixels;
var w = 1920 * 4; //frame boundaries.
var p = frame._previousPixels;

foreach (var region in frame.UpdatedRegions)
{
    writer.WriteInt(region.Top);
    writer.WriteInt(region.Height);
    writer.WriteInt(region.Left);
    writer.WriteInt(region.Width);
    
    for (int y = region.Top, yOffset = y * w; y < region.Bottom; y++, yOffset += w)
    {
        for (int x = region.Left, xOffset = x * 4, i = yOffset + xOffset; x < region.Right; x++, i += 4)
        {
            writer.WriteByte(n[i] ^ p[i]); //'n' is the newpixels buffer and 'p' is the previous.xoring for differences.
            writer.WriteByte(n[i+1] ^ p[i+1]);
            writer.WriteByte(n[i + 2] ^ p[i + 2]);

        }
    }
}
  1. 我使用用 c# 编写的 lz4 包装器压缩缓冲区(请参阅 lz4.NET。然后，我将数据写入 NetworkStream。
  2. 我合并接收方的区域以获得更新的图像 - 这不是我们今天的问题:)

'writer' 是我编写的 'QuickBinaryWriter' 类的一个实例(只是为了再次重用相同的缓冲区)。

public class QuickBinaryWriter
{
    private readonly byte[] _buffer;
    private int _position;

    public QuickBinaryWriter(byte[] buffer)
    {
        _buffer = buffer;
    }

    public int Position
    {
        get { return _position; }
        set { _position = value; }
    }

    public void WriteByte(byte value)
    {
        _buffer[_position++] = value;
    }


    public void WriteInt(int value)
    {
        byte[] arr = BitConverter.GetBytes(value);
        
        for (int i = 0; i < arr.Length; i++)
            WriteByte(arr[i]);
    }
   
}

从许多措施来看，我已经看到发送的数据非常庞大，有时对于单帧更新数据可能高达 200kb(压缩后!)。 老实说 - 200kb 真的不算什么，但如果我想流畅地流式传输屏幕并以高 Fps 速率观看，我必须在这方面做一些工作 - 最小化网络流量和带宽使用.

我正在寻找提高程序效率的建议和创意——主要是在网络部分发送的数据(通过以其他方式或任何其他想法打包)我将不胜感激任何帮助和想法。 谢谢!

最佳答案

对于 1920 x 1080 的屏幕和 4 字节颜色，​​您将看到每帧大约 8 MB。使用 20 FPS，您有 160 MB/s。因此，从 8 MB 到 200 KB(4 MB/s @ 20 FPS)是一个很大的改进。

我想让你注意某些我不确定你关注的方面，希望它能有所帮助。

  1. 您压缩屏幕图像的次数越多，它可能需要的处理就越多
  2. 您实际上需要关注为一系列不断变化的图像设计的压缩机制，类似于视频编解码器(尽管没有音频)。例如:H.264
  3. 请记住，您需要使用某种实时协议(protocol)来传输数据。其背后的想法是，如果您的某一帧延迟到达目标机器，您不妨放弃接下来的几帧以进行追赶。否则你将处于长期滞后的状态，我怀疑用户会喜欢这种情况。
  4. 您总是可以为了性能而牺牲质量。您在类似技术(如 MS 远程桌面、VNC 等)中看到的最简单的此类机制是发送 8 位颜色(ARGB 每 2 位)而不是您正在使用的 3 字节颜色。
  5. 另一种改善情况的方法是将注意力集中在屏幕上您想要流式传输的特定矩形上，而不是流式传输整个桌面。这将减小框架本身的大小。
  6. 另一种方法是在传输之前将屏幕图像缩放为较小的图像，然后在显示之前将其缩放回正常图像。
  7. 发送初始屏幕后，您始终可以发送 newpixels 和 previouspixels 之间的差异。不用说原始屏幕和差异屏幕都将被 LZ4 压缩/解压缩。如果您使用某种有损算法来压缩差异，您应该经常发送完整数组而不是差异。
  8. UpdatedRegions 是否有重叠区域？是否可以对其进行优化以不发送重复的像素信息？

上述想法可以一个接一个地应用，以获得更好的用户体验。最终，这取决于您的应用程序和最终用户的具体情况。

编辑:

关于C# 屏幕流程序，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/34421447/

C#屏幕codelistrongperformancesockets

有关C# 屏幕流程序的更多相关文章

  1. c# - 如何在 ruby​​ 中调用 C# dll？ - 2

    如何在ruby​​中调用C#dll？ 最佳答案 我能想到几种可能性:为您的DLL编写(或找人编写)一个COM包装器，如果它还没有，则使用Ruby的WIN32OLE库来调用它；看看RubyCLR,其中一位作者是JohnLam，他继续在Microsoft从事IronRuby方面的工作。(估计不会再维护了，可能不支持.Net2.0以上的版本)；正如其他地方已经提到的，看看使用IronRuby，如果这是您的技术选择。有一个主题是here.请注意，最后一篇文章实际上来自JohnLam(看起来像是2009年3月)，他似乎很自在地断言RubyCL

  2. C# 到 Ruby sha1 base64 编码 - 2

    我正在尝试在Ruby中复制Convert.ToBase64String()行为。这是我的C#代码:varsha1=newSHA1CryptoServiceProvider();varpasswordBytes=Encoding.UTF8.GetBytes("password");varpasswordHash=sha1.ComputeHash(passwordBytes);returnConvert.ToBase64String(passwordHash);//returns"W6ph5Mm5Pz8GgiULbPgzG37mj9g="当我在Ruby中尝试同样的事情时，我得到了相同sha

  3. 屏幕录制为什么没声音？检查这2项，轻松解决 - 2

    相信很多人在录制视频的时候都会遇到各种各样的问题，比如录制的视频没有声音。屏幕录制为什么没声音？今天小编就和大家分享一下如何录制音画同步视频的具体操作方法。如果你有录制的视频没有声音，你可以试试这个方法。 一、检查是否打开电脑系统声音相信很多小伙伴在录制视频后会发现录制的视频没有声音，屏幕录制为什么没声音？如果当时没有打开音频录制，则录制好的视频是没有声音的。因此，建议在录制前进行检查。屏幕上没有声音，很可能是因为你的电脑系统的声音被禁止了。您只需打开电脑系统的声音，即可录制音频和图画同步视频。操作方法：步骤1：点击电脑屏幕右下侧的“小喇叭”图案，在上方的选项中，选择“声音”。 步骤2：在“声

  4. 基于C#实现简易绘图工具【100010177】 - 2

    C#实现简易绘图工具一.引言实验目的:通过制作窗体应用程序(C#画图软件),熟悉基本的窗体设计过程以及控件设计,事件处理等,熟悉使用C#的winform窗体进行绘图的基本步骤,对于面向对象编程有更加深刻的体会.Tutorial任务设计一个具有基本功能的画图软件**·包括简单的新建文件,保存,重新绘图等功能**·实现一些基本图形的绘制,包括铅笔和基本形状等,学习橡皮工具的创建**·设计一个合理舒适的UI界面**注明:你可能需要先了解一些关于winform窗体应用程序绘图的基本知识,以及关于GDI+类和结构的知识二.实验环境Windows系统下的visualstudio2017C#窗体应用程序三.

  5. c# - C# 中的 Flatten Ruby 方法 - 2

    我如何做Ruby方法"Flatten"RubyMethod在C#中。此方法将锯齿状数组展平为一维数组。例如:s=[1,2,3]#=>[1,2,3]t=[4,5,6,[7,8]]#=>[4,5,6,[7,8]]a=[s,t,9,10]#=>[[1,2,3],[4,5,6,[7,8]],9,10]a.flatten#=>[1,2,3,4,5,6,7,8,9,10 最佳答案 递归解决方案:IEnumerableFlatten(IEnumerablearray){foreach(variteminarray){if(itemisIEnume

  6. ruby - 可以像在 C# 中使用#region 一样在 Ruby 中使用 begin/end 吗？ - 2

    我最近从C#转向了Ruby，我发现自己无法制作可折叠的标记代码区域。我只是想到做这种事情应该没问题:classExamplebegin#agroupofmethodsdefmethod1..enddefmethod2..endenddefmethod3..endend...但是这样做真的可以吗？method1和method2最终与method3是同一种东西吗？还是有一些我还没有见过的用于执行此操作的Ruby惯用语？ 最佳答案 正如其他人所说，这不会改变方法定义。但是，如果要标记方法组，为什么不使用Ruby语义来标记它们呢？您可以使用

  7. c# - Ruby 等效于 C# Linq 聚合方法 - 2

    什么是Linq聚合方法的ruby​​等价物。它的工作原理是这样的varfactorial=new[]{1,2,3,4,5}.Aggregate((acc,i)=>acc*i);每次将数组序列中的值传递给lambda时，变量acc都会累积。 最佳答案 这在数学以及几乎所有编程语言中通常称为折叠。它是更普遍的变形概念的一个实例。Ruby从Smalltalk中继承了这个特性的名称，它被称为inject:into:(像aCollectioninject:aStartValueinto:aBlock一样使用。)所以，在Ruby中，它称为inj

  8. c# - 先学什么？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭8年前。Improvethisquestion几年前我去学校学习编程，毕业后我找到了一份系统管理方面的工作，这就是我职业生涯的方向。我想重新开始某种开发，并且一直在“玩”C#和ASP.NET，但我已经听到很多关于其他"new"语言的讨论(新的意思是它们是新的)我)喜欢Ruby和F#。我想我想知道我是否在浪费时间学习主要的MS语言，而不是成为一名通才。很长一段时间没有离开开发社区(如果我曾经离开过的话)让我在潮流中挣扎，我不想落在时代的

  9. c# - 在 C# 中重现 Ruby OpenSSL private_encrypt 输出 - 2

    我有一个简单的Ruby脚本，我用它在某些HTTPheader上执行private_encrypt以签署要发送到ruby​​RESTAPI的Web请求，该API会根据Base64编码字符串测试Base64编码字符串生成而不是解码Base64和解密数据然后测试原始字符串。我使用的脚本是require"openssl"require"base64"path_to_cert=ARGV[0].dupplain_text=Base64.decode64(ARGV[1].dup)private_key=OpenSSL::PKey::RSA.new(File.read(path_to_cert))pu

  10. C# 的 LINQ 用于在 ruby​​ 中等效的集合操作 - 2

    我是ruby​​开发的新手，我目前正在使用rails2.3.11在ruby​​1.8.7中开发一个项目，我想知道这种语言是否有与C#的linq等效的集合操作，例如where子句。谢谢。 最佳答案 Ruby中Linq的where等价于find_all检查documentationfortheEnumerableModule用于其他功能。 关于C#的LINQ用于在ruby​​中等效的集合操作，我们在StackOverflow上找到一个类似的问题： https://

随机推荐