草庐IT

聊聊 dotnet 7 对 bool 与字符串互转的底层性能优化

lindexi 2023-03-28 原文

本文也叫 跟着 Stephen Toub 大佬学性能优化系列。大家都知道在 .NET 7 有众多的性能优化,其中就包括了对布尔和字符串互转的性能优化。在对布尔和字符串的转换的性能优化上,有着非常巧妙的思路,值得写篇博客记录

Performance Improvements in .NET 7 - .NET Blog 这篇官方开发博客里面提到了 dotnet 7 的各个方面的性能优化,其中就包括了本身的主角,对 bool 与 string 互转的性能优化。此优化的核心实现代码请参阅 https://github.com/dotnet/runtime/pull/64782

在将 "True""False" 字符串和 bool 布尔互相转换时,假定不使用框架内置的转换方法,那将会如何做呢? 先从字符串转到布尔开始

开始转换的第一步可以通过字符串的长度进行快速的判断。例如无论是 "True" 还是 "False" 字符串,字符的长度都一定是大于 3 的,因此第一步可以尝试判断一下,是否大于 3 个字符。如果这一条不满足,那肯定不能作为布尔的转换字符串了。如果刚好等于 4 个字符长度,那也许就是 "True" 字符串了

转换字符串为布尔时,将无视字符串的大小写,人类方便理解的一个版本如下

        internal static bool IsTrueStringIgnoreCase(ReadOnlySpan<char> value)
        {
            return value.Length == 4 &&
                    (value[0] == 't' || value[0] == 'T') &&
                    (value[1] == 'r' || value[1] == 'R') &&
                    (value[2] == 'u' || value[2] == 'U') &&
                    (value[3] == 'e' || value[3] == 'E');
        }

没错,就是每个字符串都判断一下。刚好这就是 dotnet 6 所采用的转换方法。同理,判断 "False" 也是类似的代码逻辑

        internal static bool IsFalseStringIgnoreCase(ReadOnlySpan<char> value)
        {
            return value.Length == 5 &&
                    (value[0] == 'f' || value[0] == 'F') &&
                    (value[1] == 'a' || value[1] == 'A') &&
                    (value[2] == 'l' || value[2] == 'L') &&
                    (value[3] == 's' || value[3] == 'S') &&
                    (value[4] == 'e' || value[4] == 'E');
        }

假定要对以上的代码进行性能优化,可以怎么做呢?似乎我想不到有什么方法

在阅读了 Stephen Toub 大佬的优化,我才了解到原来还有如此的新思路,通过编码的方式进行优化。刚好的是在 C# 里面字符串的内存存储编码采用的是 Utf16 编码,采用 UTF16 编码的好处在于任意字符所在的内存的偏移量是可以完全瞬时确定的,可以快速和二进制进行映射从而提供更多优化的方向,例如刚好一个 UInt64 也就是一个 ulong 的长度就等于 4 个字符。而刚好 "True" 字符串就是 4 个字符

同样感谢远古的 ASCII 编码的定义的超级大佬,英文的大小写转换只需要取一个 0x20 的或即可让字符转换为小写,无论之前的字符是大写还是小写。于是先对输入的字符串内容,从字符串取其中前 4 个字符,转换为 UInt64 的数据,转换方法如下

internal static bool IsTrueStringIgnoreCase(ReadOnlySpan<char> value)
{
    var theUInt64Value = BinaryPrimitives.ReadUInt64LittleEndian(MemoryMarshal.AsBytes(value));
    // 忽略代码
}

通过 MemoryMarshal.AsBytes 方法,快速将 value 映射为 byte 数组,这里必须说明的是,通过 MemoryMarshal.AsBytes 方法是做内存映射而不是一个转换的过程,这是非常快速且安全的一个过程。接着调用 BinaryPrimitives.ReadUInt64LittleEndian 方法转换为 UInt64 的数据

根据上文的 ASCII 编码规则,为了方便判断逻辑,将转换的结果全部转换为小写的内容,转换方法是使用 对每个字符进行 逻辑,代码如下

var caseValue = theUInt64Value | 0x0020002000200020;

由于字符使用 UTF16 编码,需要每个使用 0x0020 进行 逻辑,连起来就是 0020_0020_0020_0020 的数值

接着将 true 字符串转换为 UInt64 数据,转换之后的常量的编码是 0x65007500720074 这个数字。刚好进行一次 UInt64 判断即可,耗时可以被忽略

return caseValue == 0x65007500720074

干掉这些变量,连成一句代码,最终的代码如下

        internal static bool IsTrueStringIgnoreCase(ReadOnlySpan<char> value) =>
            value.Length == 4 &&
            (BinaryPrimitives.ReadUInt64LittleEndian(MemoryMarshal.AsBytes(value)) | 0x0020002000200020) == 0x65007500720074; // "true" as a ulong, each char |'d with 0x0020 for case-insensitivity

以上代码的 => 是替换原本的方法体的简写代码,原本的代码里面,方法是使用 {} 组织方法体代码。在新 C# 里面,如果方法体的代码只有一句话,那就和辣么大一样,用箭头的方式即可,如此可以让代码更加简短,同时方便淘汰那些落后的开发者

同理对 "False" 字符串也进行相同的处理。嗯,对于我这个学渣来说,最怕看到“同理”这两个字,因为我拿出脚趾都算不出来,好像 "False" 字符串有五个字符吧,大家算算看

那既然有五个字符,这就意味着不能整个字符串转换为 UInt64 了,毕竟 5 x 16 > 64 了,那咋办呢?没关系,先取 "False" 字符串前面的 "Fals" 字符出来,按照上文的方式进行比较,最后再比较 e 这个字符好了

       internal static bool IsFalseStringIgnoreCase(ReadOnlySpan<char> value) =>
            value.Length == 5 &&
            (((BinaryPrimitives.ReadUInt64LittleEndian(MemoryMarshal.AsBytes(value)) | 0x0020002000200020) == 0x73006C00610066) & // "fals" as a ulong, each char |'d with 0x0020 for case-insensitivity
            ((value[4] | 0x20) == 'e'));

这能提升多少呢?非常多。大佬的基准测试如下,可以看到在 .NET 7 的耗时,接近是 .NET 6 的三分之一,优化特别大

Method Runtime Mean Ratio
ParseTrue .NET 6.0 7.347 ns 1.00
ParseTrue .NET 7.0 2.327 ns 0.32

在从字符串转换,可以使用整数对比和转换的方法提升性能,那转换为字符串呢?其实也相同,也可以使用相同的方法。嗯,又是同理。同理,在将布尔转换为字符串时,可以通过写入整数的方式提升性能

例如将 true 写为 "True" 字符串,原本的写入采用的是如下的方法

public bool TryFormat(Span<char> destination, out int charsWritten)
{
    // 这里的 m_value 就是实际存储的字段的值,表示当前的布尔值
    // 这里传入的 destination 则是一段需要被写入的字符内容,咱这个函数就是需要在
    // 传入的 destination 里将布尔值作为 True 或 False 字符串写入
    // 写入成功返回 true 的值,且记录 charsWritten 说明写入了多少个字符了
    ///写入失败,返回 false 的值
    if (m_value)
    {
    	// 在这里需要写入 "True" 字符串到 destination 里
        if ((uint)destination.Length > 3) // 如果长度都还没达到能写入 "True" 字符串的最小所需空间,那就不干活了 
        {
            destination[0] = 'T';
            destination[1] = 'r';
            destination[2] = 'u';
            destination[3] = 'e';
            charsWritten = 4;
            return true;
        }
    }
}

上面的代码也看到起来非常方便理解。在了解了可以使用整数的方式提升性能之后,试试换成使用整数赋值的方式,更改之后的代码如下

public bool TryFormat(Span<char> destination, out int charsWritten)
{
    // 这里的 m_value 就是实际存储的字段的值,表示当前的布尔值
    // 这里传入的 destination 则是一段需要被写入的字符内容,咱这个函数就是需要在
    // 传入的 destination 里将布尔值作为 True 或 False 字符串写入
    // 写入成功返回 true 的值,且记录 charsWritten 说明写入了多少个字符了
    ///写入失败,返回 false 的值
    if (m_value)
    {
    	// 在这里需要写入 "True" 字符串到 destination 里
        if ((uint)destination.Length > 3) // 如果长度都还没达到能写入 "True" 字符串的最小所需空间,那就不干活了 
        {
            // destination[0] = 'T';
            // destination[1] = 'r';
            // destination[2] = 'u';
            // destination[3] = 'e';
            BinaryPrimitives.WriteUInt64LittleEndian(MemoryMarshal.AsBytes(destination), 0x65007500720054); // "True"
            charsWritten = 4;
            return true;
        }
    }
}

先使用 MemoryMarshal.AsBytes 方法将要写入的 destination 当成 byte 二进制,接着使用 BinaryPrimitives.WriteUInt64LittleEndian 将 "True" 字符串对应的整数写入到二进制里面去,如此即可进行快速的完成写入字符串

同理,也对 "False" 字符串进行写入

                    BinaryPrimitives.WriteUInt64LittleEndian(MemoryMarshal.AsBytes(destination), 0x73006C00610046); // "Fals"
                    destination[4] = 'e';
                    charsWritten = 5;

如此写入的性能提升也是很多的,大佬的基准测试里面,对比 dotnet 6 的版本,耗时比例是之前的 0.66 倍

Method Runtime Mean Ratio
FormatTrue .NET 6.0 3.030 ns 1.00
FormatTrue .NET 7.0 1.997 ns 0.66

在底层里面,对布尔这样的类型进行优化是非常有必要的,可以极大的提升整个上层应用的性能。因为如此底层的逻辑,在很多角落里,无论是否被程序员所关注到,都会被默默的很多次的被调用

既然在性能优化的角度上,通过使用整数替换逐个字符的方式,可以提升一些性能。既然学到了,那肯定要用上来呀,我在文件下载库的断点续传保存文件里面,就尝试使用此思想编写一点代码,代码请看 https://github.com/dotnet-campus/dotnetCampus.FileDownloader/blob/aa99be3a6c9efe5bc590111a5a4b95085061d622/src/dotnetCampus.FileDownloader/Utils/BreakpointResumptionTransmissions/BreakpointResumptionTransmissionRecordFileFormatter.cs#L128-L136

原本我是期望写入的是 DCFBPRTI 的 ASCII 编码的字符串的,现在更换为使用一个 long 代替,如下面代码

    private static long GetHeader()
    {
        // 文件头是 dotnet campus File Downloader BreakPointResumptionTransmissionInfo 几个单词的首个字符 DCFBPRTI 缩写的 ASCII 值
        // 刚好将这个 ASCII 的 byte 数组转换为一个 long 的值
        //var headerByteList = System.Text.Encoding.ASCII.GetBytes("DCFBPRTI");
        // var headerByteList = new byte[] { 68, 67, 70, 66, 80, 82, 84, 73 };
        //return BitConverter.ToInt64(headerByteList)
        return 5283938767475196740;
    }

以上的代码只是因为我学到了这个方式进行优化,强行想试试而已,不代表着在业务代码里面一定要使用此方式哦

其实在编写代码的时候,以可读性为第一,除非遇到的模块是属于性能敏感的。但愿阅读本文不会带坏一些新手开发者,让新手开发者想着在任何的地方强行使用写整数代替可读性比较高的字符串处理方法

有关聊聊 dotnet 7 对 bool 与字符串互转的底层性能优化的更多相关文章

  1. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法? - 2

    总的来说,我对ruby​​还比较陌生,我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础,我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  2. Ruby 解析字符串 - 2

    我有一个字符串input="maybe(thisis|thatwas)some((nice|ugly)(day|night)|(strange(weather|time)))"Ruby中解析该字符串的最佳方法是什么?我的意思是脚本应该能够像这样构建句子:maybethisissomeuglynightmaybethatwassomenicenightmaybethiswassomestrangetime等等,你明白了......我应该一个字符一个字符地读取字符串并构建一个带有堆栈的状态机来存储括号值以供以后计算,还是有更好的方法?也许为此目的准备了一个开箱即用的库?

  3. ruby-on-rails - 在 Rails 中将文件大小字符串转换为等效千字节 - 2

    我的目标是转换表单输入,例如“100兆字节”或“1GB”,并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前,我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效,但前提是输入是倍数(“gigabytes”,而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以,功能正常,

  4. ruby-on-rails - unicode 字符串的长度 - 2

    在我的Rails(2.3,Ruby1.8.7)应用程序中,我需要将字符串截断到一定长度。该字符串是unicode,在控制台中运行测试时,例如'א'.length,我意识到返回了双倍长度。我想要一个与编码无关的长度,以便对unicode字符串或latin1编码字符串进行相同的截断。我已经了解了Ruby的大部分unicode资料,但仍然有些一头雾水。应该如何解决这个问题? 最佳答案 Rails有一个返回多字节字符的mb_chars方法。试试unicode_string.mb_chars.slice(0,50)

  5. ruby - 将差异补丁应用于字符串/文件 - 2

    对于具有离线功能的智能手机应用程序,我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl

  6. ruby-on-rails - Rails 常用字符串(用于通知和错误信息等) - 2

    大约一年前,我决定确保每个包含非唯一文本的Flash通知都将从模块中的方法中获取文本。我这样做的最初原因是为了避免一遍又一遍地输入相同的字符串。如果我想更改措辞,我可以在一个地方轻松完成,而且一遍又一遍地重复同一件事而出现拼写错误的可能性也会降低。我最终得到的是这样的:moduleMessagesdefformat_error_messages(errors)errors.map{|attribute,message|"Error:#{attribute.to_s.titleize}#{message}."}enddeferror_message_could_not_find(obje

  7. ruby - 如何以所有可能的方式将字符串拆分为长度最多为 3 的连续子字符串? - 2

    我试图获取一个长度在1到10之间的字符串,并输出将字符串分解为大小为1、2或3的连续子字符串的所有可能方式。例如:输入:123456将整数分割成单个字符,然后继续查找组合。该代码将返回以下所有数组。[1,2,3,4,5,6][12,3,4,5,6][1,23,4,5,6][1,2,34,5,6][1,2,3,45,6][1,2,3,4,56][12,34,5,6][12,3,45,6][12,3,4,56][1,23,45,6][1,2,34,56][1,23,4,56][12,34,56][123,4,5,6][1,234,5,6][1,2,345,6][1,2,3,456][123

  8. ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby​​ 中生成它们? - 2

    我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%

  9. ruby - 如何使用文字标量样式在 YAML 中转储字符串? - 2

    我有一大串格式化数据(例如JSON),我想使用Psychinruby​​同时保留格式转储到YAML。基本上,我希望JSON使用literalstyle出现在YAML中:---json:|{"page":1,"results":["item","another"],"total_pages":0}但是,当我使用YAML.dump时,它不使用文字样式。我得到这样的东西:---json:!"{\n\"page\":1,\n\"results\":[\n\"item\",\"another\"\n],\n\"total_pages\":0\n}\n"我如何告诉Psych以想要的样式转储标量?解

  10. ruby 正则表达式 - 如何替换字符串中匹配项的第 n 个实例 - 2

    在我的应用程序中,我需要能够找到所有数字子字符串,然后扫描每个子字符串,找到第一个匹配范围(例如5到15之间)的子字符串,并将该实例替换为另一个字符串“X”。我的测试字符串s="1foo100bar10gee1"我的初始模式是1个或多个数字的任何字符串,例如,re=Regexp.new(/\d+/)matches=s.scan(re)给出["1","100","10","1"]如果我想用“X”替换第N个匹配项,并且只替换第N个匹配项,我该怎么做?例如,如果我想替换第三个匹配项“10”(匹配项[2]),我不能只说s[matches[2]]="X"因为它做了两次替换“1fooX0barXg

随机推荐