草庐IT

c++ - 在字符串、u16string 和 u32string 之间转换

coder 2023-05-01 原文

我一直在寻找一种在 Unicode 字符串类型之间进行转换的方法，但遇到了 this method .我不仅没有完全理解方法(没有评论)而且文章暗示将来会有更好的方法。

如果这是最好的方法，请您指出是什么使它起作用，如果不是，我想听听关于更好方法的建议。

最佳答案

mbstowcs()和 wcstombs()不一定要转换为 UTF-16 或 UTF-32，它们会转换为 wchar_t以及任何语言环境 wchar_t编码是。所有 Windows 语言环境都使用两字节 wchar_t和 UTF-16 作为编码，但其他主要平台使用 4 字节 wchar_t使用 UTF-32(甚至某些语言环境的非 Unicode 编码)。一个只支持单字节编码的平台甚至可以有一个单字节 wchar_t并让编码因地区而异。所以wchar_t在我看来，这对于可移植性和 Unicode 来说是一个糟糕的选择。 *

C++11 中引入了一些更好的选项； std::codecvt 的新特化、新的 codecvt 类和一个新模板，使使用它们进行转换非常方便。

首先，使用 codecvt 的新模板类是 std::wstring_convert。创建 std::wstring_convert 类的实例后，您可以轻松地在字符串之间进行转换:

std::wstring_convert<...> convert; // ... filled in with a codecvt to do UTF-8 <-> UTF-16
std::string utf8_string = u8"This string has UTF-8 content";
std::u16string utf16_string = convert.from_bytes(utf8_string);
std::string another_utf8_string = convert.to_bytes(utf16_string);

为了进行不同的转换，您只需要不同的模板参数，其中之一是 codecvt facet。以下是一些易于与 wstring_convert 一起使用的新方面:
std::codecvt_utf8_utf16<char16_t> // converts between UTF-8 <-> UTF-16
std::codecvt_utf8<char32_t> // converts between UTF-8 <-> UTF-32
std::codecvt_utf8<char16_t> // converts between UTF-8 <-> UCS-2 (warning, not UTF-16! Don't bother using this one)

使用这些的例子:
std::wstring_convert<std::codecvt_utf8_utf16<char16_t>,char16_t> convert;
std::string a = convert.to_bytes(u"This string has UTF-16 content");
std::u16string b = convert.from_bytes(u8"blah blah blah");

新的 std::codecvt 特化有点难以使用，因为它们有一个 protected 析构函数。为了解决这个问题，您可以定义一个具有析构函数的子类，或者您可以使用 std::use_facet 模板函数来获取现有的 codecvt 实例。此外，这些特化的一个问题是您不能在 Visual Studio 2010 中使用它们，因为模板特化不适用于 typedef 类型，并且编译器将 char16_t 和 char32_t 定义为 typedef。这是定义自己的 codecvt 子类的示例:
template <class internT, class externT, class stateT>
struct codecvt : std::codecvt<internT,externT,stateT>
{ ~codecvt(){} };

std::wstring_convert<codecvt<char16_t,char,std::mbstate_t>,char16_t> convert16;
std::wstring_convert<codecvt<char32_t,char,std::mbstate_t>,char32_t> convert32;

char16_t 特化在 UTF-16 和 UTF-8 之间转换。 char32_t 特化，UTF-32 和 UTF-8。

请注意，C++11 提供的这些新转换不包括任何直接在 UTF-32 和 UTF-16 之间转换的方法。相反，您只需要组合 std::wstring_convert 的两个实例。

***** 我想我会添加一个关于 wchar_t 及其用途的注释，以强调为什么它通常不应该用于 Unicode 或可移植的国际化代码。以下是我回答的简短版本 https://stackoverflow.com/a/11107667/365496

wchar_t 是什么？

wchar_t 被定义为可以将任何语言环境的 char 编码转换为 wchar_t，其中每个 wchar_t 代表一个代码点:

Type wchar_t is a distinct type whose values can represent distinct codes for all members of the largest extended character set specified among the supported locales (22.3.1). -- [basic.fundamental] 3.9.1/5



这不需要 wchar_t 足够大以同时表示来自所有语言环境的任何字符。也就是说，用于 wchar_t 的编码可能因地区而异。这意味着您不一定使用一种语言环境将字符串转换为 wchar_t，然后使用另一种语言环境将其转换回 char。

由于这似乎是 wchar_t 在实践中的主要用途，您可能想知道它有什么好处。

wchar_t 的最初意图和目的是通过定义它来简化文本处理，使其需要从字符串的代码单元到文本字符的一对一映射，从而允许使用与 ascii 字符串相同的简单算法与其他语言一起工作。

不幸的是， wchar_t 的要求假设字符和代码点之间存在一对一的映射来实现这一点。 Unicode 打破了这个假设，因此您也不能安全地将 wchar_t 用于简单的文本算法。

这意味着可移植软件不能将 wchar_t 用作语言环境之间文本的通用表示，也不能使用简单的文本算法。

wchar_t 今天有什么用？

无论如何，对于可移植代码来说并不多。如 __STDC_ISO_10646__定义然后 wchar_t 的值直接表示在所有语言环境中具有相同值的 Unicode 代码点。这使得进行前面提到的区域间转换是安全的。然而，您不能仅仅依靠它来决定您可以以这种方式使用 wchar_t，因为虽然大多数 unix 平台定义了它，但即使 Windows 在所有语言环境中使用相同的 wchar_t 语言环境，Windows 也不会。

Windows 没有定义的原因 __STDC_ISO_10646__我认为是因为Windows使用UTF-16作为其wchar_t编码，并且因为UTF-16使用代理对来表示大于U+FFFF的码点，也就是说UTF-16不满足__STDC_ISO_10646__的要求。 .

对于平台特定的代码 wchar_t 可能更有用。它本质上在 Windows 上是必需的(例如，某些文件在不使用 wchar_t 文件名的情况下根本无法打开)，尽管据我所知，Windows 是唯一正确的平台(所以也许我们可以将 wchar_t 视为“Windows_char_t”)。

事后看来， wchar_t 显然对于简化文本处理或作为独立于语言环境的文本的存储没有用处。可移植代码不应试图将其用于这些目的。

关于c++ - 在字符串、u16string 和 u32string 之间转换，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/7232710/

stringampwchar_twcharcodec++unicodec++11unicode-string

有关c++ - 在字符串、u16string 和 u32string 之间转换的更多相关文章

  1. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

    总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  2. Ruby 解析字符串 - 2

    我有一个字符串input="maybe(thisis|thatwas)some((nice|ugly)(day|night)|(strange(weather|time)))"Ruby中解析该字符串的最佳方法是什么？我的意思是脚本应该能够像这样构建句子:maybethisissomeuglynightmaybethatwassomenicenightmaybethiswassomestrangetime等等，你明白了......我应该一个字符一个字符地读取字符串并构建一个带有堆栈的状态机来存储括号值以供以后计算，还是有更好的方法？也许为此目的准备了一个开箱即用的库？

  3. ruby-on-rails - 在 Rails 中将文件大小字符串转换为等效千字节 - 2

    我的目标是转换表单输入，例如“100兆字节”或“1GB”，并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前，我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效，但前提是输入是倍数(“gigabytes”，而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以，功能正常，

  4. ruby-on-rails - unicode 字符串的长度 - 2

    在我的Rails(2.3，Ruby1.8.7)应用程序中，我需要将字符串截断到一定长度。该字符串是unicode，在控制台中运行测试时，例如'א'.length，我意识到返回了双倍长度。我想要一个与编码无关的长度，以便对unicode字符串或latin1编码字符串进行相同的截断。我已经了解了Ruby的大部分unicode资料，但仍然有些一头雾水。应该如何解决这个问题？ 最佳答案 Rails有一个返回多字节字符的mb_chars方法。试试unicode_string.mb_chars.slice(0,50)

  5. ruby - 将差异补丁应用于字符串/文件 - 2

    对于具有离线功能的智能手机应用程序，我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl

  6. ruby-on-rails - Rails 常用字符串(用于通知和错误信息等) - 2

    大约一年前，我决定确保每个包含非唯一文本的Flash通知都将从模块中的方法中获取文本。我这样做的最初原因是为了避免一遍又一遍地输入相同的字符串。如果我想更改措辞，我可以在一个地方轻松完成，而且一遍又一遍地重复同一件事而出现拼写错误的可能性也会降低。我最终得到的是这样的:moduleMessagesdefformat_error_messages(errors)errors.map{|attribute,message|"Error:#{attribute.to_s.titleize}#{message}."}enddeferror_message_could_not_find(obje

  7. ruby - 如何以所有可能的方式将字符串拆分为长度最多为 3 的连续子字符串？ - 2

    我试图获取一个长度在1到10之间的字符串，并输出将字符串分解为大小为1、2或3的连续子字符串的所有可能方式。例如:输入:123456将整数分割成单个字符，然后继续查找组合。该代码将返回以下所有数组。[1,2,3,4,5,6][12,3,4,5,6][1,23,4,5,6][1,2,34,5,6][1,2,3,45,6][1,2,3,4,56][12,34,5,6][12,3,45,6][12,3,4,56][1,23,45,6][1,2,34,56][1,23,4,56][12,34,56][123,4,5,6][1,234,5,6][1,2,345,6][1,2,3,456][123

  8. ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby​​ 中生成它们？ - 2

    我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%

  9. ruby - 如何使用文字标量样式在 YAML 中转储字符串？ - 2

    我有一大串格式化数据(例如JSON)，我想使用Psychinruby​​同时保留格式转储到YAML。基本上，我希望JSON使用literalstyle出现在YAML中:---json:|{"page":1,"results":["item","another"],"total_pages":0}但是，当我使用YAML.dump时，它不使用文字样式。我得到这样的东西:---json:!"{\n\"page\":1,\n\"results\":[\n\"item\",\"another\"\n],\n\"total_pages\":0\n}\n"我如何告诉Psych以想要的样式转储标量？解

  10. ruby-on-rails - Rails 应用程序之间的通信 - 2

    我构建了两个需要相互通信和发送文件的Rails应用程序。例如，一个Rails应用程序会发送请求以查看其他应用程序数据库中的表。然后另一个应用程序将呈现该表的json并将其发回。我还希望一个应用程序将存储在其公共(public)目录中的文本文件发送到另一个应用程序的公共(public)目录。我从来没有做过这样的事情，所以我什至不知道从哪里开始。任何帮助，将不胜感激。谢谢! 最佳答案 无论Rails是什么，几乎所有Web应用程序都有您的要求，大多数现代Web应用程序都需要相互通信。但是有一个小小的理解需要你坚持下去，网站不应直接访问彼此

随机推荐