草庐IT

mysql - 解释字符集如何影响存储/显示

coder 2023-10-10 原文

令我恼火的是我还不明白这一点，但也许一些解释会有所帮助。这是一个由两部分组成的问题，但希望这两部分都很小并且直接相关:

显示

我们最近遇到了一个问题，即内容将 U+00a0(不间断空格)字符插入到具有 latin1 字符集的数据库列中。只需执行 SELECT 即可在列中打印出“”。我不确定这是选择的产物还是显示器的产物，但我相信是前者。 SELECT BINARY col 而是打印出“”，因为我的 shell 有 $LANG = en_US.utf8。

一个更明显的例子是“™”与“™”

使用 SELECT CONVERT(col USING utf8) 仍然打印出“”和“â„¢”——我不一定期望它会有所不同，但问题出在哪里？是存储时出现的问题吗？有没有办法从数据库中获取 UTF8 显示，而不是依赖 UI 来正确显示它(如果这有意义？)

存储

为了自己重现此问题，我执行了以下操作:

CREATE TABLE chrs (
    lat varchar(255) charset latin1,
    utf varchar(255) charset utf8
);
INSERT INTO chrs VALUES ('™', '™');
INSERT INTO chrs VALUES (' ', ' '); -- U+00a0

但是，这会导致:

> SELECT * FROM chrs;
+------+------+
| lat  | utf  |
+------+------+
| ™    | ™    |
|      |      |
+------+------+

我希望 lat 显示“”和“â„¢”，所以显然有些地方我不明白。

更重要的是:

 > SELECT BINARY lat, BINARY utf FROM chrs;
+------------+------------+
| BINARY lat | BINARY utf |
+------------+------------+
| �           | ™          |
| �           |            |
+------------+------------+

这表明值被错误地(？)存储到 lat 中。

我注意到 SELECT @@character_set_client 是 utf8，所以我将其更改为 latin1 并再次插入空格，但这会产生

|     |     |

对于两个 列。 SELECT BINARY lat 正确显示空格，但 SELECT binary utf8 仍打印出“”。我希望 utf8 列能够更正确地工作。

总结:

  • 当您插入字符时，MySQL 实际上对字符做了什么？它取决于列字符集、客户端集、两者还是其他因素？
  • 是否有可能由于上述不匹配而在插入时搞砸数据？还是总是可以恢复最初插入的数据？
  • 关于存储/显示，列上的字符集实际上做什么？

最佳答案

简而言之，您的数据库似乎没问题，除非您通过将 [@@character_set_client] 从 [utf8] 更改为 [latin1] 来明确告诉它表现异常。否则，我认为您会在其他地方看到使用 UTF-8 与 Windows-1252 的软件组件之间存在分歧的影响。

我们如何理解正在发生的事情？

首先，我们记得 in MySQL latin1 really means Windows-1252 ，一种与“Latin-1”本身略有不同的编码，后者也称为 ISO/IEC 8859-1。

现在让我们考虑以下有关商标符号和不间断空格的数据:

  • 字符:“商标标志”
  • Unicode 点:U+2122
  • UTF-8 十六进制字节:E2 84 A2
  • Latin-1 (ISO 8859-1) 十六进制字节:此编码中没有此字符的代码

  • Windows 1252 十六进制字节:8D

  • 字符:“不间断空格”

  • Unicode 点:U+00A0
  • UTF-8 十六进制字节:C2 A0
  • Latin-1 (ISO 8859-1) 十六进制字节:A0
  • Windows 1252 十六进制字节:A0

出错的各种方式:

  • 将商标符号 UTF-8 十六进制字节解释为 Windows 1252 字节所产生的字符: â „ ¢
    • “带抑扬符的拉丁文小写字母 a”、“双低 9 引号”、“分号”
    • 注意:对于 Windows-1252 定义为“双低位 9 引号”的十六进制字节 84，Latin-1 和 Unicode 根本没有解码。 Unicode 在远离那里的代码点编码“双低 9 引号”，U+201E。
  • 将不间断空格 UTF-8 十六进制字节解释为 Windows 1252 字节产生的字符:Â [不间断空格]
    • “带有抑扬符号的拉丁文大写字母 a”，“不间断空格”
  • 将商标符号 Windows-1252 十六进制字节解释为 UTF-8 字节产生的字符:[无字符:平台的缺失字符标记显示，通常是问号符号的变体]

看起来，当您插入时，您的数据库将商标符号以“latin1”存储为十六进制字节 8D，以“UTF-8”存储为十六进制字节 E2 A4 A2。它将“latin1”中的不间断空格存储为十六进制字节“A0”，在 UTF-8 中存储为十六进制字节 C2 A0。当您以交互方式执行正常的 SELECT 时，“latin1”商标符号首先被转换为 Unicode 点 U+2122，然后转换为 UTF-8 十六进制字节 E2 84 A2，最终可能会被误解为 Windows-1252 字节。

在哪里可以找到上面显示的有关字符的数据:

关于mysql - 解释字符集如何影响存储/显示，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/16220903/

mysql解释code进制licharacter-encoding

有关mysql - 解释字符集如何影响存储/显示的更多相关文章

  1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

    我正在学习如何使用Nokogiri，根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

  2. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

    总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  3. Ruby 解析字符串 - 2

    我有一个字符串input="maybe(thisis|thatwas)some((nice|ugly)(day|night)|(strange(weather|time)))"Ruby中解析该字符串的最佳方法是什么？我的意思是脚本应该能够像这样构建句子:maybethisissomeuglynightmaybethatwassomenicenightmaybethiswassomestrangetime等等，你明白了......我应该一个字符一个字符地读取字符串并构建一个带有堆栈的状态机来存储括号值以供以后计算，还是有更好的方法？也许为此目的准备了一个开箱即用的库？

  4. ruby-on-rails - 在 Rails 中将文件大小字符串转换为等效千字节 - 2

    我的目标是转换表单输入，例如“100兆字节”或“1GB”，并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前，我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效，但前提是输入是倍数(“gigabytes”，而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以，功能正常，

  5. ruby-on-rails - unicode 字符串的长度 - 2

    在我的Rails(2.3，Ruby1.8.7)应用程序中，我需要将字符串截断到一定长度。该字符串是unicode，在控制台中运行测试时，例如'א'.length，我意识到返回了双倍长度。我想要一个与编码无关的长度，以便对unicode字符串或latin1编码字符串进行相同的截断。我已经了解了Ruby的大部分unicode资料，但仍然有些一头雾水。应该如何解决这个问题？ 最佳答案 Rails有一个返回多字节字符的mb_chars方法。试试unicode_string.mb_chars.slice(0,50)

  6. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

  7. ruby-on-rails - 如何验证 update_all 是否实际在 Rails 中更新 - 2

    给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息？ 最佳答案 在Rails3中，update_all不返回任何有意义的信息，除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru

  8. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t

  9. ruby - 将差异补丁应用于字符串/文件 - 2

    对于具有离线功能的智能手机应用程序，我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl

  10. ruby-on-rails - Rails 编辑表单不显示嵌套项 - 2

    我得到了一个包含嵌套链接的表单。编辑时链接字段为空的问题。这是我的表格:Editingkategori{:action=>'update',:id=>@konkurrancer.id})do|f|%>'Trackingurl',:style=>'width:500;'%>'Editkonkurrence'%>|我的konkurrencer模型:has_one:link我的链接模型:classLink我的konkurrancer编辑操作:defedit@konkurrancer=Konkurrancer.find(params[:id])@konkurrancer.link_attrib

随机推荐