草庐IT

r - R可以读取html编码的表情符号字符吗？

coder 2024-06-25 原文

问题

我的问题如下所述:
如何使用R来读取包含HTML表情符号代码(例如��)的字符串？
我想:
(1)在解析的字符串中表示表情符号(例如，作为unicode符号?)，或(2)将其转换为等效的文本(“:hugging face:”)

背景

我有一个文本消息的XML数据集(来自Android/iOS应用程序Signal)，正在将其读入R以进行文本挖掘项目。数据如下所示，每个文本消息均在sms节点中表示:

<?xml version="1.0" encoding="UTF-8" standalone="yes" ?>
<!-- File Created By Signal -->
    <smses count="1">
        <sms protocol="0" address="+15555555555" contact_name="Jane Doe" date="1483256850399" readable_date="Sat, 31 Dec 2016 23:47:30 PST" type="1" subject="null" body="Hug emoji: &#55358;&#56599;" toa="null" sc_toa="null" service_center="null" read="1" status="-1" locked="0" />
</smses>

问题

我当前正在使用R的xml2包读取数据。但是，当我使用xml2::read_xml函数时，出现以下错误消息:
Error in doc_parse_raw(x, encoding = encoding, base_url = base_url, as_html = as_html,  : 
  xmlParseCharRef: invalid xmlChar value 55358

据我了解，这表明表情符号字符未被识别为有效的XML。

使用xml2::read_html函数确实可以，但是会删除表情符号字符。一个小例子在这里:
example_text <- "Hugging emoji: &#55358;&#56599;"
xml2::xml_text(xml2::read_html(paste0("<x>", example_text, "</x>")))

(输出:[1] "Hugging emoji: ")

此字符是有效的HTML-谷歌搜索&#55358;&#56599;实际上将其在搜索栏中转换为“拥抱面孔”表情符号，并显示与该表情符号有关的结果。

我发现的其他信息似乎与此问题有关

我一直在搜索Stack Overflow，但没有发现与此特定问题相关的任何问题。我也找不到能够直接在其表示的表情符号旁边给出HTML代码的表格，因此在解析之前，无法在大循环中将这些HTML代码(尽管效率低下)转换为等效文本数据集;例如，this list和its underlying dataset都不包含字符串55358。

最佳答案

tl; dr:表情符号不是有效的HTML实体；已使用UTF-16数字代替Unicode代码点来构建它们。我在答案的底部描述了一种算法，可以将它们转换为有效的XML。

识别问题

R绝对可以处理表情符号:



实际上，在R中存在一些用于处理表情符号的软件包。例如，emojifont和emo软件包都允许您基于Slack样式的关键字来检索表情符号。这只是从HTML转义格式获取源字符以便转换它们的问题。
xml2::read_xml似乎可以与其他HTML实体配合使用，例如“＆”号或双引号。我查看了this SO answer，以查看HTML实体上是否存在任何特定于XML的约束，并且看起来它们存储的表情符号很好。所以我尝试将您表情符号中的表情符号代码更改为该答案中的表情符号代码:

body="Hug emoji: &#128512;&#128515;"

而且，可以肯定的是，它们被保留了(尽管它们显然不再是拥抱表情符号了):
> test8 = read_html('Desktop/test.xml')
> test8 %>% xml_child() %>% xml_child() %>% xml_child() %>% xml_attr('body')
[1] "Hug emoji: \U0001f600\U0001f603"

我在this page上查找了拥抱表情符号，给出的十进制HTML实体没有&#55358;&#56599;。看来表情符号的UTF-16十进制代码已包装在&#和;中。

总之，我认为答案是您的表情符号实际上不是有效的HTML实体。如果您无法控制源，则可能需要进行一些预处理以解决这些错误。

那么，为什么浏览器会正确地转换它们呢？我想知道浏览器在这些方面是否更具灵活性，并对这些代码可能是什么进行了一些猜测。我只是在推测。

将UTF-16转换为Unicode代码点

经过更多调查后，看来有效的emoji表情HTML实体使用了Unicode代码点(如果是&#...;，则为十进制；如果是&#x...;，则为十六进制)。 The Unicode code point is different from the UTF-8 or UTF-16 code.(该链接说明了表情符号和其他字符的各种编码方式，顺便说一句!好读。)

因此，我们需要将源数据中使用的UTF-16代码转换为Unicode代码点。关于this Wikipedia article on UTF-16，我已经验证了它是如何完成的。每个Unicode代码点(我们的目标)是20位数字或5个十六进制数字。从Unicode转换为UTF-16时，您将其分成两个10位数字(中间的十六进制数字被切成两半，其中两位进入每个块)，对它们进行一些数学运算并得出结果) 。

向后退，就像您想要的那样，它是这样完成的:
  • 您的UTF-16十进制数字(目前位于两个独立的块中)为55358 56599
  • (分别)将这些块转换为十六进制可得到0x0d83e 0x0dd17
  • 您从第一个块中减去0xd800，从第二个块中减去0xdc00，以得到0x3e 0x117
  • 将它们转换为二进制文件，将其填充到10位并进行连接，这是0b0000 1111 1001 0001 0111
  • 然后我们将其转换回十六进制，即0x0f917
  • 最后，我们添加0x10000，得到0x1f917
  • 因此，我们的(十六进制)HTML实体是&#x1f917;。或者，以十进制表示，&#129303

    • 因此，要对该数据集进行预处理，您需要提取现有数字，使用上述算法，然后将结果放回去(使用一个&#...;，而不是两个)。

    在R 中显示表情符号

    据我所知，在R控制台中没有打印表情符号的解决方案:它们总是以"U0001f600"(或您拥有的东西)的形式出现。但是，我上面描述的软件包可以在某些情况下帮助您绘制表情符号(我希望扩展ggflags在某些时候显示任意全彩表情符号)。他们还可以帮助您搜索表情符号以获取其代码，但是使用代码AFAIK却无法获取名称。但是，如果您已将表情符号代码提取到一列中，则可以尝试将the emoji list from emojilib 导入R并与数据框进行联接，以获取英文名称。

    关于r - R可以读取html编码的表情符号字符吗？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/48142634/

    html可以codebr34rxmlemojihtml-encodexml2

    有关r - R可以读取html编码的表情符号字符吗？的更多相关文章

    1. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

      总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

    2. Ruby 解析字符串 - 2

      我有一个字符串input="maybe(thisis|thatwas)some((nice|ugly)(day|night)|(strange(weather|time)))"Ruby中解析该字符串的最佳方法是什么？我的意思是脚本应该能够像这样构建句子:maybethisissomeuglynightmaybethatwassomenicenightmaybethiswassomestrangetime等等，你明白了......我应该一个字符一个字符地读取字符串并构建一个带有堆栈的状态机来存储括号值以供以后计算，还是有更好的方法？也许为此目的准备了一个开箱即用的库？

    3. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

      类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

    4. ruby-on-rails - 在 Rails 中将文件大小字符串转换为等效千字节 - 2

      我的目标是转换表单输入，例如“100兆字节”或“1GB”，并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前，我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效，但前提是输入是倍数(“gigabytes”，而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以，功能正常，

    5. ruby-on-rails - unicode 字符串的长度 - 2

      在我的Rails(2.3，Ruby1.8.7)应用程序中，我需要将字符串截断到一定长度。该字符串是unicode，在控制台中运行测试时，例如'א'.length，我意识到返回了双倍长度。我想要一个与编码无关的长度，以便对unicode字符串或latin1编码字符串进行相同的截断。我已经了解了Ruby的大部分unicode资料，但仍然有些一头雾水。应该如何解决这个问题？ 最佳答案 Rails有一个返回多字节字符的mb_chars方法。试试unicode_string.mb_chars.slice(0,50)

    6. ruby - 将差异补丁应用于字符串/文件 - 2

      对于具有离线功能的智能手机应用程序，我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl

    7. ruby - 使用 ruby​​ 将 HTML 转换为纯文本并维护结构/格式 - 2

      我想将html转换为纯文本。不过，我不想只删除标签，我想智能地保留尽可能多的格式。为插入换行符标签，检测段落并格式化它们等。输入非常简单，通常是格式良好的html(不是整个文档，只是一堆内容，通常没有anchor或图像)。我可以将几个正则表达式放在一起，让我达到80%，但我认为可能有一些现有的解决方案更智能。 最佳答案 首先，不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案，它会随着HTML的变化而崩溃，或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h

    8. ruby-on-rails - Rails 常用字符串(用于通知和错误信息等) - 2

      大约一年前，我决定确保每个包含非唯一文本的Flash通知都将从模块中的方法中获取文本。我这样做的最初原因是为了避免一遍又一遍地输入相同的字符串。如果我想更改措辞，我可以在一个地方轻松完成，而且一遍又一遍地重复同一件事而出现拼写错误的可能性也会降低。我最终得到的是这样的:moduleMessagesdefformat_error_messages(errors)errors.map{|attribute,message|"Error:#{attribute.to_s.titleize}#{message}."}enddeferror_message_could_not_find(obje

    9. ruby - 如何将脚本文件的末尾读取为数据文件(Perl 或任何其他语言) - 2

      我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚

    10. ruby - 如何以所有可能的方式将字符串拆分为长度最多为 3 的连续子字符串？ - 2

      我试图获取一个长度在1到10之间的字符串，并输出将字符串分解为大小为1、2或3的连续子字符串的所有可能方式。例如:输入:123456将整数分割成单个字符，然后继续查找组合。该代码将返回以下所有数组。[1,2,3,4,5,6][12,3,4,5,6][1,23,4,5,6][1,2,34,5,6][1,2,3,45,6][1,2,3,4,56][12,34,5,6][12,3,45,6][12,3,4,56][1,23,45,6][1,2,34,56][1,23,4,56][12,34,56][123,4,5,6][1,234,5,6][1,2,345,6][1,2,3,456][123

    随机推荐