我已经下载了 Stackoverflow 2013 年 6 月的数据转储，现在正在解析 XML 文件并将其存储在 MySQL 数据库中。我正在使用 Python ElementTree 来执行此操作，但它一直崩溃并给我编码错误。

解析代码片段:

post = open('a.xml', 'r')
a = post.read()  
tree = xml.parse((a).encode('ascii', 'ignore')) # I also tried .encode('utf-8').strip() it doesn't work

#Get the root node

row = tree.findall("row")

它给了我以下错误:

'ascii' codec can't encode character u'\u2019' in position 248: ordinal not in range(128)

我也尝试过使用以下方法，但问题仍然存在。

.encode('ascii', 'ignore')

任何解决问题的建议将不胜感激。此外，如果有人链接到干净的数据也会有所帮助。

此外，我的最终目标是将数据转换为 RDF，因此如果有人有 RDF 格式的 StackOverflow 数据转储，我将不胜感激。

提前致谢!

p.s 这是导致问题和程序崩溃的 XML 行:

<row Id="99" PostTypeId="2" ParentId="88" CreationDate="2008-08-01T14:55:08.477" Score="2" Body="&lt;blockquote&gt;&#xD;&#xA;  &lt;p&gt;The actual resolution of gettimeofday() depends on the hardware architecture. Intel processors as well as SPARC machines offer high resolution timers that measure microseconds. Other hardware architectures fall back to the system’s timer, which is typically set to 100 Hz. In such cases, the time resolution will be less accurate. &lt;/p&gt;&#xD;&#xA;&lt;/blockquote&gt;&#xD;&#xA;&#xD;&#xA;&lt;p&gt;I obtained this answer from &lt;a href=&quot;http://www.informit.com/guides/content.aspx?g=cplusplus&amp;amp;seqNum=272&quot; rel=&quot;nofollow&quot;&gt;High Resolution Time Measurement and Timers, Part I&lt;/a&gt;&lt;/p&gt;" OwnerUserId="25" LastActivityDate="2008-08-01T14:55:08.477" />

编辑:@Arjan 你提到的解决方案here对我不起作用。

最佳答案

您没有提到您使用的是哪个版本的 Python，并且版本 2 和版本 3 处理 unicode 的方式有所不同，因此这可能是一个因素。由于您遇到了麻烦，我猜您使用的是 2.x 版，因为版本 3 通常可以更优雅地处理 unicode。

ElementTree 了解如何解析包含 unicode 的 xml 文件(或字符串)，而不需要 str.encode()。假设使用 Python 2.7，下面的代码可以解析一个 xml 文件，该文件包含问题中带有 unicode 字符的行:

首先，这是一个名为“test.xml”的 xml 文件的内容，该文件是为测试而创建的，其中包括有问题的行:

<?xml version="1.0"?>
<rows>
    <row Id="99" PostTypeId="2" ParentId="88" CreationDate="2008-08-01T14:55:08.477" Score="2" Body="&lt;blockquote&gt;&#xD;&#xA;  &lt;p&gt;The actual resolution of gettimeofday() depends on the hardware architecture. Intel processors as well as SPARC machines offer high resolution timers that measure microseconds. Other hardware architectures fall back to the system’s timer, which is typically set to 100 Hz. In such cases, the time resolution will be less accurate. &lt;/p&gt;&#xD;&#xA;&lt;/blockquote&gt;&#xD;&#xA;&#xD;&#xA;&lt;p&gt;I obtained this answer from &lt;a href=&quot;http://www.informit.com/guides/content.aspx?g=cplusplus&amp;amp;seqNum=272&quot; rel=&quot;nofollow&quot;&gt;High Resolution Time Measurement and Timers, Part I&lt;/a&gt;&lt;/p&gt;" OwnerUserId="25" LastActivityDate="2008-08-01T14:55:08.477" />
</rows>

解析上述文件的代码:

>>> import xml.etree.ElementTree as xml
>>> tree = xml.parse('test.xml') # Assuming code lives in same directory as file
>>> # File is now parsed into variable 'tree',
>>> # and we can check the problematic unicode character is in there
>>> body = tree.find('row').attrib['Body']
>>> # We can look at the escaped unicode character...
>>> body [238:256]
the system\u2019s timer
>>> # Or we can view it represented as we would expect to read it
>>> print body[238:256]
the system’s timer

如果以此为例，您仍然会产生错误，也许您可​​以提供一些关于您的问题的额外信息。

关于python - 解析 Stackoverflow Posts.xml 数据转储文件使程序崩溃，给出 ascii 编码错误，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/18333743/