我正在使用 Python 的 xml.etree.ElementTree 模块的 iterparse() 方法读取一个巨大的(数千兆字节)XML 文件。问题是在某些 XML 文件的文本中偶尔会出现 Unicode 错误(或者至少 Python 3 认为是 Unicode 错误)。我的循环是这样设置的:

import xml.etree.ElementTree as etree

def foo():
    # ...
    f = open(filename, encoding='utf-8')
    xmlit = iter(etree.iterparse(f, events=('start', 'end')))
    (event, root) = next(xmlit)
    for (event, elem) in xmlit: # line 26
        if event != 'end':
            continue
        if elem.tag == 'foo':
            do_something()
            root.clear()
        elif elem.tag == 'bar':
            do_something_else()
            root.clear()
    # ...

当遇到带有 Unicode 错误的元素时，我得到一个带有以下回溯的错误:

Traceback (most recent call last):
  File "<path to above file>", line 26, in foo
    for (event, elem) in xmlit:
  File "C:\Python32\lib\xml\etree\ElementTree.py", line 1314, in __next__
    self._parser.feed(data)
  File "C:\Python32\lib\xml\etree\ElementTree.py", line 1668, in feed
    self._parser.Parse(data, 0)
UnicodeEncodeError: 'utf-8' codec can't encode character '\ud800' in position 16383: surrogates not allowed

由于错误发生在 for 循环迭代之间，我唯一可以包装 try block 的地方是 for 循环之外，它将意味着我无法继续下一个 XML 元素。

我的解决方案优先级如下:

1. 接收一个不一定有效的 Unicode 字符串作为元素的文本，而不是引发异常。
2. 接收替换或删除无效字符的有效 Unicode 字符串。
3. 跳过包含无效字符的元素并转到下一个元素。

如何在不亲自修改 ElementTree 代码的情况下实现这些解决方案？

最佳答案

首先，关于 ElementTree 的所有内容在这里可能都不相关。尝试枚举 f = open(filename, encoding='utf-8') 返回的文件，您可能会遇到同样的错误。

如果是这样，解决方案是覆盖默认编码错误处理程序，如 the docs 中所述。 :

errors is an optional string that specifies how encoding and decoding errors are to be handled–this cannot be used in binary mode. Pass 'strict' to raise a ValueError exception if there is an encoding error (the default of None has the same effect), or pass 'ignore' to ignore errors. (Note that ignoring encoding errors can lead to data loss.) 'replace' causes a replacement marker (such as '?') to be inserted where there is malformed data. When writing, 'xmlcharrefreplace' (replace with the appropriate XML character reference) or 'backslashreplace' (replace with backslashed escape sequences) can be used. Any other error handling name that has been registered with codecs.register_error() is also valid.

所以，你可以这样做:

f = open(filename, encoding='utf-8', errors='replace')

这符合您的第二要务——无效字符将被替换为 '?'。

没有办法满足您的第一优先级，因为没有办法表示“不一定有效的 Unicode 字符串”。根据定义，Unicode 字符串是一系列 Unicode 代码点，这就是 Python 处理 str 类型的方式。如果您有无效的 UTF-8 并想将其转换为字符串，则需要指定如何将其转换为字符串——这就是 errors 的用途.

或者，您可以以二进制模式打开文件，将 UTF-8 作为 bytes 对象单独保留，而不是尝试将其转换为 Unicode str对象，但是您只能使用与 bytes 对象一起工作的 API。 (我相信 ElementTree 的 lxml 实现实际上可以做到这一点，但内置的不能，但不要引用我的话。)但即使你这样做了，它不会让你走得太远，因为 XML 代码本身会尝试解释无效的 UTF-8，然后它需要知道你想对错误做什么，这通常会更难指定，因为它在更下方。

最后一点:

Since the error occurs in between for loop iterations, the only place I can wrap a try block is outside the for loop, which would mean I cannot continue to the next XML element.

好吧，您实际上不必使用for 循环；您可以将其转换为带有显式 next 调用的 while 循环。任何时候您需要执行此操作，这通常表明您做错了什么 — 但有时这表明您正在处理损坏的库，这是唯一可用的解决方法。

这个:

for (event, elem) in xmlit: # line 26
    doStuffWith(event, elem)

实际上等同于:

while True:
    try:
        event, elem = next(xmlit)
    except StopIteration:
        break
    doStuffWith(event, elem)

现在，有一个明显的地方可以添加 try — 尽管您甚至不需要这样做；您可以将另一个 except 附加到现有的 try。

问题是，你要在这里做什么？无法保证迭代器在抛出异常后能够继续。事实上，所有创建迭代器的最简单方法都不能够这样做。在这种情况下，您可以自行测试是否属实。

在极少数情况下，当您需要这样做并且它确实有帮助时，您可能希望将其包装起来。像这样:

def skip_exceptions(it):
    while True:
      try:
          yield next(it)
      except StopIteration:
          raise
      except Exception as e:
          logging.info('Skipping iteration because of exception {}'.format(e))        

然后你就可以:

for (event, elem) in skip_exceptions(xmlit):
    doStuffWith(event, elem)

关于python - 如何解决 xml.etree.ElementTree.iterparse() 中的 Unicode 错误？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/14163801/