我想解析一个巨大的文件 xml 文件。这个巨大文件中的记录确实看起来像 this。 .通常文件看起来像这样

<?xml version="1.0" encoding="ISO-8859-1"?>
<!DOCTYPE dblp SYSTEM "dblp.dtd">
<dblp>
    record_1
    ...
    record_n
</dblp>

我写了一些代码，可以从这个文件中选择一段录音。

如果我让代码运行(需要将近 50 分钟，包括在 MySQL 数据库中的存储)我注意到，有一条记录，接缝有将近一百万作者。这一定是错误的。我什至通过查看文件来检查它，确保文件中没有错误。这篇论文只有 5 或 6 个作者，所以 dblp.xml 一切都很好。所以我假设我的代码中存在逻辑错误。但我不知道这可能在哪里。 也许有人可以告诉我，错误在哪里？

代码在 if len(auth) > 2000 行停止。

import sys
import MySQLdb
from lxml import etree


elements = ['article', 'inproceedings', 'proceedings', 'book', 'incollection']
tags = ["author", "title", "booktitle", "year", "journal"]


def fast_iter(context, cursor):
    mydict = {} # represents a paper with all its tags.
    auth = [] # a list of authors who have written the paper "together".
    counter = 0 # counts the papers

    for event, elem in context:
        if elem.tag in elements and event == "start":
            mydict["element"] = elem.tag
            mydict["mdate"] = elem.get("mdate")
            mydict["key"] = elem.get("key")

        elif elem.tag == "title" and elem.text != None:
            mydict["title"] = elem.text
        elif elem.tag == "booktitle" and elem.text != None:
            mydict["booktitle"] = elem.text
        elif elem.tag == "year" and elem.text != None:
            mydict["year"] = elem.text
        elif elem.tag == "journal" and elem.text != None:
            mydict["journal"] = elem.text
        elif elem.tag == "author" and elem.text != None:
            auth.append(elem.text)
        elif event == "end" and elem.tag in elements:
            counter += 1
            print counter
            #populate_database(mydict, auth, cursor)
            mydict.clear()
            auth = []
            if mydict or auth:
                sys.exit("Program aborted because auth or mydict was not deleted properly!")
        if len(auth) > 200: # There are up to ~150 authors per paper. 
            sys.exit("auth: It seams there is a paper which has too many authors.!")
        if len(mydict) > 50: # A paper can have much metadata.
            sys.exit("mydict: It seams there is a paper which has too many tags.")

        elem.clear()
        while elem.getprevious() is not None:
            del elem.getparent()[0]
    del context


def main():
        cursor = connectToDatabase()
        cursor.execute("""SET NAMES utf8""")

        context = etree.iterparse(PATH_TO_XML, dtd_validation=True, events=("start", "end"))
        fast_iter(context, cursor)

        cursor.close()


if __name__ == '__main__':
    main()

编辑:

当我写这个函数时，我完全被误导了。我犯了一个巨大的错误，那就是在试图跳过一些不需要的录音时，却被一些想要的录音搞砸了。在文件中的某个位置，我连续跳过了将近一百万条记录，下面的通缉记录被炸毁了。

在 John 和 Paul 的帮助下，我成功地重写了我的代码。它现在正在解析，并且可以很好地进行解析。如果一些意外错误仍未解决，我会报告。否则谢谢大家的帮助!我真的很感激!

def fast_iter2(context, cursor):
    elements = set([
        'article', 'inproceedings', 'proceedings', 'book', 'incollection',
        'phdthesis', "mastersthesis", "www"
        ])
    childElements = set(["title", "booktitle", "year", "journal", "ee"])

    paper = {} # represents a paper with all its tags.
    authors = []   # a list of authors who have written the paper "together".
    paperCounter = 0
    for event, element in context:
        tag = element.tag
        if tag in childElements:
            if element.text:
                paper[tag] = element.text
                # print tag, paper[tag]
        elif tag == "author":
            if element.text:
                authors.append(element.text)
                # print "AUTHOR:", authors[-1]
        elif tag in elements:
            paper["element"] = tag
            paper["mdate"] = element.get("mdate")
            paper["dblpkey"] = element.get("key")
            # print tag, element.get("mdate"), element.get("key"), event
            if paper["element"] in ['phdthesis', "mastersthesis", "www"]:
                pass
            else:
                populate_database(paper, authors, cursor)
            paperCounter += 1
            print paperCounter
            paper = {}
            authors = []
            # if paperCounter == 100:
            #     break
            element.clear()
            while element.getprevious() is not None:
                del element.getparent()[0]
    del context

最佳答案

请消除一个混淆来源:您实际上并没有说您显示的代码确实在您的“事物计数 > 2000”测试之一中绊倒了。如果不是，则问题出在数据库更新代码(您没有向我们展示)。

如果它确实绊倒了:

(1) 将限制从 2000 减少到合理的值(auth 大约为 20，mydict 刚好为 7)

(2) 当跳闸发生时，print repr(mydict);打印;打印 repr(auth) 并与您的文件比较分析内容。

另外:使用 iterparse() 时，elem.text 不能保证在“开始”事件发生时已被解析。为了节省一些运行时间，您应该仅在“结束”事件发生时访问 elem.text。事实上，您似乎根本没有理由想要“开始”事件。您还定义了一个 tags 列表，但从不使用它。函数的开头可以写得更简洁:

def fast_iter(context, cursor):
    mydict = {} # represents a paper with all its tags.
    auth = [] # a list of authors who have written the paper "together".
    counter = 0 # counts the papers
    tagset1 = set(['article', 'inproceedings', 'proceedings', 'book', 'incollection'])
    tagset2 = set(["title", "booktitle", "year", "journal"])
    for event, elem in context:
        tag = elem.tag
        if tag in tagset2:
            if elem.text:
                mydict[tag] = elem.text
        elif tag == "author":
            if elem.text:
                auth.append(elem.text)
        elif tag in tagset1:
            counter += 1
            print counter
            mydict["element"] = tag
            mydict["mdate"] = elem.get("mdate")
            mydict["dblpkey"] = elem.get("key")
            #populate_database(mydict, auth, cursor)
            mydict.clear() # Why not just do mydict = {} ??
            auth = []
            # etc etc

不要忘记修复对 iterparse() 的调用以删除事件参数。

此外，我有理由确定 elem.clear() 应该只在事件“结束”时执行，并且只需要在 tag in tagset1 时执行.阅读the relevant docs小心。在“开始”事件中进行清理很可能会损坏您的树。

关于python - 无法正确解析具有 `pythons etree.iterparse()` 的巨大 xml 文件。代码中是否存在逻辑错误？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/6028595/