是否可以使用 XML::SAX::Expat 的处理程序类暂停和恢复解析？ ？

文件很大，我们正在将节点读入内存来渲染表格。我们只想一次渲染一个部分，否则我们会耗尽内存。所以我们需要停止解析文件，在程序的其他部分做一些事情，然后在下一页继续。

我可以想出几种方法来实现这一点(见下文)，但它们都感觉像是 hack。有我可以使用的原生软件吗？

可能的选择:

• 跟踪 $current_node 计数器并将其传递给处理程序构造函数，每个 我们解析文件的时间会在存储数据之前跳过这么多节点。
• 与上面类似，但使用 tell/seek 跳过每个新调用
• 预处理以将文件拆分为多个大小正确的文件。

前两个效率低，最后一个乱。有更好的选择吗？

编辑以解释有关文件结构的更多信息以及替代方案为何不起作用。

除了一些其他数据外，大部分结构如下。

<DETAILS>
    <DETAIL>
        <ITEM1>...</ITEM1>
        <ITEM2>...</ITEM2>
        ...
    </DETAIL>
    <DETAIL>
        <ITEM1>...</ITEM1>
        <ITEM2>...</ITEM2>
        ...
    </DETAIL>
    ...
</DETAILS>

对于有问题的文件每个<DETAIL> node 的大小大约为 240 字节，这并不多，但我们有超过 180,000 个(这是无法处理的较小文件之一)。 LibXML当它碰到这个结构时失败，因为它试图将它全部解析到内存中(我们仅限于 32 位系统，并且 Perl 的内存中还有其他重要的结构)。

更新到最新版本和一些代码调整后，XML::Twig将解析文档，但我仍然有同样的问题 - 是否可以暂停并稍后继续？

我不控制整个逻辑流，所以当主应用程序准备好下一页时，它会调用我的对象来获取它。我需要能够输出一大块数据并等待下一个请求。这可能由 fork 处理但我不确定是否需要这样做。

显示程序流程的示例。

这是一种简化(尤其是 while 循环)。实际程序具有复杂的文档页面嵌套结构，其中包含多个表示页面元素的对象。它是通过使用网络服务调用定义的，也是数据驱动的，因此我们不能为此硬编码任何假设。

我看不出如何将回调放入其中 - 处理必须在表格之后恢复以发出剩余的页面元素，开始一个新页面，并在恢复表格之前发出该新页面的前几个页面元素。

use strict;
use warnings;

use XML::Twig;

my $table = Table->new('details.xml');

my $table_finished = 0;
while (!$table_finished) {
    # emit some data e.g. page header
    # ...
    # emit the table - 2 data rows per page, for testing
    $table_finished = $table->partial_emit(2);
    # emit some data e.g. page footer
    # ...
}

exit;

package Table;

sub new {
    my ($class, $filename) = @_;

    my $self = {
        '_file' => $filename,
    };

    bless ($self, $class);

    my $sub_ref = $self->can('process_table_row');

    $self->{'_twig'} = XML::Twig->new( 
                twig_handlers => {
                    'DETAIL'    => sub {
                        $sub_ref->($self, @_),
                        },
                });     

    return $self;
}

sub partial_emit {
    my ($this, $rows) = @_;
    $this->{'_rows_emitted'} = 0;
    $this->{'_limit'} = $rows;
    $this->{'_finished'} = 1;

    # we want this to return after parsing part of the file if it is large
    $this->{'_twig'}->parsefile($this->{'_file'});

    # should be zero if we returned early
    return $this->{'_finished'};
}

sub process_table_row {
        my ($this, $twig, $elt) = @_;

        # increase row count
        $this->{'_rows_emitted'}++;

        # handle data - doesn't matter what it does here
        print $elt->text, "\n";

        # we've done as many as we want - how to stop processing and return to main loop?
        if ($this->{'_rows_emitted'} >= $this->{'_limit'}) {
            print "Limit reached\n";
            # Ideally we'd set this, tell Twig to stop for a while, and carry on, but in my test script this causes an infinite loop
            #$this->{'_finished'} = 0;
        }       
}

1;

还有另一个编辑...似乎在调整我的搜索后我偶然发现了我一直想要的东西。 XML::SAX::Expat::Incremental有一个 parse_more完全满足我需要的例程。我需要等待几天才能对完整数据集进行测试，但如下所示的简短测试有效。

Table类可以这样做:

$self->{'_parser'} = XML::SAX::Expat::Incremental->new( Handler => MyHandler->new($self) );

哪里MyHandler是一个简单的 XML::SAX现在可以访问 Table 的样式处理程序.

调用 Table::partial_emit会做这样的事情:

my $buf;
my $bytes_to_read = 50; # small for testing
while (read($this->{'_fh'}, $buf, $bytes_to_read)) {
    $this->{'_parser'}->parse_more($buf);
    # MyHandler will increment this based on the number of rows (DETAIL nodes) encountered
    if ($this->{'_rows_emitted'} >= $rows) {
        $this->{'_finished'} = 0;
        last;
    }
}

以上可能在边缘情况下有一些错误，但它对我的测试工作正常。稍后我需要对其进行适当的压力测试，看看它是否已准备好投入生产。

最佳答案

XML::Twig模块旨在在这种情况下表现良好。

它的副标题是“A perl module for processing huge XML documents in tree mode”。

关于xml - Perl XML::SAX 部分解析，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/27615094/