我们有一个处理 XML 文件的系统，其中文件本身太大而无法放入内存。

作为处理的一部分，我们希望快速扫描以记录相关元素的偏移量，以便稍后我们可以立即查找这些元素并只解析我们想要的部分(因为文件的较小部分会适合内存，我们可以负担得起为该部分使用 DOM 或其他任何东西。)

显然我们可以从头开始编写我们自己的 XML 解析器，但在制作另一个 XML 解析器之前，我想看看是否还有其他可用的选项。

以下是我们已经知道的事情的列表。

1. 使用 StAX 应该行得通，但行不通。这是一个演示。我做了一个 XML 示例，其中有超过一个字节的字符，以证明一旦您开始传递这些字符，返回的字节偏移量就不正确。请注意，尽管 API 中的方法称为 getCharacterOffset()，但文档说如果您传入字节流，它会返回字节偏移量 - 这正是这段代码所做的。

   @Test
   public void testByteOffsetsFromStreamParser() throws Exception {
       // byte counts are size required for UTF-8, I checked using Ishida's tool.
       String xml = "<?xml version=\"1.0\" encoding=\"UTF-8\"?>\n"
                    "<root>\n"
                    " <leaf>\u305A\u308C\u306A\u3044\u3067\u307B\u3057\u3044</leaf>\n" +
                    " <leaf>\u305A\u308C\u306A\u3044\u3067\u307B\u3057\u3044</leaf>\n" +
                    " <leaf>\u305A\u308C\u306A\u3044\u3067\u307B\u3057\u3044</leaf>\n" +
                    "</root>\n";
       byte[] xmlBytes = xml.getBytes("UTF-8");
       assertThat(xmlBytes.length, is(equalTo(171)));  // = 171 from above
   
       String implToTest = "com.sun.xml.internal.stream.XMLInputFactoryImpl";
       //String implToTest = "com.ctc.wstx.stax.WstxInputFactory";
       XMLInputFactory factory =
           Class.forName(implToTest).asSubclass(XMLInputFactory.class).newInstance();
       factory.setProperty("javax.xml.stream.isCoalescing", false);
       factory.setProperty("javax.xml.stream.supportDTD", false);
       XMLEventReader reader = factory.createXMLEventReader(
           new ByteArrayInputStream(xmlBytes));
       try {
           XMLEvent event;
   
           event = reader.nextTag(); // <root>
           checkByteOffset(event, 39);
   
           event = reader.nextTag(); // <leaf>
           checkByteOffset(event, 47);
   
           event = reader.nextEvent(); // (text)
           checkByteOffset(event, 53);
   
           event = reader.nextTag(); // </leaf>
           checkByteOffset(event, 77);
   
           event = reader.nextTag(); // <leaf>
           checkByteOffset(event, 86);
   
           event = reader.nextEvent(); // (text)
           checkByteOffset(event, 92);
   
           event = reader.nextTag(); // </leaf>
           checkByteOffset(event, 116);
   
           event = reader.nextTag(); // <leaf>
           checkByteOffset(event, 125);
   
           event = reader.nextEvent(); // (text)
           checkByteOffset(event, 131);
   
           event = reader.nextTag(); // </leaf>
           checkByteOffset(event, 155);
   
           event = reader.nextTag(); // </root>
           checkByteOffset(event, 163);
       } finally {
           reader.close(); // no auto-close :(
       }
   }
   
   private void checkByteOffset(XMLEvent event, int expectedOffset) {
       System.out.println("Expected Offset: " + expectedOffset +
           "    - Actual Offset: " + event.getLocation().getCharacterOffset());
   }
   

   您在 Java 7 中默认获得的工厂结果:

   Expected Offset: 39    - Actual Offset: 45
   Expected Offset: 47    - Actual Offset: 53
   Expected Offset: 53    - Actual Offset: 63
   Expected Offset: 77    - Actual Offset: 68
   Expected Offset: 86    - Actual Offset: 76
   Expected Offset: 92    - Actual Offset: 86
   Expected Offset: 116    - Actual Offset: 91
   Expected Offset: 125    - Actual Offset: 99
   Expected Offset: 131    - Actual Offset: 109
   Expected Offset: 155    - Actual Offset: 114
   Expected Offset: 163    - Actual Offset: 122
   

   Woodstox 的结果，我们根据其他一些 stackoverflow 帖子建议进行了尝试。请注意，虽然它一开始是正确的，但在几行之后，它甚至比默认解析器更不正确:

   Expected Offset: 39    - Actual Offset: 39
   Expected Offset: 47    - Actual Offset: 47
   Expected Offset: 53    - Actual Offset: 53
   Expected Offset: 77    - Actual Offset: 61
   Expected Offset: 86    - Actual Offset: 70
   Expected Offset: 92    - Actual Offset: 76
   Expected Offset: 116    - Actual Offset: 84
   Expected Offset: 125    - Actual Offset: 93
   Expected Offset: 131    - Actual Offset: 99
   Expected Offset: 155    - Actual Offset: 107
   Expected Offset: 163    - Actual Offset: 115
   

2. 我们知道一个名为 VTD-XML 的库几乎完全符合我们的要求，但它有两个问题。第一个问题是它将整个文件读入内存，而文件本身放不下。第二个问题是许可证是 GPL，与我们的其他产品不兼容。

最佳答案

前段时间I created this approach为了娱乐。也许它会对你有所帮助。它主要执行以下操作。

1. 使用 ANTLR 创建一个自生成的 XML 解析器
2. Hook 到解析例程以发出字节偏移量
3. 使用随机访问从每个字节偏移流到使用 Jackson 准备好的 POJO。

完整示例请查看 Using StAX to create index for XML for quick access

关于java - 是否有一个好的 XML 解析器可以对 XML 文件进行光扫描以获取元素的字节偏移量？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/21010003/