我目前正在尝试使用 ruby​​ (Nokogiri) 解析一个非常大的 kml (xml) 文件，但遇到了一些麻烦。

解析代码很好，事实上我会分享它只是为了看看它，即使这段代码与我的问题没有太大关系:

geofactory = RGeo::Geographic.projected_factory(:projection_proj4 => "+proj=lcc +lat_1=34.83333333333334 +lat_2=32.5 +lat_0=31.83333333333333 +lon_0=-81 +x_0=609600 +y_0=0 +ellps=GRS80 +to_meter=0.3048 +no_defs", :projection_srid => 3361)
f = File.open("horry_parcels.kml")
kmldoc = Nokogiri::XML(f)

kmldoc.css("//Placemark").each_with_index do |placemark, i|
      puts i
      tds = Nokogiri::HTML(placemark.search("//description").children[0].to_html).search("tr > td")
      h = HorryParcel.new
      h.owner_name = tds.shift.text
      tds.shift
      tds.each_slice(2) do |k, v|
        col = k.text.downcase
        eval("h.#{col} = v.text")
      end
      coords = kmldoc.search("//MultiGeometry")[i].text.gsub("\n", "").gsub("\t", "").split(",0 ").map {|x| x.split(",")}
      points = coords.map { |lon, lat| geofactory.parse_wkt("POINT (#{lon} #{lat})") }
      geo_shape = geofactory.polygon(geofactory.linear_ring(points))
      proj_shape = geo_shape.projection
      h.geo_shape = geo_shape
      h.proj_shape = proj_shape
      h.save
    end

无论如何，我已经用一个小得多的 kml 样本测试了这段代码并且它有效。

然而，当我加载真正的东西时，ruby 只是等待，就好像它正在处理什么。然而，这个“处理”现在已经跨越了几个小时，而我一直在做其他事情。您可能已经注意到，我在地标数组上有一个计数器 (each_with_index)，在这个多小时期间，没有一个 i 值是 将 放入命令行。奇怪的是它还没有超时，但即使这可行，也必须有更好的方法来做这件事。

我知道我可以在 Google 地球(此处为 Google 地球专业版)中打开 KML 文件并将数据保存在更小、更易于管理的 kml 文件中，但是事情的设置方式似乎非常手动，不专业的过程。

如果有帮助，这里有一个 kml 示例(只有一个地标)。

<?xml version="1.0" encoding="UTF-8"?>
<kml xmlns="http://www.opengis.net/kml/2.2" xmlns:gx="http://www.google.com/kml/ext/2.2" xmlns:kml="http://www.opengis.net/kml/2.2" xmlns:atom="http://www.w3.org/2005/Atom">
<Document>
    <name>justone.kml</name>
    <Style id="PolyStyle00">
        <LabelStyle>
        <color>00000000</color>
        <scale>0</scale>
    </LabelStyle>
    <LineStyle>
        <color>ff0000ff</color>
    </LineStyle>
    <PolyStyle>
        <color>00f0f0f0</color>
    </PolyStyle>
</Style>
<Folder>
    <name>justone</name>
    <open>1</open>
    <Placemark id="ID_010161">
        <name>STUART CHARLES A JR</name>
        <Snippet maxLines="0"></Snippet>
        <description>""</description>
        <styleUrl>#PolyStyle00</styleUrl>
        <MultiGeometry>
            <Polygon>
                <outerBoundaryIs>
                    <LinearRing>
                        <coordinates>
                            -78.941896,33.867893,0     -78.942514,33.868632,0 -78.94342899999999,33.869705,0 -78.943708,33.870083,0 -78.94466799999999,33.871142,0 -78.94511900000001,33.871639,0 -78.94541099999999,33.871776,0 -78.94635,33.872216,0 -78.94637899999999,33.872229,0 -78.94691400000001,33.87248,0 -78.94708300000001,33.87256,0 -78.94783700000001,33.872918,0 -78.947889,33.872942,0 -78.948655,33.873309,0 -78.949589,33.873756,0 -78.950164,33.87403,0 -78.9507,33.873432,0 -78.95077000000001,33.873384,0 -78.950867,33.873354,0 -78.95093199999999,33.873334,0 -78.952518,33.871631,0 -78.95400600000001,33.869583,0 -78.955254,33.867865,0 -78.954606,33.867499,0 -78.953833,33.867172,0 -78.952994,33.866809,0 -78.95272799999999,33.867129,0 -78.952139,33.866803,0 -78.95152299999999,33.86645,0 -78.95134299999999,33.866649,0 -78.95116400000001,33.866847,0 -78.949281,33.867363,0 -78.948936,33.866599,0 -78.94721699999999,33.866927,0 -78.941896,33.867893,0 
                        </coordinates>
                    </LinearRing>
                </outerBoundaryIs>
            </Polygon>
        </MultiGeometry>
    </Placemark>
      </Folder>
  </Document>
</kml>

编辑: 我处理的 99.9% 的数据都是 *.shp 格式，所以在过去的一周里我忽略了这个问题。但我要让这个过程在我的台式电脑上运行(离开我的笔记本电脑)并运行它直到它超时或完成。

class ClassName

attr_reader :before, :after

def go
  @before = Time.now
  run_actual_code
  @after = Time.now
  puts "process took #{(@after - @before) seconds} to complete"
end

def run_actual_code
  ...
end

end

上面的代码应该告诉我花了多长时间。从那(如果它确实完成)我们应该能够计算出一个粗略的经验法则，即您应该期望您的(否则完美)代码在没有 SAX 解析或文档文本组件的“原子化”的情况下运行多长时间。

最佳答案

对于一个巨大的 XML 文件，你不应该使用 Nokogiri 的默认 XML 解析器，因为它解析为 DOM。对于大型 XML 文件，一种更好的解析策略是 SAX。幸运的是，Nokogiri supports SAX .

缺点是使用 SAX 解析器时，所有逻辑都应通过回调完成。这个想法很简单:sax 解析器开始读取文件并在发现有趣的内容时通知您，例如标签打开、标签关闭或文本。您将能够将回调绑定(bind)到这些事件，并提取您需要的任何内容。

当然，您不想使用 SAX 解析器将所有文件加载到内存中并在那里使用它 - 这正是 SAX 想要避免的。您需要逐个部分地对该文件执行任何操作。

所以这基本上是用回调逻辑重写你的解析。要了解有关 XML DOM 与 SAX 解析器的更多信息，您可能需要查看 this FAQ from cs.nmsu.edu

关于ruby - 解析巨大的(~100mb)kml(xml)文件需要*小时*而没有任何实际解析的迹象，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/18645745/