草庐IT

ios - 解码一个巨大的 NSString，内存不足

coder 2024-01-21 原文

我正在寻找有关如何改进使用 base64 编码解码 40+MB NSString 并将其保存到文件的过程的想法，同时能够将该过程放入 iPad 1 的 256 MB RAM

我从 NSXMLParser 得到 NSString:

id pointerToString;

- (void)parser:(NSXMLParser *)parser foundCharacters:(NSString *)string{
if ([currentElement isEqualToString:@"myElement"]) 
    {
    pointerToString = [string retain];
}
}

然后我在回调中使用 pointerToString:
[handler performSelector: action withObject: pointerToString];

在回调中(id 值是pointerToString)。我使用 pointerToString 初始化 NSData，同时使用 base64 编码对其进行解码。
^(id value)
{
    if ( [[value class] isSubclassOfClass:[NSString class]] ) 
    {
    NSData *data = [NSData dataFromBase64String:value];
    [data writeToFile:file.path atomically:YES];
}
}

当 NSData 调用之后或调用期间内存分配达到大约 130MB 时，iPad 1 设备内存不足并被 iOS 杀死。

我已经确定，为了以这种方式处理 40+MB 的 NSString，我需要大约 180+MB 的 RAM(这是 iPad 2 和 3 上的最大内存分配，由于更多的 RAM，该过程可以正常工作)

任何想法/提示？

谢谢

最佳答案

编辑 :

在处理这种大小的文件时，您可能不想一次将整个数兆字节的文件加载到内存中，无论是巨大的输入文件还是几乎一样大的输出文件。您应该以流式方式解析它，解码 foundCharacters 中的数据。随着你的进行，没有在内存中保留任何重要的部分。

但是，传统技术可能会在过程的三个阶段保留整个 XML 文件内存:

  • 当您从服务器下载 XML 文件时；
  • 当 XML 解析器解析该文件时；和
  • 当您对文件进行 Base64 解码时。

    • 诀窍是采用流技术，对单个大型 XML 文件的小 block 同时执行这三个过程。最重要的是，当您下载整个 50mb 文件时，抓取几个 kb，解析 XML，如果您正在解析 Base64 编码字段，则对这几个 kb 执行 Base64 解码，然后继续下一个数据 block 。

    有关此示例(至少是流式 XML 下载和解析，不包括 Base64 解码)，请参阅 Apple 的 XMLPerformance sample project .您将看到它将演示两个 XML 解析器，NSXMLParser我们都熟悉的，以及不太熟悉的 LibXML解析器。 NSXMLParser 的问题就是说，留给它自己的设备，即使您使用 initWithContentsOfURL，它也会在开始解析之前将整个 XML 文件加载到内存中。 .

    在我之前的回答中，我错误地声称使用 initWithContentsOfURL , NSXMLParser将在下载时以漂亮的小数据包解析 URL 的内容。 foundCharacters NSXMLParserDelegate的方法协议(protocol)看起来很像 NSURLConnectionDelegate方法，didReceiveData ，我确信 NSXMLParser将像 NSURLConnection 一样处理流确实，即在下载过程中返回信息。可悲的是，它没有。

    通过使用 LibXML但是，就像 Apple XMLPerformance 示例项目一样，您实际上可以使用 NSURLConnection流的能力，从而动态解析 XML。

    我创造了一点test project ，但我可能建议您详细了解 Apple 的 XMLPerformance 示例项目。但在我的实验中，一个 56mb 的 XML 文件在通过 NSXMLParser 解析和转换时消耗了超过 100mb 的空间。但在使用 LibXML2 时只消耗了 2mb .

    在您的评论中，您描述了将 Base64 编码数据下载到文件然后对其进行解码的愿望。这种方法似乎效率低得多，但肯定可行。顺便说一下，在初次下载时，您遇到了相同的内存问题(我在上面解决了这个问题)。我敦促您确保您对 Base64 编码数据的初始下载不会像大多数例程那样轻松地将其加载到 RAM 中。你想，假设你正在使用 NSURLConnection ，将数据写入NSOutputStream当您收到 didReceiveData 中的数据时，不要将其保存在 RAM 中。

    见didReceiveResponse在 Apple 的 AdvancedGetController.m 中 AdvancedURLConnections example有关如何在接收文件时写入文件的示例，而不是将其添加到 NSMutableData 的典型模式(因为大多数这些例程只是假设您正在处理一个合理大小的文件)。 (忽略 AdvancedURLConnections 示例中有关身份验证等的所有内容，但重点了解它是如何写入 NSOutputStream 的。)此技术将解决此答案顶部列出的三个问题中的第一个，但不是后两者。为此，您必须考虑使用 LibXML2如 Apple 的 XMLPerformance 示例项目或其他类似技术中所示。

    关于ios - 解码一个巨大的 NSString，内存不足，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/13691787/

    NSStringioscodebr的xmlmemory-managementbase64nsdata

    有关ios - 解码一个巨大的 NSString，内存不足的更多相关文章

    1. ruby-on-rails - Ruby net/ldap 模块中的内存泄漏 - 2

      作为我的Rails应用程序的一部分，我编写了一个小导入程序，它从我们的LDAP系统中吸取数据并将其塞入一个用户表中。不幸的是，与LDAP相关的代码在遍历我们的32K用户时泄漏了大量内存，我一直无法弄清楚如何解决这个问题。这个问题似乎在某种程度上与LDAP库有关，因为当我删除对LDAP内容的调用时，内存使用情况会很好地稳定下来。此外，不断增加的对象是Net::BER::BerIdentifiedString和Net::BER::BerIdentifiedArray，它们都是LDAP库的一部分。当我运行导入时，内存使用量最终达到超过1GB的峰值。如果问题存在，我需要找到一些方法来更正我的代

    2. ruby - 使用 Vim Rails，您可以创建一个新的迁移文件并一次性打开它吗？ - 2

      使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta

    3. ruby-on-rails - Rails - 一个 View 中的多个模型 - 2

      我需要从一个View访问多个模型。以前，我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它，但这似乎不是“ruby方式”，我将需要在不久的将来访问更多模型。这可能会变得很脏，是否有针对这种情况的任何技术？注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展，本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向，这似乎很麻烦。最终从任何

    4. ruby-on-rails - 渲染另一个 Controller 的 View - 2

      我想要做的是有2个不同的Controller，client和test_client。客户端Controller已经构建，我想创建一个test_clientController，我可以使用它来玩弄客户端的UI并根据需要进行调整。我主要是想绕过我在客户端中内置的验证及其对加载数据的管理Controller的依赖。所以我希望test_clientController加载示例数据集，然后呈现客户端Controller的索引View，以便我可以调整客户端UI。就是这样。我在test_clients索引方法中试过这个:classTestClientdefindexrender:template=>

    5. ruby-on-rails - 如果 Object::try 被发送到一个 nil 对象，为什么它会起作用？ - 2

      如果您尝试在Ruby中的nil对象上调用方法，则会出现NoMethodError异常并显示消息:"undefinedmethod‘...’fornil:NilClass"然而，有一个tryRails中的方法，如果它被发送到一个nil对象，它只返回nil:require'rubygems'require'active_support/all'nil.try(:nonexisting_method)#noNoMethodErrorexceptionanymore那么try如何在内部工作以防止该异常？ 最佳答案 像Ruby中的所有其他对象

    6. ruby - 为什么 SecureRandom.uuid 创建一个唯一的字符串？ - 2

      关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗？通过editingthispost添加细节并澄清问题.关闭8年前。Improvethisquestion为什么SecureRandom.uuid创建一个唯一的字符串？SecureRandom.uuid#=>"35cb4e30-54e1-49f9-b5ce-4134799eb2c0"SecureRandom.uuid方法创建的字符串从不重复？

    7. ruby-on-rails - Rails - 从另一个模型中创建一个模型的实例 - 2

      我有一个正在构建的应用程序，我需要一个模型来创建另一个模型的实例。我希望每辆车都有4个轮胎。汽车模型classCar轮胎模型classTire但是，在make_tires内部有一个错误，如果我为Tire尝试它，则没有用于创建或新建的activerecord方法。当我检查轮胎时，它没有这些方法。我该如何补救？错误是这样的:未定义的方法'create'forActiveRecord::AttributeMethods::Serialization::Tire::Module我测试了两个环境:测试和开发，它们都因相同的错误而失败。 最佳答案

    8. ruby - 如何验证 IO.copy_stream 是否成功 - 2

      这里有一个很好的答案解释了如何在Ruby中下载文件而不将其加载到内存中:https://stackoverflow.com/a/29743394/4852737require'open-uri'download=open('http://example.com/image.png')IO.copy_stream(download,'~/image.png')我如何验证下载文件的IO.copy_stream调用是否真的成功——这意味着下载的文件与我打算下载的文件完全相同，而不是下载一半的损坏文件？documentation说IO.copy_stream返回它复制的字节数，但是当我还没有下

    9. ruby-on-rails - Ruby 中的内存模型 - 2

      ruby如何管理内存。例如:如果我们在执行过程中采用C程序，则以下是内存模型。类似于这个ruby如何处理内存。C:__________________|||stack|||------------------||||------------------|||||Heap|||||__________________|||data|__________________|text|__________________Ruby:? 最佳答案 Ruby中没有“内存”这样的东西。Class#allocate分配一个对象并返回该对象。这就是程序

    10. Ruby 文件 IO 定界符？ - 2

      我正在尝试解析一个文本文件，该文件每行包含可变数量的单词和数字，如下所示:foo4.500bar3.001.33foobar如何读取由空格而不是换行符分隔的文件？有什么方法可以设置File("file.txt").foreach方法以使用空格而不是换行符作为分隔符？ 最佳答案 接受的答案将slurp文件，这可能是大文本文件的问题。更好的解决方案是IO.foreach.它是惯用的，将按字符流式传输文件:File.foreach(filename,""){|string|putsstring}包含“thisisanexample”结果的

    随机推荐