草庐IT

linux - R stats - 分配大矩阵/Linux 时的内存问题

coder 2023-06-19 原文

我已经阅读了几个关于 R 中内存问题的线程，但我似乎无法找到解决我的问题的方法。

我正在对一个大数据集的几个子集运行一种 LASSO 回归。对于一些子集，它运行良好，而对于一些更大的子集，它不起作用，错误类型为“无法分配大小为 1.6Gb 的向量”。错误发生在这行代码:

example <- cv.glmnet(x=bigmatrix, y=price, nfolds=3)

它还取决于“bigmatrix”中包含的变量数量。

我尝试在 Mac 上使用 R 和 R64，在 PC 上使用 R，但最近在 Linux 上使用了更快的虚拟机，认为我可以避免任何内存问题。它更好，但仍然有一些限制，即使 memory.limit 指示“Inf”。

有什么方法可以使这项工作有效，还是我必须在矩阵中删除一些变量或获取更小的数据子集？

我读到 R 正在寻找一些连续的内存位，也许我应该预先分配矩阵？有什么想法吗？

最佳答案

让我稍微根据@richardh 所说的进行构建。您使用 R 加载的所有数据都会占用 RAM。所以你加载了你的主要数据，它使用了一些 RAM。然后您对数据进行子集化，以便该子集使用较小的数据 block 。然后回归算法需要一个比您的子集更大的大块，因为它会进行一些操作和旋转。有时我可以通过执行以下操作更好地使用 RAM:

  1. 使用 save() 将初始数据集保存到磁盘
  2. 获取数据的一个子集
  3. rm() 初始数据集，因此它不再在内存中
  4. 对子集进行分析
  5. 保存分析结果
  6. 完全转储内存中的所有项目:rm(list=ls())
  7. 使用 load() 将步骤 1 中的初始数据集加载回 RAM
  8. 根据需要循环步骤 2-7

注意第 6 步，尽量不要射出你的眼睛。这会将所有内容转储到 R 内存中。如果它没有被保存，它就会消失。一种更微妙的方法是删除您确定不需要的大对象，而不执行 rm(list=ls())。

如果您仍然需要更多 RAM，您可能希望在 Amazon 的云中运行您的分析。他们的高内存四重超大型实例拥有超过 68GB 的​​ RAM。有时当我遇到内存限制时，我发现最简单的事情就是去云端，在那里我可以随心所欲地使用 RAM。

Jeremy Anglim 表现不错 blog post其中包括一些关于 R 中内存管理的技巧。在那篇博文中，Jeremy 链接到 this previous StackOverflow question我发现这很有帮助。

关于linux - R stats - 分配大矩阵/Linux 时的内存问题，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/4707825/

linuxsectionli的rmemory-managementstatistics

有关linux - R stats - 分配大矩阵/Linux 时的内存问题的更多相关文章

  1. ruby-on-rails - Ruby net/ldap 模块中的内存泄漏 - 2

    作为我的Rails应用程序的一部分，我编写了一个小导入程序，它从我们的LDAP系统中吸取数据并将其塞入一个用户表中。不幸的是，与LDAP相关的代码在遍历我们的32K用户时泄漏了大量内存，我一直无法弄清楚如何解决这个问题。这个问题似乎在某种程度上与LDAP库有关，因为当我删除对LDAP内容的调用时，内存使用情况会很好地稳定下来。此外，不断增加的对象是Net::BER::BerIdentifiedString和Net::BER::BerIdentifiedArray，它们都是LDAP库的一部分。当我运行导入时，内存使用量最终达到超过1GB的峰值。如果问题存在，我需要找到一些方法来更正我的代

  2. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

  3. ruby - 通过 rvm 升级 ruby​​gems 的问题 - 2

    尝试通过RVM将RubyGems升级到版本1.8.10并出现此错误:$rvmrubygemslatestRemovingoldRubygemsfiles...Installingrubygems-1.8.10forruby-1.9.2-p180...ERROR:Errorrunning'GEM_PATH="/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/ruby-1.9.2-p180@global:/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/rub

  4. Ruby Koans about_array_assignment - 非平行与平行分配歧视 - 2

    通过ruby​​koans.com，我在about_array_assignment.rb中遇到了这两段代码你怎么知道第一个是非并行赋值，第二个是一个变量的并行赋值？在我看来，除了命名差异之外，代码几乎完全相同。4deftest_non_parallel_assignment5names=["John","Smith"]6assert_equal["John","Smith"],names7end45deftest_parallel_assignment_with_one_variable46first_name,=["John","Smith"]47assert_equal'John

  5. ruby - 通过 RVM (OSX Mountain Lion) 安装 Ruby 2.0.0-p247 时遇到问题 - 2

    我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止，这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search

  6. ruby - Fast-stemmer 安装问题 - 2

    由于fast-stemmer的问题，我很难安装我想要的任何ruby​​gem。我把我得到的错误放在下面。Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingfast-stemmer:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcreatingMakefilemake"DESTDIR="cleanmake"DESTDIR=

  7. ruby-on-rails - Ruby 中的内存模型 - 2

    ruby如何管理内存。例如:如果我们在执行过程中采用C程序，则以下是内存模型。类似于这个ruby如何处理内存。C:__________________|||stack|||------------------||||------------------|||||Heap|||||__________________|||data|__________________|text|__________________Ruby:? 最佳答案 Ruby中没有“内存”这样的东西。Class#allocate分配一个对象并返回该对象。这就是程序

  8. ruby - 安装 Ruby 时遇到问题(无法下载资源 "readline--patch") - 2

    当我尝试安装Ruby时遇到此错误。我试过查看this和this但无济于事➜~brewinstallrubyWarning:YouareusingOSX10.12.Wedonotprovidesupportforthispre-releaseversion.Youmayencounterbuildfailuresorotherbreakages.Pleasecreatepull-requestsinsteadoffilingissues.==>Installingdependenciesforruby:readline,libyaml,makedepend==>Installingrub

  9. ruby - 在 Ruby 中重新分配常量时抛出异常？ - 2

    我早就知道Ruby中的“常量”(即大写的变量名)不是真正常量。与其他编程语言一样，对对象的引用是唯一存储在变量/常量中的东西。(侧边栏:Ruby确实具有“卡住”引用对象不被修改的功能，据我所知，许多其他语言都没有提供这种功能。)所以这是我的问题:当您将一个值重新分配给常量时，您会收到如下警告:>>FOO='bar'=>"bar">>FOO='baz'(irb):2:warning:alreadyinitializedconstantFOO=>"baz"有没有办法强制Ruby抛出异常而不是打印警告？很难弄清楚为什么有时会发生重新分配。 最佳答案

  10. java - 从 JRuby 调用 Java 类的问题 - 2

    我正在尝试使用boilerpipe来自JRuby。我看过guide从JRuby调用Java，并成功地将它与另一个Java包一起使用，但无法弄清楚为什么同样的东西不能用于boilerpipe。我正在尝试基本上从JRuby中执行与此Java等效的操作:URLurl=newURL("http://www.example.com/some-location/index.html");Stringtext=ArticleExtractor.INSTANCE.getText(url);在JRuby中试过这个:require'java'url=java.net.URL.new("http://www

随机推荐