performance - Scala:可变对象与不可变对象(immutable对象)性能 - OutOfMemoryError

coder 2023-06-04 原文

我想在scala中比较不可变的.map和可变的.map的性能特征，以便进行类似的操作（即将多个映射合并为一个映射）。请参见）。对于可变映射和不可变映射，我有类似的实现（见下文）。
作为一个测试，我生成了一个包含1000000个单项映射[int，int]的列表，并将这个列表传递到我测试的函数中。有了足够的内存，结果就不足为奇了：对于mutable.map，大约1200毫秒；对于unmutable.map，大约1800毫秒；对于使用mutable.map的命令式实现，大约750毫秒；map——不确定是什么造成了巨大的差异，但也可以对此发表评论。
让我有点吃惊的是，也许因为我有点厚，在Intellij8.1中使用默认的运行配置时，两个可变的实现都遇到了内存不足错误，但不可变的集合没有。不变的测试确实运行到了完成，但它运行得非常缓慢——大约需要28秒。当我增加了最大的JVM内存（大约200MB，不确定阈值在哪里）时，我得到了上面的结果。
不管怎样，我想知道的是：
为什么可变实现耗尽了内存，而不可变实现却没有呢？我怀疑不可变版本允许垃圾收集器在可变实现之前运行并释放内存——所有这些垃圾收集都解释了不可变低内存运行的缓慢性——但我希望得到更详细的解释。
实现如下。（注意：我不认为这些是可能的最佳实现。请随时提出改进建议。）

  def mergeMaps[A,B](func: (B,B) => B)(listOfMaps: List[Map[A,B]]): Map[A,B] =
    (Map[A,B]() /: (for (m <- listOfMaps; kv <-m) yield kv)) { (acc, kv) =>
      acc + (if (acc.contains(kv._1)) kv._1 -> func(acc(kv._1), kv._2) else kv)
    }

  def mergeMutableMaps[A,B](func: (B,B) => B)(listOfMaps: List[mutable.Map[A,B]]): mutable.Map[A,B] =
    (mutable.Map[A,B]() /: (for (m <- listOfMaps; kv <- m) yield kv)) { (acc, kv) =>
      acc + (if (acc.contains(kv._1)) kv._1 -> func(acc(kv._1), kv._2) else kv)
    }

  def mergeMutableImperative[A,B](func: (B,B) => B)(listOfMaps: List[mutable.Map[A,B]]): mutable.Map[A,B] = {
    val toReturn = mutable.Map[A,B]()
    for (m <- listOfMaps; kv <- m) {
      if (toReturn contains kv._1) {
        toReturn(kv._1) = func(toReturn(kv._1), kv._2)
      } else {
        toReturn(kv._1) = kv._2
      }
    }
    toReturn
  }

最佳答案

嗯，这真的取决于你使用的地图的实际类型。可能HashMap。现在，这种可变结构通过预先分配预期使用的内存来获得性能。你要加入一百万张地图，所以最终的地图一定会有点大。让我们看看如何添加这些键/值：

protected def addEntry(e: Entry) { 
  val h = index(elemHashCode(e.key)) 
  e.next = table(h).asInstanceOf[Entry] 
  table(h) = e 
  tableSize = tableSize + 1 
  if (tableSize > threshold) 
    resize(2 * table.length) 
}

看到2 *行中的resize可变的HashMap每次耗尽空间时都会增加一倍，而不可变的则在内存使用上相当保守（尽管现有的键在更新时通常会占用两倍的空间）。
现在，对于其他性能问题，您将在前两个版本中创建键和值的列表。这意味着，在加入任何映射之前，您已经在内存中两次拥有每个Tuple2（key/value pairs）！加上List的开销，这是很小的，但是我们讨论的是超过一百万个元素乘以开销。
您可能希望使用投影，这样可以避免这种情况。不幸的是，投影基于scala 2.7.x上的Stream，这对于我们的目的来说不是很可靠。但是，请尝试以下方法：

for (m <- listOfMaps.projection; kv <- m) yield kv

在需要某个值之前，Stream不会计算该值。垃圾收集器也应该收集未使用的元素，只要您不保留对Stream头的引用，这在您的算法中似乎是如此。
编辑
作为补充，for/yield理解需要一个或多个集合并返回一个新集合。只要有意义，返回的集合与原始集合具有相同的类型。例如，在下面的代码中，for construction创建了一个新列表，然后将其存储在l2中。创建新列表的不是val l2 =，而是用于理解的。

val l = List(1,2,3)
val l2 = for (e <- l) yield e*2

现在，让我们看一下前两个算法中使用的代码（减去mutable关键字）：

(Map[A,B]() /: (for (m <- listOfMaps; kv <-m) yield kv))

这里写有其同义词的foldLeft运算符将在返回的对象上调用，以便理解。记住，操作符末尾的/:会颠倒对象和参数的顺序。
现在，让我们考虑一下这个对象是什么，在这个对象上调用了:。其中第一个用于理解的生成器是foldLeft。我们知道，m <- listOfMaps是类型列表[x]的集合，其中x在这里并不真正相关。对一个理解的结果总是另一个理解的结果。其他发电机不相关。
所以，你取这个，得到每个listOfMaps中的所有键/值，它是这个List的一个组成部分，然后用所有这些创建一个新的List。这就是为什么你要复制你所有的东西。
（事实上，这甚至比这更糟，因为每个生成器都创建了一个新的集合；第二个生成器创建的集合只是每个元素的大小，虽然小于cc>但在使用后会立即丢弃）
下一个问题——实际上，第一个问题，但更容易颠倒答案——是使用List有何帮助。
当您在Map上调用List时，它将返回类型为List的新对象（在scala 2.7.x上）。起初，您可能认为这只会使事情变得更糟，因为现在您将拥有三份listOfMaps而不是一份。但aprojection不是预先计算的。它是懒散计算的。
这意味着生成的对象，即projection不是List的副本，而是一个可以在需要时用来计算Stream的函数。计算后，结果将保留，这样就不需要再次计算。
另外，List、Stream和Streamof aListall返回一个新的Stream，这意味着您可以将它们链接在一起，而无需制作创建它们的map的单个副本。因为对于理解flatMap使用这些功能，所以在内部使用filter可以防止不必要的数据复制。
现在，假设你写了这样的东西：

val kvs = for (m <- listOfMaps.projection; kv <-m) yield kv
(Map[A,B]() /: kvs) { ... }

在这种情况下，你什么也得不到。将Stream分配给Stream后，数据尚未被复制。不过，一旦执行了第二行，KVS将计算出它的每个元素，因此，它将保存数据的完整副本。
现在考虑一下原始形式：

(Map[A,B]() /: (for (m <- listOfMaps.projection; kv <-m) yield kv))

在这种情况下，在计算List的同时使用它。让我们简单地看看如何定义yieldfor aStream

override final def foldLeft[B](z: B)(f: (B, A) => B): B = { 
  if (isEmpty) z 
  else tail.foldLeft(f(z, head))(f) 
}

如果Stream为空，只需返回蓄能器。否则，计算一个新的累加器（kvs），然后将它和函数传递给Stream的foldLeft。
但是，一旦执行了Stream之后，就不会有任何对Stream的引用了。或者，换句话说，程序中的任何地方都不会指向f(z, head)的tail，这意味着垃圾收集器可以收集它，从而释放内存。
最终的结果是，for-understruction生成的每个元素在您使用它计算累加器时只会短暂地存在。这就是保存整个数据副本的方法。
最后，还有一个问题，为什么第三种算法不能从中受益。好吧，第三种算法不使用Stream，因此没有任何数据的副本。在这种情况下，使用f(z, head)只会添加一个间接层。

关于performance - Scala:可变对象与不可变对象(immutable对象)性能 - OutOfMemoryError，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/1308682/

可变 OutOfMemoryError code listOfMaps performance memory scala garbage-collection mutability

有关performance - Scala:可变对象与不可变对象(immutable对象)性能 - OutOfMemoryError的更多相关文章

ruby - 如何从 ruby 中的字符串运行任意对象方法？ - 2
总的来说，我对ruby还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用
ruby-on-rails - 按天对 Mongoid 对象进行分组 - 2
在控制台中反复尝试之后，我想到了这种方法，可以按发生日期对类似activerecord的(Mongoid)对象进行分组。我不确定这是完成此任务的最佳方法，但它确实有效。有没有人有更好的建议，或者这是一个很好的方法？#eventsisanarrayofactiverecord-likeobjectsthatincludeatimeattributeevents.map{|event|#converteventsarrayintoanarrayofhasheswiththedayofthemonthandtheevent{:number=>event.time.day,:event=>ev
ruby-on-rails - 如何验证非模型(甚至非对象)字段 - 2
我有一个表单，其中有很多字段取自数组(而不是模型或对象)。我如何验证这些字段的存在？solve_problem_pathdo|f|%>... 最佳答案创建一个简单的类来包装请求参数并使用ActiveModel::Validations。#definedsomewhere,atthesimplest:require'ostruct'classSolvetrue#youcouldevencheckthesolutionwithavalidatorvalidatedoerrors.add(:base,"WRONG!!!")unlesss
Ruby 写入和读取对象到文件 - 2
好的，所以我的目标是轻松地将一些数据保存到磁盘以备后用。您如何简单地写入然后读取一个对象？所以如果我有一个简单的类classCattr_accessor:a,:bdefinitialize(a,b)@a,@b=a,bendend所以如果我从中非常快地制作一个objobj=C.new("foo","bar")#justgaveitsomerandomvalues然后我可以把它变成一个kindaidstring=obj.to_s#whichreturns""我终于可以将此字符串打印到文件或其他内容中。我的问题是，我该如何再次将这个id变回一个对象？我知道我可以自己挑选信息并制作一个接受该信
ruby-on-rails - 如果 Object::try 被发送到一个 nil 对象，为什么它会起作用？ - 2
如果您尝试在Ruby中的nil对象上调用方法，则会出现NoMethodError异常并显示消息:"undefinedmethod‘...’fornil:NilClass"然而，有一个tryRails中的方法，如果它被发送到一个nil对象，它只返回nil:require'rubygems'require'active_support/all'nil.try(:nonexisting_method)#noNoMethodErrorexceptionanymore那么try如何在内部工作以防止该异常？最佳答案像Ruby中的所有其他对象
ruby-on-rails - 未在 Ruby 中初始化的对象 - 2
我在Rails工作并有以下类(class):classPlayer当我运行时bundleexecrailsconsole然后尝试:a=Player.new("me",5.0,"UCLA")我回来了:=>#我不知道为什么Player对象不会在这里初始化。关于可能导致此问题的操作/解释的任何建议？谢谢，马里奥格最佳答案 havenoideawhythePlayerobjectwouldn'tbeinitializedhere它没有初始化很简单，因为你还没有初始化它!您已经覆盖了ActiveRecord::Base初始化方法，但您没有调
ruby - 如何在 Rails 4 中使用表单对象之前的验证回调？ - 2
我有一个服务模型/表及其注册表。在表单中，我几乎拥有服务的所有字段，但我想在验证服务对象之前自动设置其中一些值。示例:--服务Controller#创建Action:defcreate@service=Service.new@service_form=ServiceFormObject.new(@service)@service_form.validate(params[:service_form_object])and@service_form.saverespond_with(@service_form,location:admin_services_path)end在验证@ser
ruby - 一个 YAML 对象可以引用另一个吗？ - 2
我想让一个yaml对象引用另一个，如下所示:intro:"Hello,dearuser."registration:$introThanksforregistering!new_message:$introYouhaveanewmessage!上面的语法只是它如何工作的一个例子(这也是它在thiscpanmodule中的工作方式。)我正在使用标准的rubyyaml解析器。这可能吗？最佳答案一些yaml对象确实引用了其他对象:irb>require'yaml'#=>trueirb>str="hello"#=>"hello"ir
ruby - 更改 ActiveRecord 中对象的类 - 2
假设我有一个FireNinja我的数据库中的对象，使用单表继承存储。后来才知道他真的是WaterNinja.将他更改为不同的子类的最干净的方法是什么？更好的是，我很想创建一个新的WaterNinja对象并替换旧的FireNinja在数据库中，保留ID。编辑我知道如何创建新的WaterNinja来self现有FireNinja的对象，我也知道我可以删除旧的并保存新的。我想做的是改变现有项目的类别。我是通过创建一个新对象并执行一些ActiveRecord魔法来替换行，还是通过对对象本身做一些疯狂的事情，或者甚至通过删除它并使用相同的ID重新插入来做到这一点，这是问题的一部分。
ruby-on-rails - ActiveRecord 对象相等 - 2
根据ActiveRecord::Base的文档:==(comparison_object)Returnstrueifcomparison_objectisthesameexactobject,orcomparison_objectisofthesametypeandselfhasanIDanditisequaltocomparison_object.id.Notethatnewrecordsaredifferentfromanyotherrecordbydefinition,unlesstheotherrecordisthereceiveritself.Besides,ifyoufet

performance - Scala:可变对象与不可变对象(immutable对象)性能 - OutOfMemoryError

有关performance - Scala:可变对象与不可变对象(immutable对象)性能 - OutOfMemoryError的更多相关文章

随机推荐