我有一个算法，目前分配一个非常大的 double 组，它经常更新和搜索。数组的大小为 N^2/2，其中 N 是算法运行的行数。为了与围绕算法的应用程序相关的目的，我还必须保留整个内容的副本。
当然，这对我的算法可以处理的行数施加了限制，因为我要应对堆限制。到目前为止，我已经让使用该算法的人更新 -Xmx 设置以分配更多空间，并且效果很好。但是，我现在遇到了一个真正的问题，我需要这个数组大于我可以放入内存的数组。
我已经计划更改我的算法以减轻这种大型阵列的必要性，并在该领域取得一些有希望的结果。然而，这是对过程的根本改变，需要做更多的工作才能达到我当前代码的高度完善状态，该代码在生产中非常成功地运行并且已经运行了好几年。
因此，在我完善新算法的同时，我想延长现有算法的生命周期，这意味着要解决与分配大量 double 组相关的堆限制。
我的问题是处理它的最佳方法是什么？我应该使用 nio FileChannel 和 MappedByteBuffer，还是有更好的方法。如果我确实使用 nio 方法，与相同大小的内存数组相比，我应该期待什么样的性能下降？
谢谢
最佳答案
如果您开始用完可用内存，那么您可能很快也会用完可用数组索引，数组的大小限制为 Integer.MAX_VALUE，并且当使用 double 作为数组元素的大小“只有”32GB。
获得一台具有 32GB 内存的机器是昂贵的，但可能不如您花时间修改算法和所有相关测试那么昂贵。
但是，如果客户端运行到内存边缘，并且他们的数据集仍在增长，那么您现在咬紧牙关并进行更改以在任何给定时间使用更少的内存是有意义的，因为它们可能很快就会超出数组的容量。
假设数组有些稀疏填充，您还有另一种选择，即使用各种稀疏数组数据结构之一，尽管这些往往仅在数组填充率低于 20% 时才有用。
编辑:既然您似乎已经研究了替代方案，那么 MappedByteBuffer 很可能是可行的方法。显然这会对性能产生影响，但是如果您主要从阵列进行顺序读取和写入，那么这应该不会太糟糕。如果您正在进行随机读写，那么这将变得非常慢非常快。或者非常慢非常慢......取决于你如何看待这些事情;-)
关于java - 我应该如何处理 Java 中的一个非常大的数组？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/1918356/
总的来说，我对ruby还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用
我试图在一个项目中使用rake，如果我把所有东西都放到Rakefile中，它会很大并且很难读取/找到东西，所以我试着将每个命名空间放在lib/rake中它自己的文件中，我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题，但没有任务。我现在只有一个.rake文件作为测试，名为“servers.rake”，它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时
作为我的Rails应用程序的一部分，我编写了一个小导入程序，它从我们的LDAP系统中吸取数据并将其塞入一个用户表中。不幸的是，与LDAP相关的代码在遍历我们的32K用户时泄漏了大量内存，我一直无法弄清楚如何解决这个问题。这个问题似乎在某种程度上与LDAP库有关，因为当我删除对LDAP内容的调用时，内存使用情况会很好地稳定下来。此外，不断增加的对象是Net::BER::BerIdentifiedString和Net::BER::BerIdentifiedArray，它们都是LDAP库的一部分。当我运行导入时，内存使用量最终达到超过1GB的峰值。如果问题存在，我需要找到一些方法来更正我的代
Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情？ 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中，使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件，我们在StackOverflow上找到一个类似的问题
我有多个ActiveRecord子类Item的实例数组，我需要根据最早的事件循环打印。在这种情况下，我需要打印付款和维护日期，如下所示:ItemAmaintenancerequiredin5daysItemBpaymentrequiredin6daysItemApaymentrequiredin7daysItemBmaintenancerequiredin8days我目前有两个查询，用于查找maintenance和payment项目(非排他性查询)，并输出如下内容:paymentrequiredin...maintenancerequiredin...有什么方法可以改善上述(丑陋的)代
我的代码目前看起来像这样numbers=[1,2,3,4,5]defpop_threepop=[]3.times{pop有没有办法在一行中完成pop_three方法中的内容？我基本上想做类似numbers.slice(0,3)的事情，但要删除切片中的数组项。嗯...嗯，我想我刚刚意识到我可以试试slice! 最佳答案 是numbers.pop(3)或者numbers.shift(3)如果你想要另一边。 关于ruby-多次弹出/移动ruby数组，我们在StackOverflow上找到一
使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta
我需要读入一个包含数字列表的文件。此代码读取文件并将其放入二维数组中。现在我需要获取数组中所有数字的平均值，但我需要将数组的内容更改为int。有什么想法可以将to_i方法放在哪里吗？ClassTerraindefinitializefile_name@input=IO.readlines(file_name)#readinfile@size=@input[0].to_i@land=[@size]x=1whilex 最佳答案 只需将数组映射为整数:@land边注如果你想得到一条线的平均值，你可以这样做:values=@input[x]
我需要从一个View访问多个模型。以前，我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它，但这似乎不是“ruby方式”，我将需要在不久的将来访问更多模型。这可能会变得很脏，是否有针对这种情况的任何技术？注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展，本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向，这似乎很麻烦。最终从任何
我想要做的是有2个不同的Controller，client和test_client。客户端Controller已经构建，我想创建一个test_clientController，我可以使用它来玩弄客户端的UI并根据需要进行调整。我主要是想绕过我在客户端中内置的验证及其对加载数据的管理Controller的依赖。所以我希望test_clientController加载示例数据集，然后呈现客户端Controller的索引View，以便我可以调整客户端UI。就是这样。我在test_clients索引方法中试过这个:classTestClientdefindexrender:template=>
