我使用 c/c++/cuda 不到一周，并且不熟悉库方面的所有可用选项(抱歉，如果我的问题太古怪或不可能)。这是我的问题，我有一个过程，它获取数据并对其进行分析，然后执行 3 件事中的 1 件事，(1) 保存结果，(2) 丢弃结果或 (3) 分解数据并将其发送回处理。
通常选项 (3) 会创建大量数据，并且我很快就会超过我可用的内存(我的服务器是 16 gigs)所以我解决这个问题的方法是设置一个队列服务器(rabbitmq)，我将发送并从中接收工作(一旦达到一定大小的内存，它就会交换队列)。当我使用具有更快网卡的小型服务器来传输数据时，这非常有效，但最近我一直在学习并将我的代码从 Java 转换为 c/c++ 并在 GPU 上运行它，这使得队列成为一个很大的瓶颈。瓶颈显然是网络 io(廉价系统上的分析显示 cpu 使用率很高，并且在旧 gpu 上类似，但新的更快的 cpus/gpus 没有得到充分利用，网络 IO 稳定在 300-400/mbs)。所以我决定尝试完全消除网络并在服务器上本地运行队列服务器，这使它更快，但我怀疑如果我使用不依赖外部网络服务的解决方案可能会更快(即使我我在本地运行它们)。它可能行不通，但我想尝试一下。
所以我的问题是，有什么东西可以像队列一样使用，我可以在读取条目时删除它们，但也可以在队列达到一定大小时将其交换到磁盘(但保持内存中的队列总是满的所以我不必等待从磁盘读取)？在学习 Cuda 时，有很多研究人员对大型数据集进行分析的例子，关于他们如何让数据以最快的速度进入系统以供系统处理的任何想法(我想他们不受磁盘/网络的约束，否则更快的 gpu真的不会让他们的性能大幅提升)？
这样的事情存在吗？
附言如果有帮助，到目前为止，我已经尝试过rabbitmq(对我的情况来说太慢了)，apollo mq(很好但仍然基于网络)，reddis(真的很喜欢它但不能超过物理内存)，玩mmap()，我'我还压缩了我的数据以获得更好的吞吐量。我知道一般的解决方案，但我想知道是否有 c/c++、cuda 或我可以使用的库(理想情况下，我会在 Cuda 全局内存中有一个队列，该队列交换到交换到的主机内存磁盘，因此 GPU 将始终全速运行，但这可能是一厢情愿)。如果您还有其他想法，请告诉我，我很乐意尝试(如果有帮助，我会在 Mac 上开发并在 linux 上运行)。
最佳答案
让我提出一些完全不同的建议。
对于有经验的程序员来说，构建自定义解决方案并不会太难，但对于没有经验甚至是中级程序员来说，可能不可能产生强大而可靠的东西。
您是否考虑过 DBMS？
对于小型数据集，它将全部缓存在内存中。随着它的发展，DBMS 将拥有一些非常复杂的缓存/分页技术。您可以免费获得排序/优先排序、同步/共享等好东西。
编写良好的自定义解决方案将比 DBMS 快得多，但在开发和维护自定义解决方案方面会产生巨大的成本。花点时间优化和调优 DBMS，它开始看起来非常快并且非常健壮。
它可能不符合您的需求，但我建议您在拒绝之前仔细研究一下 DBMS。
关于c++ - 是否有一个快速的内存队列我可以使用它在达到一定大小时交换项目？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/10568250/
作为我的Rails应用程序的一部分，我编写了一个小导入程序，它从我们的LDAP系统中吸取数据并将其塞入一个用户表中。不幸的是，与LDAP相关的代码在遍历我们的32K用户时泄漏了大量内存，我一直无法弄清楚如何解决这个问题。这个问题似乎在某种程度上与LDAP库有关，因为当我删除对LDAP内容的调用时，内存使用情况会很好地稳定下来。此外，不断增加的对象是Net::BER::BerIdentifiedString和Net::BER::BerIdentifiedArray，它们都是LDAP库的一部分。当我运行导入时，内存使用量最终达到超过1GB的峰值。如果问题存在，我需要找到一些方法来更正我的代
给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息？ 最佳答案 在Rails3中，update_all不返回任何有意义的信息，除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru
如何在buildr项目中使用Ruby？我在很多不同的项目中使用过Ruby、JRuby、Java和Clojure。我目前正在使用我的标准Ruby开发一个模拟应用程序，我想尝试使用Clojure后端(我确实喜欢功能代码)以及JRubygui和测试套件。我还可以看到在未来的不同项目中使用Scala作为后端。我想我要为我的项目尝试一下buildr(http://buildr.apache.org/)，但我注意到buildr似乎没有设置为在项目中使用JRuby代码本身!这看起来有点傻，因为该工具旨在统一通用的JVM语言并且是在ruby中构建的。除了将输出的jar包含在一个独特的、仅限ruby
使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta
我需要从一个View访问多个模型。以前，我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它，但这似乎不是“ruby方式”，我将需要在不久的将来访问更多模型。这可能会变得很脏，是否有针对这种情况的任何技术？注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展，本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向，这似乎很麻烦。最终从任何
我想要做的是有2个不同的Controller，client和test_client。客户端Controller已经构建，我想创建一个test_clientController，我可以使用它来玩弄客户端的UI并根据需要进行调整。我主要是想绕过我在客户端中内置的验证及其对加载数据的管理Controller的依赖。所以我希望test_clientController加载示例数据集，然后呈现客户端Controller的索引View，以便我可以调整客户端UI。就是这样。我在test_clients索引方法中试过这个:classTestClientdefindexrender:template=>
我的瘦服务器配置了nginx，我的ROR应用程序正在它们上运行。在我发布代码更新时运行thinrestart会给我的应用程序带来一些停机时间。我试图弄清楚如何优雅地重启正在运行的Thin实例，但找不到好的解决方案。有没有人能做到这一点？ 最佳答案 #Restartjustthethinserverdescribedbythatconfigsudothin-C/etc/thin/mysite.ymlrestartNginx将继续运行并代理请求。如果您将Nginx设置为使用多个上游服务器，例如server{listen80;server
这个问题在这里已经有了答案:Checktoseeifanarrayisalreadysorted?(8个答案)关闭9年前。我只是想知道是否有办法检查数组是否在增加？这是我的解决方案，但我正在寻找更漂亮的方法:n=-1@arr.flatten.each{|e|returnfalseife
我在我的Rails项目中使用Pow和powifygem。现在我尝试升级我的ruby版本(从1.9.3到2.0.0，我使用RVM)当我切换ruby版本、安装所有gem依赖项时，我通过运行railss并访问localhost:3000确保该应用程序正常运行以前，我通过使用pow访问http://my_app.dev来浏览我的应用程序。升级后，由于错误Bundler::RubyVersionMismatch:YourRubyversionis1.9.3,butyourGemfilespecified2.0.0，此url不起作用我尝试过的:重新创建pow应用程序重启pow服务器更新战俘
如果您尝试在Ruby中的nil对象上调用方法，则会出现NoMethodError异常并显示消息:"undefinedmethod‘...’fornil:NilClass"然而，有一个tryRails中的方法，如果它被发送到一个nil对象，它只返回nil:require'rubygems'require'active_support/all'nil.try(:nonexisting_method)#noNoMethodErrorexceptionanymore那么try如何在内部工作以防止该异常？ 最佳答案 像Ruby中的所有其他对象
