草庐IT

java - SSD 上的键/值存储速度极慢

coder 2024-04-01 原文

我确定的是:

  • 我在 Linux 上使用 Java/Eclipse，并尝试在磁盘上分别存储大量 16/32 字节的键/值对。 key 是完全随机的，由 SecureRandom 生成。
  • 速度恒定在约 50000 次插入/秒，直到达到约 100 万个条目。
  • 一旦达到此限制，java 进程每 1-2 秒振荡一次，从 0% CPU 到 100%，从 150MB 内存到 400MB，从 10 插入/秒到 100。
  • 我尝试使用 Berkeley DB 和 Kyoto Cabinet 以及 Btrees 和 Hashtables。结果相同。

可能有什么贡献:

  • 它在 SSD 上写入。
  • 对于每个插入，平均有 1.5 次读取 - 不断交替读取和写入。

我怀疑在达到某些缓存/缓冲区限制之前，不错的 50000 速率已经达到。那么速度变慢可能是由于 SSD 没有处理混合在一起的读/写，正如在这个问题上所建议的:Low-latency Key-Value Store for SSD .

问题是:
这种极度减速可能从何而来？这不可能全是 SSD 的错。许多人愉快地使用 SSD 进行高速数据库处理，我敢肯定他们经常混合读取和写入。

谢谢。

编辑:我已确保移除任何内存限制，并且 java 进程始终有空间分配更多内存。
编辑: 删除读数并仅进行插入不会改变问题。

上次编辑: 作为记录，对于哈希表，它似乎与初始数字桶有关。在 Kyoto 机柜上，该数字无法更改，默认为约 100 万，因此最好在创建时正确设置数字(要存储的最大记录数的 1 到 4 倍)。对于BDB，它被设计为逐步增加桶的数量，但由于它是资源消耗，最好提前预定义数量。

最佳答案

您的问题可能与您正在使用的数据库的强持久性保证有关。

基本上，对于任何符合 ACID 的数据库，每次数据库提交至少需要调用一次 fsync()。这必须发生以保证持久性(否则，更新可能会在系统故障的情况下丢失)，同时也是为了保证磁盘上数据库的内部一致性。在 fsync() 调用完成之前，数据库 API 不会从插入操作返回。

fsync() 在许多操作系统和磁盘硬件上，甚至在 SSD 上，都是非常的重量级操作。 (电池或电容器支持的企业级 SSD 是一个异常(exception)——它们基本上可以将缓存刷新操作视为空操作，以避免您可能遇到的延迟。)

一个解决方案是在一次大交易中处理您的所有商店。我不知道 Berkeley DB，但对于 sqlite，性能可以大大提高。

要弄清楚这是否是您的问题，您可以尝试使用 strace 观察您的数据库写入过程并寻找频繁的 fsync() 调用(每秒多次调用是一个非常强烈的提示)。

更新: 如果您绝对确定您不需要需要耐用性，您可以尝试来自 Optimizing Put Performance in Berkeley DB 的答案。 ;如果这样做，您应该研究 Berkeley DB 的 TDS(事务数据存储)功能。

关于java - SSD 上的键/值存储速度极慢，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/13023379/

javaSSDstrongsectionstackoverflowdatabasekey-valuekey-value-storesolid-state-drive

有关java - SSD 上的键/值存储速度极慢的更多相关文章

  1. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  2. java - 等价于 Java 中的 Ruby Hash - 2

    我真的很习惯使用Ruby编写以下代码:my_hash={}my_hash['test']=1Java中对应的数据结构是什么？ 最佳答案 HashMapmap=newHashMap();map.put("test",1);我假设？ 关于java-等价于Java中的RubyHash，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/22737685/

  3. ruby-on-rails - date_field_tag，如何设置默认日期？ [ rails 上的 ruby ] - 2

    我想设置一个默认日期，例如实际日期，我该如何设置？还有如何在组合框中设置默认值顺便问一下，date_field_tag和date_field之间有什么区别？ 最佳答案 试试这个:将默认日期作为第二个参数传递。youcorrectlysetthedefaultvalueofcomboboxasshowninyourquestion. 关于ruby-on-rails-date_field_tag，如何设置默认日期？[rails上的ruby]，我们在StackOverflow上找到一个类似的问

  4. ruby-on-rails - openshift 上的 rails 控制台 - 2

    我将我的Rails应用程序部署到OpenShift，它运行良好，但我无法在生产服务器上运行“Rails控制台”。它给了我这个错误。我该如何解决这个问题？我尝试更新ruby​​gems，但它也给出了权限被拒绝的错误，我也无法做到。railsc错误:Warning:You'reusingRubygems1.8.24withSpring.UpgradetoatleastRubygems2.1.0andrun`gempristine--all`forbetterstartupperformance./opt/rh/ruby193/root/usr/share/rubygems/rubygems

  5. ruby - 检查字符串是否包含散列中的任何键并返回它包含的键的值 - 2

    我有一个包含多个键的散列和一个字符串，该字符串不包含散列中的任何键或包含一个键。h={"k1"=>"v1","k2"=>"v2","k3"=>"v3"}s="thisisanexamplestringthatmightoccurwithakeysomewhereinthestringk1(withspecialcharacterslike(^&*$#@!^&&*))"检查s是否包含h中的任何键的最佳方法是什么，如果包含，则返回它包含的键的值？例如，对于上面的h和s的例子，输出应该是v1。编辑:只有字符串是用户定义的。哈希将始终相同。 最佳答案

  6. ruby-on-rails - 相关表上的范围为 "WHERE ... LIKE" - 2

    我正在尝试从Postgresql表(table1)中获取数据，该表由另一个相关表(property)的字段(table2)过滤。在纯SQL中，我会这样编写查询:SELECT*FROMtable1JOINtable2USING(table2_id)WHEREtable2.propertyLIKE'query%'这工作正常:scope:my_scope,->(query){includes(:table2).where("table2.property":query)}但我真正需要的是使用LIKE运算符进行过滤，而不是严格相等。然而，这是行不通的:scope:my_scope,->(que

  7. java - 从 JRuby 调用 Java 类的问题 - 2

    我正在尝试使用boilerpipe来自JRuby。我看过guide从JRuby调用Java，并成功地将它与另一个Java包一起使用，但无法弄清楚为什么同样的东西不能用于boilerpipe。我正在尝试基本上从JRuby中执行与此Java等效的操作:URLurl=newURL("http://www.example.com/some-location/index.html");Stringtext=ArticleExtractor.INSTANCE.getText(url);在JRuby中试过这个:require'java'url=java.net.URL.new("http://www

  8. ruby - 在哈希的键数组中追加元素 - 2

    查看我的Ruby代码:h=Hash.new([])h[0]=:word1h[1]=h[1]输出是:Hash={0=>:word1,1=>[:word2,:word3],2=>[:word2,:word3]}我希望有Hash={0=>:word1,1=>[:word2],2=>[:word3]}为什么要附加第二个哈希元素(数组)？如何将新数组元素附加到第三个哈希元素？ 最佳答案 如果您提供单个值作为Hash.new的参数(例如Hash.new([])，完全相同的对象将用作每个缺失键的默认值。这就是您所拥有的，那是你不想要的。您可以改用

  9. java - 我的模型类或其他类中应该有逻辑吗 - 2

    我只想对我一直在思考的这个问题有其他意见，例如我有classuser_controller和classuserclassUserattr_accessor:name,:usernameendclassUserController//dosomethingaboutanythingaboutusersend问题是我的User类中是否应该有逻辑user=User.newuser.do_something(user1)oritshouldbeuser_controller=UserController.newuser_controller.do_something(user1,user2)我

  10. java - 什么相当于 ruby​​ 的 rack 或 python 的 Java wsgi？ - 2

    什么是ruby​​的rack或python的Java的wsgi？还有一个路由库。 最佳答案 来自Python标准PEP333:Bycontrast,althoughJavahasjustasmanywebapplicationframeworksavailable,Java's"servlet"APImakesitpossibleforapplicationswrittenwithanyJavawebapplicationframeworktoruninanywebserverthatsupportstheservletAPI.ht

随机推荐