草庐IT

java - 内存映射文件的性能/稳定性 - Native 或 MappedByteBuffer - vs. plain ol' FileOutputStream

coder 2023-09-02 原文

我支持使用平面文件(纯文本)实现持久性的遗留 Java 应用程序。由于应用程序的性质,这些文件的大小每天可以达到 100 MB,而应用程序性能的限制因素通常是文件 IO。目前,该应用程序使用普通的 java.io.FileOutputStream 将数据写入磁盘。

最近,我们有几位开发人员断言,使用以 native 代码 (C/C++) 实现并通过 JNI 访问的内存映射文件将提供更高的性能。然而,FileOutputStream 已经为其核心方法(即 write(byte[]))使用了本地方法,因此在没有硬数据或至少没有轶事证据的情况下,它似乎是一个脆弱的假设。

我有几个问题:

  1. 这个说法是真的吗? 内存映射文件总是 提供比 Java 更快的 IO 文件输出流?

  2. 类 MappedByteBuffer 从 FileChannel 提供访问 与本地相同的功能 已访问内存映射文件库 通过 JNI?什么是 MappedByteBuffer 缺少它可能会导致您使用 JNI解决方案?

  3. 使用的风险是什么 生产中用于磁盘 IO 的内存映射文件 应用?也就是说,应用 具有连续正常运行时间 最少的重启(每月一次,最多)。 生产中的真实轶事 应用程序(Java 或其他) 首选。

问题 #3 很重要——我可以自己部分回答这个问题,方法是编写一个“玩具”应用程序,该应用程序使用上述各种选项对 IO 进行性能测试,但我希望通过发布到 SO以获取真实世界的轶事/数据。

[编辑] 说明 - 每天运行时,应用程序都会创建多个文件,大小从 100MB 到 1 gig。总的来说,应用程序每天可能会写出数 GB 的数据。

最佳答案

内存映射 I/O 不会使您的磁盘运行得更快(!)。对于线性访问,它似乎有点毫无意义。

NIO 映射缓冲区是真实存在的(通常对任何合理的实现提出警告)。

与其他 NIO 直接分配的缓冲区一样,这些缓冲区不是普通内存,不会像 GC 那样有效。如果你创建了很多它们,你可能会发现你用完了内存/地址空间而没有用完 Java 堆。对于长时间运行的进程,这显然是一个问题。

关于java - 内存映射文件的性能/稳定性 - Native 或 MappedByteBuffer - vs. plain ol' FileOutputStream,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/537295/

有关java - 内存映射文件的性能/稳定性 - Native 或 MappedByteBuffer - vs. plain ol' FileOutputStream的更多相关文章

  1. ruby-on-rails - Ruby net/ldap 模块中的内存泄漏 - 2

    作为我的Rails应用程序的一部分,我编写了一个小导入程序,它从我们的LDAP系统中吸取数据并将其塞入一个用户表中。不幸的是,与LDAP相关的代码在遍历我们的32K用户时泄漏了大量内存,我一直无法弄清楚如何解决这个问题。这个问题似乎在某种程度上与LDAP库有关,因为当我删除对LDAP内容的调用时,内存使用情况会很好地稳定下来。此外,不断增加的对象是Net::BER::BerIdentifiedString和Net::BER::BerIdentifiedArray,它们都是LDAP库的一部分。当我运行导入时,内存使用量最终达到超过1GB的峰值。如果问题存在,我需要找到一些方法来更正我的代

  2. ruby-on-rails - rails : "missing partial" when calling 'render' in RSpec test - 2

    我正在尝试测试是否存在表单。我是Rails新手。我的new.html.erb_spec.rb文件的内容是:require'spec_helper'describe"messages/new.html.erb"doit"shouldrendertheform"dorender'/messages/new.html.erb'reponse.shouldhave_form_putting_to(@message)with_submit_buttonendendView本身,new.html.erb,有代码:当我运行rspec时,它失败了:1)messages/new.html.erbshou

  3. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗?当我运行compasswatch时,它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行?文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们?我自己编译的.sass文件编译成compiled/t

  4. ruby-on-rails - Railstutorial : db:populate vs. 工厂女孩 - 2

    在railstutorial中,作者为什么选择使用这个(代码list10.25):http://ruby.railstutorial.org/chapters/updating-showing-and-deleting-usersnamespace:dbdodesc"Filldatabasewithsampledata"task:populate=>:environmentdoRake::Task['db:reset'].invokeUser.create!(:name=>"ExampleUser",:email=>"example@railstutorial.org",:passwo

  5. ruby-on-rails - Rails 3.2.1 中 ActionMailer 中的未定义方法 'default_content_type=' - 2

    我在我的项目中添加了一个系统来重置用户密码并通过电子邮件将密码发送给他,以防他忘记密码。昨天它运行良好(当我实现它时)。当我今天尝试启动服务器时,出现以下错误。=>BootingWEBrick=>Rails3.2.1applicationstartingindevelopmentonhttp://0.0.0.0:3000=>Callwith-dtodetach=>Ctrl-CtoshutdownserverExiting/Users/vinayshenoy/.rvm/gems/ruby-1.9.3-p0/gems/actionmailer-3.2.1/lib/action_mailer

  6. ruby - 在 jRuby 中使用 'fork' 生成进程的替代方案? - 2

    在MRIRuby中我可以这样做:deftransferinternal_server=self.init_serverpid=forkdointernal_server.runend#Maketheserverprocessrunindependently.Process.detach(pid)internal_client=self.init_client#Dootherstuffwithconnectingtointernal_server...internal_client.post('somedata')ensure#KillserverProcess.kill('KILL',

  7. ruby - 主要 :Object when running build from sublime 的未定义方法 `require_relative' - 2

    我已经从我的命令行中获得了一切,所以我可以运行rubymyfile并且它可以正常工作。但是当我尝试从sublime中运行它时,我得到了undefinedmethod`require_relative'formain:Object有人知道我的sublime设置中缺少什么吗?我正在使用OSX并安装了rvm。 最佳答案 或者,您可以只使用“require”,它应该可以正常工作。我认为“require_relative”仅适用于ruby​​1.9+ 关于ruby-主要:Objectwhenrun

  8. ruby - 无法让 RSpec 工作—— 'require' : cannot load such file - 2

    我花了三天的时间用头撞墙,试图弄清楚为什么简单的“rake”不能通过我的规范文件。如果您遇到这种情况:任何文件夹路径中都不要有空格!。严重地。事实上,从现在开始,您命名的任何内容都没有空格。这是我的控制台输出:(在/Users/*****/Desktop/LearningRuby/learn_ruby)$rake/Users/*******/Desktop/LearningRuby/learn_ruby/00_hello/hello_spec.rb:116:in`require':cannotloadsuchfile--hello(LoadError) 最佳

  9. ruby-on-rails - 新 Rails 项目 : 'bundle install' can't install rails in gemfile - 2

    我已经像这样安装了一个新的Rails项目:$railsnewsite它执行并到达:bundleinstall但是当它似乎尝试安装依赖项时我得到了这个错误Gem::Ext::BuildError:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcheckingforlibkern/OSAtomic.h...yescreatingMakefilemake"DESTDIR="cleanmake"DESTDIR="

  10. java - 等价于 Java 中的 Ruby Hash - 2

    我真的很习惯使用Ruby编写以下代码:my_hash={}my_hash['test']=1Java中对应的数据结构是什么? 最佳答案 HashMapmap=newHashMap();map.put("test",1);我假设? 关于java-等价于Java中的RubyHash,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/22737685/

随机推荐