草庐IT

java - 多个线程可以看到 Java 中直接映射的 ByteBuffer 上的写入吗？

coder 2023-05-17 原文

我正在研究使用 ByteBuffers 的东西从内存映射文件(通过 FileChannel.map() )以及内存中的直接 ByteBuffers 构建。我正在尝试了解并发和内存模型约束。

我已经阅读了所有相关的 Javadoc(和源代码)，例如 FileChannel、ByteBuffer、MappedByteBuffer 等。很明显，特定的 ByteBuffer(和相关子类)有一堆字段，并且状态不 protected 内存模型的观点。因此，如果跨线程使用该缓冲区，则在修改特定 ByteBuffer 的状态时必须进行同步。常见的技巧包括使用 ThreadLocal 来包装 ByteBuffer、复制(同步时)以获取指向相同映射字节的新实例等。

鉴于这种情况:

  1. manager 有一个映射字节缓冲区 B_all 用于整个文件(比如说它是 <>
  2. manager 调用 B_all 上的 duplicate()、position()、limit() 和 slice() 来创建一个新的更小的 ByteBuffer B_1，该文件的一个 block 并将其提供给线程 T1
  3. manager 执行所有相同的操作来创建指向相同映射字节的 ByteBuffer B_2 并将其提供给线程 T2

我的问题是:T1 写 B_1 和 T2 写 B_2 可以同时保证看到对方的变化吗？ T3 是否可以使用 B_all 读取这些字节并保证看到 T1 和 T2 的变化？

我知道，映射文件中的写入不一定会在进程中看到，除非您使用 force() 来指示操作系统将页面写入磁盘。我不在乎那个。对于这个问题，假设这个 JVM 是写单个映射文件的唯一进程。

注意:我不是在寻找猜测(我自己可以很好地猜测)。我想引用一些关于内存映射直接缓冲区保证(或不保证)的明确内容。或者，如果您有实际经验或负面测试用例，也可以作为充分的证据。

更新:我已经做了一些测试，让多个线程并行写入同一个文件，到目前为止，这些写入似乎可以立即从其他线程中看到。我不确定我是否可以依赖它。

最佳答案

与 JVM 的内存映射只是 CreateFileMapping (Windows) 或 mmap (posix) 的一个薄包装器。因此，您可以直接访问操作系统的缓冲区缓存。这意味着这些缓冲区是操作系统认为文件包含的内容(操作系统最终将同步文件以反射(reflect)这一点)。

因此不需要调用 force() 来在进程之间进行同步。进程已经同步(通过操作系统——甚至读/写访问相同的页面)。强制仅在操作系统和驱动 Controller 之间进行同步(驱动 Controller 和物理盘片之间可能存在一些延迟，但您没有硬件支持来做任何事情)。

无论如何，内存映射文件是线程和/或进程之间公认的共享内存形式。这个共享内存和 Windows 中的命名虚拟内存块之间的唯一区别是最终同步到磁盘(实际上 mmap 通过映射/dev/null 来实现没有文件的虚拟内存)。

从多个进程/线程读取写入内存仍然需要一些同步，因为处理器能够进行乱序执行(不确定这与 JVM 有多少交互，但你不能做出假设)，但是写入来自一个线程的字节与正常写入堆中的任何字节具有相同的保证。写入后，每个线程和每个进程都会看到更新(甚至通过打开/读取操作)。

有关更多信息，请查看 posix 中的 mmap(或 Windows 的 CreateFileMapping，其构建方式几乎相同。

关于java - 多个线程可以看到 Java 中直接映射的 ByteBuffer 上的写入吗？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/7002510/

ByteBufferjavasection的concurrencymemory-mapped-filesfilechannel

有关java - 多个线程可以看到 Java 中直接映射的 ByteBuffer 上的写入吗？的更多相关文章

  1. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  2. ruby-on-rails - Rails 3 中的多个路由文件 - 2

    Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情？ 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中，使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件，我们在StackOverflow上找到一个类似的问题

  3. ruby-on-rails - 在 Ruby 中循环遍历多个数组 - 2

    我有多个ActiveRecord子类Item的实例数组，我需要根据最早的事件循环打印。在这种情况下，我需要打印付款和维护日期，如下所示:ItemAmaintenancerequiredin5daysItemBpaymentrequiredin6daysItemApaymentrequiredin7daysItemBmaintenancerequiredin8days我目前有两个查询，用于查找maintenance和payment项目(非排他性查询)，并输出如下内容:paymentrequiredin...maintenancerequiredin...有什么方法可以改善上述(丑陋的)代

  4. ruby - 使用 Vim Rails，您可以创建一个新的迁移文件并一次性打开它吗？ - 2

    使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta

  5. ruby-on-rails - Rails - 一个 View 中的多个模型 - 2

    我需要从一个View访问多个模型。以前，我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它，但这似乎不是“ruby方式”，我将需要在不久的将来访问更多模型。这可能会变得很脏，是否有针对这种情况的任何技术？注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展，本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向，这似乎很麻烦。最终从任何

  6. ruby - 我可以使用 Ruby 从 CSV 中删除列吗？ - 2

    查看Ruby的CSV库的文档，我非常确定这是可能且简单的。我只需要使用Ruby删除CSV文件的前三列，但我没有成功运行它。 最佳答案 csv_table=CSV.read(file_path_in,:headers=>true)csv_table.delete("header_name")csv_table.to_csv#=>ThenewCSVinstringformat检查CSV::Table文档:http://ruby-doc.org/stdlib-1.9.2/libdoc/csv/rdoc/CSV/Table.html

  7. Ruby 写入和读取对象到文件 - 2

    好的，所以我的目标是轻松地将一些数据保存到磁盘以备后用。您如何简单地写入然后读取一个对象？所以如果我有一个简单的类classCattr_accessor:a,:bdefinitialize(a,b)@a,@b=a,bendend所以如果我从中非常快地制作一个objobj=C.new("foo","bar")#justgaveitsomerandomvalues然后我可以把它变成一个kindaidstring=obj.to_s#whichreturns""我终于可以将此字符串打印到文件或其他内容中。我的问题是，我该如何再次将这个id变回一个对象？我知道我可以自己挑选信息并制作一个接受该信

  8. ruby - 多个属性的 update_column 方法 - 2

    我有一个具有一些属性的模型:attr1、attr2和attr3。我需要在不执行回调和验证的情况下更新此属性。我找到了update_column方法，但我想同时更新三个属性。我需要这样的东西:update_columns({attr1:val1,attr2:val2,attr3:val3})代替update_column(attr1,val1)update_column(attr2,val2)update_column(attr3,val3) 最佳答案 您可以使用update_columns(attr1:val1,attr2:val2

  9. ruby - 我可以使用 aws-sdk-ruby 在 AWS S3 上使用事务性文件删除/上传吗？ - 2

    我发现ActiveRecord::Base.transaction在复杂方法中非常有效。我想知道是否可以在如下事务中从AWSS3上传/删除文件:S3Object.transactiondo#writeintofiles#raiseanexceptionend引发异常后，每个操作都应在S3上回滚。S3Object这可能吗？？ 最佳答案 虽然S3API具有批量删除功能，但它不支持事务，因为每个删除操作都可以独立于其他操作成功/失败。该API不提供任何批量上传功能(通过PUT或POST)，因此每个上传操作都是通过一个独立的API调用完成的

  10. java - 等价于 Java 中的 Ruby Hash - 2

    我真的很习惯使用Ruby编写以下代码:my_hash={}my_hash['test']=1Java中对应的数据结构是什么？ 最佳答案 HashMapmap=newHashMap();map.put("test",1);我假设？ 关于java-等价于Java中的RubyHash，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/22737685/

随机推荐