在我的程序中,rss为65G,调用fork时,sys_clone->dup_mm->copy_page_range会耗费2秒以上。在这种情况下,一个cpu在执行fork时会100% sys,同时一个线程在fork完成之前无法获得cpu时间。机器有16个CPU,其他CPU空闲。
所以我的问题是一个 cpu 正忙于 fork,为什么调度程序不将等待这个 cpu 的进程迁移到其他空闲 cpu?一般来说,调度程序何时以及如何在 cpus 之间迁移进程?
我搜索此站点,现有线程无法回答我的问题。
最佳答案
rss is 65G, when call fork, sys_clone->dup_mm->copy_page_range will consume more than 2 seconds
在执行fork(或clone)时,应将现有进程的vma 复制到新进程的vma 中。 dup_mm function (kernel/fork.c)创建新的 mm 并进行实际复制。没有直接调用 copy_page_range,但我认为,static function dup_mmap可以内联到 dup_mm 并且它调用了 copy_page_range。
在 dup_mmap 中,新的 mm 和旧的 oldmm 都有几把锁被锁上了:
356 down_write(&oldmm->mmap_sem);
在获取mmap_sem reader/writer semaphore 之后,有一个遍历所有 mmap 的循环来复制它们的元信息:
381 for (mpnt = oldmm->mmap; mpnt; mpnt = mpnt->vm_next)
只有在循环之后(在你的情况下它很长),mmap_sem 被解锁:
465 out:
468 up_write(&oldmm->mmap_sem);
虽然 rwlock mmap_sep 被 writer 关闭了,但没有任何其他读者或 writer 可以对 oldmm 中的 mmap 做任何事情。
one thread cannot get cpu time until fork finish So my question is one cpu was busy on fork, why the scheduler don't migrate the process waiting on this cpu to other idle cpu?
您确定其他线程已准备好运行并且不想对 mmap 执行任何操作,例如:
brk),Actually, the wait-cpu thread is my IO thread, which send/receive package from client, in my observation, the package always exist, but the IO thread cannot receive it.
你应该检查你的 wait-cpu 线程的堆栈(为此甚至有 SysRq),以及 I/O 的种类。 mmap 文件是 I/O 的变体,它将被 fork 在 mmap_sem 上阻塞。
您还可以检查 wait-cpu 线程的“最后使用的 CPU”,例如在 top 监视实用程序中,通过启用线程 View (H 键)并添加“最后使用的 CPU”列以输出(fj 在旧版本中; f 滚动到 P,输入较新的)。我认为您的 wait-cpu 线程可能已经在另一个 CPU 上,只是不允许(未准备好)运行。
如果您使用 fork 只是为了生成 exec,它可以用于:
vfork+exec(或者只是切换到 posix_spawn)。 vfork will suspend您的进程(但 may not suspend your other threads, it is dangerous),直到新进程将执行 exec 或 exit,但执行可能比等待 65 GB 的 mmap 被复制更快。关于linux - 在多核机器 Linux OS 中,当进程调度程序将一个进程迁移到另一个 cpu 时,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23259881/
使用带有Rails插件的vim,您可以创建一个迁移文件,然后一次性打开该文件吗?textmate也可以这样吗? 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件,这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails,您可以创建一个新的迁移文件并一次性打开它吗?,我们在StackOverflow上找到一个类似的问题: https://sta
我需要从一个View访问多个模型。以前,我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它,但这似乎不是“ruby方式”,我将需要在不久的将来访问更多模型。这可能会变得很脏,是否有针对这种情况的任何技术?注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展,本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向,这似乎很麻烦。最终从任何
我想要做的是有2个不同的Controller,client和test_client。客户端Controller已经构建,我想创建一个test_clientController,我可以使用它来玩弄客户端的UI并根据需要进行调整。我主要是想绕过我在客户端中内置的验证及其对加载数据的管理Controller的依赖。所以我希望test_clientController加载示例数据集,然后呈现客户端Controller的索引View,以便我可以调整客户端UI。就是这样。我在test_clients索引方法中试过这个:classTestClientdefindexrender:template=>
在MRIRuby中我可以这样做:deftransferinternal_server=self.init_serverpid=forkdointernal_server.runend#Maketheserverprocessrunindependently.Process.detach(pid)internal_client=self.init_client#Dootherstuffwithconnectingtointernal_server...internal_client.post('somedata')ensure#KillserverProcess.kill('KILL',
我正在编写一个gem,我必须在其中fork两个启动两个webrick服务器的进程。我想通过基类的类方法启动这个服务器,因为应该只有这两个服务器在运行,而不是多个。在运行时,我想调用这两个服务器上的一些方法来更改变量。我的问题是,我无法通过基类的类方法访问fork的实例变量。此外,我不能在我的基类中使用线程,因为在幕后我正在使用另一个不是线程安全的库。所以我必须将每个服务器派生到它自己的进程。我用类变量试过了,比如@@server。但是当我试图通过基类访问这个变量时,它是nil。我读到在Ruby中不可能在分支之间共享类变量,对吗?那么,还有其他解决办法吗?我考虑过使用单例,但我不确定这是
如果您尝试在Ruby中的nil对象上调用方法,则会出现NoMethodError异常并显示消息:"undefinedmethod‘...’fornil:NilClass"然而,有一个tryRails中的方法,如果它被发送到一个nil对象,它只返回nil:require'rubygems'require'active_support/all'nil.try(:nonexisting_method)#noNoMethodErrorexceptionanymore那么try如何在内部工作以防止该异常? 最佳答案 像Ruby中的所有其他对象
关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗?通过editingthispost添加细节并澄清问题.关闭8年前。Improvethisquestion为什么SecureRandom.uuid创建一个唯一的字符串?SecureRandom.uuid#=>"35cb4e30-54e1-49f9-b5ce-4134799eb2c0"SecureRandom.uuid方法创建的字符串从不重复?
我有一个正在构建的应用程序,我需要一个模型来创建另一个模型的实例。我希望每辆车都有4个轮胎。汽车模型classCar轮胎模型classTire但是,在make_tires内部有一个错误,如果我为Tire尝试它,则没有用于创建或新建的activerecord方法。当我检查轮胎时,它没有这些方法。我该如何补救?错误是这样的:未定义的方法'create'forActiveRecord::AttributeMethods::Serialization::Tire::Module我测试了两个环境:测试和开发,它们都因相同的错误而失败。 最佳答案
这似乎非常适得其反,因为太多的gem会在window上破裂。我一直在处理很多mysql和ruby-mysqlgem问题(gem本身发生段错误,一个名为UnixSocket的类显然在Windows机器上不能正常工作,等等)。我只是在浪费时间吗?我应该转向不同的脚本语言吗? 最佳答案 我在Windows上使用Ruby的经验很少,但是当我开始使用Ruby时,我是在Windows上,我的总体印象是它不是Windows原生系统。因此,在主要使用Windows多年之后,开始使用Ruby促使我切换回原来的系统Unix,这次是Linux。Rub
我想在Ruby中创建一个用于开发目的的极其简单的Web服务器(不,不想使用现成的解决方案)。代码如下:#!/usr/bin/rubyrequire'socket'server=TCPServer.new('127.0.0.1',8080)whileconnection=server.acceptheaders=[]length=0whileline=connection.getsheaders想法是从命令行运行这个脚本,提供另一个脚本,它将在其标准输入上获取请求,并在其标准输出上返回完整的响应。到目前为止一切顺利,但事实证明这真的很脆弱,因为它在第二个请求上中断并出现错误:/usr/b