草庐IT

c++ - 实现一个类似于 Qt 的高性能互斥锁

coder 2023-06-04 原文

我有一个多线程科学应用程序,其中几个计算线程(每个内核一个)必须将它们的结果存储在一个公共(public)缓冲区中。这需要互斥机制。

工作线程只花费一小部分时间写入缓冲区,因此互斥锁大部分时间都处于解锁状态,并且锁定很有可能立即成功,而无需等待另一个线程解锁。

目前,我已经使用 Qt 的 QMutex 来完成这项任务,并且效果很好:互斥锁的开销可以忽略不计。

但是,我只需要将它移植到 c++11/STL。使用 std::mutex 时,性能下降 66%,线程大部分时间都在锁定互斥锁。

在另一个问题之后,我认为 Qt 使用基于简单原子标志的快速锁定机制,针对互斥锁尚未锁定的情况进行了优化。并在并发锁定发生时回退到系统互斥锁。

我想在 STL 中实现它。有没有一种基于 std::atomic 和 std::mutex 的简单方法?我已经深入研究了 Qt 的代码,但它对我的使用来说似乎过于复杂(我不需要锁超时、pimpl、占用空间小等...)。

编辑:我尝试了自旋锁,但效果不佳,因为:

定期(每隔几秒),另一个线程锁定互斥体并刷新缓冲区。这需要一些时间,因此此时所有工作线程都会被阻塞。自旋锁使调度变得忙碌,导致刷新比使用适当的互斥锁慢 10-100 倍。这是 Not Acceptable

编辑:我已经尝试过了,但它不起作用(锁定所有线程)

class Mutex
{
public:
    Mutex() : lockCounter(0) { }

    void lock()
    {
        if(lockCounter.fetch_add(1, std::memory_order_acquire)>0)
        {
            std::unique_lock<std::mutex> lock(internalMutex);
            cv.wait(lock);
        }
    }

    void unlock();
    {
        if(lockCounter.fetch_sub(1, std::memory_order_release)>1)
        {
            cv.notify_one();
        }
    }


private:
    std::atomic<int> lockCounter;
    std::mutex internalMutex;
    std::condition_variable cv;
};

谢谢!

编辑:最终解决方案

MikeMB 的快速互斥体运行良好。

作为最终解决方案,我做了:

  • 使用带有 try_lock 的简单自旋锁
  • 当一个线程尝试锁定失败时,它们不会等待,而是填充一个队列(不与其他线程共享)并继续
  • 当线程获得锁时,它会使用当前结果更新缓冲区,同时也会使用存储在队列中的结果(它会处理其队列)
  • 缓冲区刷新效率更高:阻塞部分仅交换两个指针。

最佳答案

一般建议

正如一些评论中提到的,我先看看你是否可以重组你的程序设计,使互斥锁实现对你的性能不那么重要。
此外,由于标准 c++ 中的多线程支持非常新且有些幼稚,因此您有时只需要依靠平台特定的机制,例如linux 系统上的 futex 或 windows 上的关键部分或 Qt 等非标准库。
话虽如此,我可以想到两种可能会加速您的程序的实现方法:

自旋锁
如果访问冲突很少发生,并且互斥锁只保留很短的时间(当然应该努力实现两件事),那么只使用自旋锁可能是最有效的,因为它不需要任何系统完全调用并且实现起来很简单(取自 cppreference):

class SpinLock {
    std::atomic_flag locked ;
public:
    void lock() {
        while (locked.test_and_set(std::memory_order_acquire)) { 
             std::this_thread::yield(); //<- this is not in the source but might improve performance. 
        }
    }
    void unlock() {
        locked.clear(std::memory_order_release);
    }
};

当然,缺点是等待线程不会保持休眠并占用处理时间。

检查锁定

这本质上是您展示的想法:您首先快速检查,是否确实需要基于原子交换操作的锁定,并且仅在不可避免时才使用繁重的 std::mutex

struct FastMux {
    //Status of the fast mutex
    std::atomic<bool> locked;
    //helper mutex and vc on which threads can wait in case of collision
    std::mutex mux;
    std::condition_variable cv;
    //the maximum number of threads that might be waiting on the cv (conservative estimation)
    std::atomic<int> cntr; 

    FastMux():locked(false), cntr(0){}

    void lock() {
        if (locked.exchange(true)) {
            cntr++;
            {
                std::unique_lock<std::mutex> ul(mux);
                cv.wait(ul, [&]{return !locked.exchange(true); });
            }
            cntr--;
        }
    }
    void unlock() {
        locked = false;
        if (cntr > 0){
            std::lock_guard<std::mutex> ul(mux);
            cv.notify_one();
        }
    }
};

注意 std::mutexlock()unlock() 之间没有被锁定,它只用于处理条件变量。如果互斥体上存在高度拥塞,这会导致更多的锁定/解锁调用。

您的实现的问题是,cv.notify_one(); 可能会在 if(lockCounter.fetch_add(1, std::memory_order_acquire)>0) 之间调用code> 和 cv.wait(lock); 所以你的线程可能永远不会被唤醒。

不过,我没有与您提议的实现的固定版本进行任何性能比较,因此您只需要查看最适合您的版本即可。

关于c++ - 实现一个类似于 Qt 的高性能互斥锁,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29193445/

有关c++ - 实现一个类似于 Qt 的高性能互斥锁的更多相关文章

  1. ruby - 使用 Vim Rails,您可以创建一个新的迁移文件并一次性打开它吗? - 2

    使用带有Rails插件的vim,您可以创建一个迁移文件,然后一次性打开该文件吗?textmate也可以这样吗? 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件,这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails,您可以创建一个新的迁移文件并一次性打开它吗?,我们在StackOverflow上找到一个类似的问题: https://sta

  2. ruby-on-rails - Rails - 一个 View 中的多个模型 - 2

    我需要从一个View访问多个模型。以前,我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它,但这似乎不是“ruby方式”,我将需要在不久的将来访问更多模型。这可能会变得很脏,是否有针对这种情况的任何技术?注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展,本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向,这似乎很麻烦。最终从任何

  3. ruby-on-rails - 渲染另一个 Controller 的 View - 2

    我想要做的是有2个不同的Controller,client和test_client。客户端Controller已经构建,我想创建一个test_clientController,我可以使用它来玩弄客户端的UI并根据需要进行调整。我主要是想绕过我在客户端中内置的验证及其对加载数据的管理Controller的依赖。所以我希望test_clientController加载示例数据集,然后呈现客户端Controller的索引View,以便我可以调整客户端UI。就是这样。我在test_clients索引方法中试过这个:classTestClientdefindexrender:template=>

  4. ruby-on-rails - 如何优雅地重启 thin + nginx? - 2

    我的瘦服务器配置了nginx,我的ROR应用程序正在它们上运行。在我发布代码更新时运行thinrestart会给我的应用程序带来一些停机时间。我试图弄清楚如何优雅地重启正在运行的Thin实例,但找不到好的解决方案。有没有人能做到这一点? 最佳答案 #Restartjustthethinserverdescribedbythatconfigsudothin-C/etc/thin/mysite.ymlrestartNginx将继续运行并代理请求。如果您将Nginx设置为使用多个上游服务器,例如server{listen80;server

  5. ruby-on-rails - 如果 Object::try 被发送到一个 nil 对象,为什么它会起作用? - 2

    如果您尝试在Ruby中的nil对象上调用方法,则会出现NoMethodError异常并显示消息:"undefinedmethod‘...’fornil:NilClass"然而,有一个tryRails中的方法,如果它被发送到一个nil对象,它只返回nil:require'rubygems'require'active_support/all'nil.try(:nonexisting_method)#noNoMethodErrorexceptionanymore那么try如何在内部工作以防止该异常? 最佳答案 像Ruby中的所有其他对象

  6. ruby - 为什么 SecureRandom.uuid 创建一个唯一的字符串? - 2

    关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗?通过editingthispost添加细节并澄清问题.关闭8年前。Improvethisquestion为什么SecureRandom.uuid创建一个唯一的字符串?SecureRandom.uuid#=>"35cb4e30-54e1-49f9-b5ce-4134799eb2c0"SecureRandom.uuid方法创建的字符串从不重复?

  7. ruby - 如何根据特征实现 FactoryGirl 的条件行为 - 2

    我有一个用户工厂。我希望默认情况下确认用户。但是鉴于unconfirmed特征,我不希望它们被确认。虽然我有一个基于实现细节而不是抽象的工作实现,但我想知道如何正确地做到这一点。factory:userdoafter(:create)do|user,evaluator|#unwantedimplementationdetailshereunlessFactoryGirl.factories[:user].defined_traits.map(&:name).include?(:unconfirmed)user.confirm!endendtrait:unconfirmeddoenden

  8. ruby-on-rails - Rails - 从另一个模型中创建一个模型的实例 - 2

    我有一个正在构建的应用程序,我需要一个模型来创建另一个模型的实例。我希望每辆车都有4个轮胎。汽车模型classCar轮胎模型classTire但是,在make_tires内部有一个错误,如果我为Tire尝试它,则没有用于创建或新建的activerecord方法。当我检查轮胎时,它没有这些方法。我该如何补救?错误是这样的:未定义的方法'create'forActiveRecord::AttributeMethods::Serialization::Tire::Module我测试了两个环境:测试和开发,它们都因相同的错误而失败。 最佳答案

  9. ruby - 用 Ruby 编写一个简单的网络服务器 - 2

    我想在Ruby中创建一个用于开发目的的极其简单的Web服务器(不,不想使用现成的解决方案)。代码如下:#!/usr/bin/rubyrequire'socket'server=TCPServer.new('127.0.0.1',8080)whileconnection=server.acceptheaders=[]length=0whileline=connection.getsheaders想法是从命令行运行这个脚本,提供另一个脚本,它将在其标准输入上获取请求,并在其标准输出上返回完整的响应。到目前为止一切顺利,但事实证明这真的很脆弱,因为它在第二个请求上中断并出现错误:/usr/b

  10. ruby - 一个 YAML 对象可以引用另一个吗? - 2

    我想让一个yaml对象引用另一个,如下所示:intro:"Hello,dearuser."registration:$introThanksforregistering!new_message:$introYouhaveanewmessage!上面的语法只是它如何工作的一个例子(这也是它在thiscpanmodule中的工作方式。)我正在使用标准的ruby​​yaml解析器。这可能吗? 最佳答案 一些yaml对象确实引用了其他对象:irb>require'yaml'#=>trueirb>str="hello"#=>"hello"ir

随机推荐