草庐IT

c++ - 为什么缓存读取未命中比写入未命中快？

coder 2023-11-16 原文

我需要使用另一个数组 (readArray) 计算一个数组 (writeArray)，但问题是数组之间的索引映射不相同(writeArray 索引 x 处的值必须用 readArray 索引 y 处的值计算)所以它对缓存不是很友好。

但是我可以选择循环是按顺序浏览 readArray 还是按顺序浏览 writeArray。

所以这是一个简化的代码:

int *readArray = new int[ARRAY_SIZE];       // Array to read
int *writeArray = new int[ARRAY_SIZE];      // Array to write
int *refArray = new int[ARRAY_SIZE];        // Index mapping between read and write, could be also array of pointers instead indexes

// Code not showed here : Initialization of readArray with values, writeArray with zeroes and refArray with random indexes for mapping between readArray and writeArray (values of indexes between 0 and ARRAY_SIZE - 1)

// Version 1: Random read (browse writeArray/refArray sequentially)
for (int n = 0; n < ARRAY_SIZE; ++n) {
    writeArray[n] = readArray[refArray[n]];
}

// Version 2: Random write (browse readArray/refArray sequentially)
for (int n = 0; n < ARRAY_SIZE; ++n) {
    writeArray[refArray[n]] = readArray[n];
}

我认为缓存读取未命中比写入未命中更慢(因为如果下一条指令取决于读取数据，CPU 需要在读取完成之前等待，但对于写入，它不需要等待处理下一条指令)但是通过分析，版本 1 似乎比版本 2 快(版本 2 比版本 1 慢大约 50%)。

我也试过这个:

// Version 3: Same as version 2 but without polluting cache
for (int n = 0; n < ARRAY_SIZE; ++n) {
    _mm_stream_si32(&writeArray[refArray[n]], readArray[n]);
}

因为我不需要读取 writeArray 的值，所以没有理由用写入的值污染缓存，但这个版本比其他版本慢得多(比版本 1 慢 6700%)。

为什么写未命中比读未命中慢？ 为什么绕过缓存进行写入比使用它更慢，即使我们之后不读取这些写入数据？

最佳答案

让我们从上一个版本开始 - 您所做的是将流存储用于非顺序(不是流)访问模式。您正在随机访问整数，这意味着您正在将部分写入(int 大小)写入完整的缓存行。在正常的写入中，这无关紧要，因为核心将行拉入缓存，并简单地修改必要的 block (稍后当您需要其他存储空间时将其写回)，但是由于您要求它避免缓存，你实际上必须在内存中进行这个部分合并，这是非常昂贵和阻塞的。 流式存储仅在您保证修改整行时才有用(例如，按顺序遍历数组)。

至于第二个版本——你的假设是正确的，如果在加载过程中存在数据依赖性，你将不得不等待它们，但这里没有真正的依赖链。您只有一组具有 2 级依赖性的负载，但它们之间没有相互依赖性导致跨迭代的任何序列化(即迭代 n==2 和 n==3 甚至可能在 n==1 完成第一个负载之前开始). 实际上，假设您的 CPU 可以维持 N 次未完成的访问(取决于所涉及的大小和缓存级别)，您将并行启动对 refArray 的前 N ​​次引用(假设索引计算速度很快)，然后通过对 readArray 的前 N ​​个引用，然后是下一批，依此类推。

现在，由于没有数据依赖性，它变成了带宽问题。在这种情况下，一般来说，由于处理器的无序性质，加载对于处理器来说要容易得多 - 一旦知道地址(这仅取决于快速索引计算)，您就可以并行且无序地启动它们.另一方面，需要按程序顺序观察存储(以保持内存一致性)，这几乎将它们序列化(那里有一些可能的 CPU 技巧，具体取决于您的确切微体系结构，但它不会改变大图片)。

编辑:版本 2 中添加的另一个约束(我认为这更重要)是内存消歧。处理器必须计算加载和存储地址，以便知道是否存在任何冲突(我们知道没有，但处理器不知道......)。如果负载依赖于存储，则必须将其阻塞，以防必须转发新数据。 现在，由于加载是在 OOO 机器中提前启动的，因此尽早了解所有商店的地址以避免冲突(或更糟 - 失败并导致大量刷新的推测)变得至关重要

关于c++ - 为什么缓存读取未命中比写入未命中快？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/29012708/

中比ampwriteArrayreadArrayc++performancecachingcpu-cache

有关c++ - 为什么缓存读取未命中比写入未命中快？的更多相关文章

  1. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  2. ruby-on-rails - Rails - 子类化模型的设计模式是什么？ - 2

    我有一个模型:classItem项目有一个属性“商店”基于存储的值，我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式？如果方法中没有大的if-else语句，这是如何干净利落地完成的？ 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.co

  3. ruby - 如何将脚本文件的末尾读取为数据文件(Perl 或任何其他语言) - 2

    我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚

  4. ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby​​ 中生成它们？ - 2

    我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%

  5. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  6. ruby - 为什么 4.1%2 使用 Ruby 返回 0.0999999999999996？但是 4.2%2==0.2 - 2

    为什么4.1%2返回0.0999999999999996？但是4.2%2==0.2。 最佳答案 参见此处:WhatEveryProgrammerShouldKnowAboutFloating-PointArithmetic实数是无限的。计算机使用的位数有限(今天是32位、64位)。因此计算机进行的浮点运算不能代表所有的实数。0.1是这些数字之一。请注意，这不是与Ruby相关的问题，而是与所有编程语言相关的问题，因为它来自计算机表示实数的方式。 关于ruby-为什么4.1%2使用Ruby返

  7. ruby-on-rails - 如何优雅地重启 thin + nginx？ - 2

    我的瘦服务器配置了nginx，我的ROR应用程序正在它们上运行。在我发布代码更新时运行thinrestart会给我的应用程序带来一些停机时间。我试图弄清楚如何优雅地重启正在运行的Thin实例，但找不到好的解决方案。有没有人能做到这一点？ 最佳答案 #Restartjustthethinserverdescribedbythatconfigsudothin-C/etc/thin/mysite.ymlrestartNginx将继续运行并代理请求。如果您将Nginx设置为使用多个上游服务器，例如server{listen80;server

  8. Ruby 写入和读取对象到文件 - 2

    好的，所以我的目标是轻松地将一些数据保存到磁盘以备后用。您如何简单地写入然后读取一个对象？所以如果我有一个简单的类classCattr_accessor:a,:bdefinitialize(a,b)@a,@b=a,bendend所以如果我从中非常快地制作一个objobj=C.new("foo","bar")#justgaveitsomerandomvalues然后我可以把它变成一个kindaidstring=obj.to_s#whichreturns""我终于可以将此字符串打印到文件或其他内容中。我的问题是，我该如何再次将这个id变回一个对象？我知道我可以自己挑选信息并制作一个接受该信

  9. ruby - ruby 中的 TOPLEVEL_BINDING 是什么？ - 2

    它不等于主线程的binding，这个toplevel作用域是什么？此作用域与主线程中的binding有何不同？>ruby-e'putsTOPLEVEL_BINDING===binding'false 最佳答案 事实是，TOPLEVEL_BINDING始终引用Binding的预定义全局实例，而Kernel#binding创建的新实例>Binding每次封装当前执行上下文。在顶层，它们都包含相同的绑定(bind)，但它们不是同一个对象，您无法使用==或===测试它们的绑定(bind)相等性。putsTOPLEVEL_BINDINGput

  10. ruby - Infinity 和 NaN 的类型是什么？ - 2

    我可以得到Infinity和NaNn=9.0/0#=>Infinityn.class#=>Floatm=0/0.0#=>NaNm.class#=>Float但是当我想直接访问Infinity或NaN时:Infinity#=>uninitializedconstantInfinity(NameError)NaN#=>uninitializedconstantNaN(NameError)什么是Infinity和NaN？它们是对象、关键字还是其他东西？ 最佳答案 您看到打印为Infinity和NaN的只是Float类的两个特殊实例的字符串

随机推荐