我正在从一个文件中获取数据，该文件通过 Sierra Chart 从 Interactive Brokers 5 秒 OHLCVT 柱接收数据。
按照早期帖子中的建议，我没有将每个新行附加到数据框，而是使用历史文件构建了一个数据框，并向其附加了 5000 个具有正确时间戳的“空白”记录。然后我将每个新行写在空白行上，如果时间戳丢失并更新指针则填充任何行。
这很好用。这是当前的 classes and functions .我的初始版本创建了 5000 行 NaN (OHLCVxyz)。我认为从结束数据类型开始会更整洁，因此将“空白”记录转换为零，其中 OHLC 是 float ，Vxyz 是整数，使用:
dg.iloc[0:5000] = 0.0
dg[[v, x, y, z]] = dg[[v, x, y, z]].astype('int')
每增加 5000 行，这种情况只会发生一次(HSI 每天一次)。令我惊讶的是对读/写循环的影响。他们从每行 0.8 毫秒增加到 3.4 毫秒。唯一的变化是从 NaN 变为零。
This picture显示了一个零填充帧的初始运行(参见时间统计 0.0038)，然后是一个 NaN 填充帧的运行(时间统计 0.0008)。
谁能提供一些见解，说明为什么写入 [0.0, 0.0, 0.0, 0.0, 0, 0, 0, 0] 而不是 [NaN, NaN, NaN, NaN, NaN, NaN, NaN, NaN] ?
也欢迎任何关于代码改进的想法。 :)
谢谢
编辑 +17 小时
根据@BrenBarn 的问题，我构建了一个更简单的模型，任何人都可以在没有数据的情况下运行该模型。通过这样做，我消除了 NaN 是否影响它的问题。在这个版本中，我能够将 0.0s 写入两个版本，并且区别是相同的:
因此，除非我弄错了(总是有可能)，否则似乎添加到具有 4 列 float 和 4 列整数的数据框需要 10 倍的时间。这是 Pandas 的问题还是人们应该期待的？
Here's the test code 和 here is the output picture
我认为在添加之前拥有一个包含 350,000 行 8 列的数组会产生显着差异。我添加到 10 行的初始测试没有显示任何影响 - 我必须回去重新测试它们。
编辑 +10 分钟
不，我回去创建了只有 10 行的初始数组，并且对添加循环的影响没有改变，所以它不是原始数组/数据帧的大小。很可能在我之前的测试中，我认为我已将列转换为整数，但我没有 - 检查这证明我认为会执行此操作的命令没有。
da = SierraFrame(range(10), np.zeros((10,8)))
da.extend_frame1()
编辑和可能的答案 +35 分钟
这个问题不应该更详细地回答吗。
此时，我的假设是将 [1.0, 2.0, 3.0, 4.0, 5, 6, 7, 8] 添加到数据框中的备用行的基础功能是不同的，如果df 包含所有一种类型，而不是它包含 float 和整数列。我刚刚用所有 int64 对其进行了测试，平均添加时间为 0.41 毫秒，所有 float 为 0.37 毫秒，混合数据帧为 2.8 毫秒。 Int8s 耗时 0.39 毫秒。我猜想这种混合会影响 pandas 优化其 Action 的能力因此，如果效率非常重要，那么所有列都是相同类型(可能是 float64)的数据框是最好的选择。
使用 Python 3.3.1 在 Linux x64 上进行的测试
最佳答案
如 this blog post by the main author of pandas 中所述, pandas DataFrame 内部由“ block ”组成。 block 是一组都具有相同数据类型的列。每个 block 都存储为其 block 类型的 numpy 数组。因此，如果您有五个 int 列，然后有五个 float 列，则会有一个 int block 和一个 float block 。
附加到多类型数组需要附加到每个底层 numpy 数组。附加到 numpy 数组很慢，因为它需要创建一个全新的 numpy 数组。所以附加到多类型 DataFrame 很慢是有道理的:如果所有列都是一种类型，它只需要创建一个新的 numpy 数组，但如果它们是不同的类型，它必须创建多个新的 numpy 数组。
的确，保持所有数据类型相同会加快速度。但是，我要说的主要结论不是“如果效率很重要，请保持所有列的类型相同”。结论是如果效率很重要，请不要尝试附加到您的数组/数据帧。
这就是 numpy 的工作原理。使用 numpy 数组最慢的部分是首先创建它们。它们有一个固定的大小，当你“附加”到一个时，你实际上只是在创建一个具有新大小的全新的，这很慢。如果你绝对必须追加到它们，你可以尝试像搞乱类型这样的东西来减轻痛苦。但最终您只需要接受这样一个事实，即任何时候您尝试附加到 DataFrame(或一般的 numpy 数组)时，您都可能会遭受重大的性能损失。
关于python - Pandas:为什么附加到 float 和整数的数据帧比充满 NaN 的数据帧要慢，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/17141828/
类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。
我有一个模型:classItem项目有一个属性“商店”基于存储的值，我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式？如果方法中没有大的if-else语句，这是如何干净利落地完成的？ 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.co
我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%
我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
为什么4.1%2返回0.0999999999999996？但是4.2%2==0.2。 最佳答案 参见此处:WhatEveryProgrammerShouldKnowAboutFloating-PointArithmetic实数是无限的。计算机使用的位数有限(今天是32位、64位)。因此计算机进行的浮点运算不能代表所有的实数。0.1是这些数字之一。请注意，这不是与Ruby相关的问题，而是与所有编程语言相关的问题，因为它来自计算机表示实数的方式。 关于ruby-为什么4.1%2使用Ruby返
它不等于主线程的binding，这个toplevel作用域是什么？此作用域与主线程中的binding有何不同？>ruby-e'putsTOPLEVEL_BINDING===binding'false 最佳答案 事实是，TOPLEVEL_BINDING始终引用Binding的预定义全局实例，而Kernel#binding创建的新实例>Binding每次封装当前执行上下文。在顶层，它们都包含相同的绑定(bind)，但它们不是同一个对象，您无法使用==或===测试它们的绑定(bind)相等性。putsTOPLEVEL_BINDINGput
我可以得到Infinity和NaNn=9.0/0#=>Infinityn.class#=>Floatm=0/0.0#=>NaNm.class#=>Float但是当我想直接访问Infinity或NaN时:Infinity#=>uninitializedconstantInfinity(NameError)NaN#=>uninitializedconstantNaN(NameError)什么是Infinity和NaN？它们是对象、关键字还是其他东西？ 最佳答案 您看到打印为Infinity和NaN的只是Float类的两个特殊实例的字符串
如果您尝试在Ruby中的nil对象上调用方法，则会出现NoMethodError异常并显示消息:"undefinedmethod‘...’fornil:NilClass"然而，有一个tryRails中的方法，如果它被发送到一个nil对象，它只返回nil:require'rubygems'require'active_support/all'nil.try(:nonexisting_method)#noNoMethodErrorexceptionanymore那么try如何在内部工作以防止该异常？ 最佳答案 像Ruby中的所有其他对象
关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗？通过editingthispost添加细节并澄清问题.关闭8年前。Improvethisquestion为什么SecureRandom.uuid创建一个唯一的字符串？SecureRandom.uuid#=>"35cb4e30-54e1-49f9-b5ce-4134799eb2c0"SecureRandom.uuid方法创建的字符串从不重复？