我在 mysql 表中插入一些数据时遇到性能问题。 该表有一堆列,假设 DATE,A,B,C,D,E,F 其中 DATE,A,B,C,D,E 是主键。每天,我在该表中插入 70k 行(日期不同),而该表现在包含 1800 万行。我用来插入行的方法只是发送 70k INSERT 查询。
我遇到的问题是查询开始比以前花费更多的时间。从几分钟到几个小时。我分析了插入内容,这是我得到的图表:
每次插入的速度(以秒为单位)与当天的插入次数:
一些奇怪的事实:
知道是什么原因造成的吗?
** 编辑 ** 索引中的列按以下顺序排列:
DATE NOT NULL,
DATE NOT NULL,
VARCHAR (10) NOT NULL,
VARCHAR (45) NOT NULL,
VARCHAR (45) NOT NULL,
VARCHAR (3) NOT NULL,
VARCHAR (45) NOT NULL,
DOUBLE NOT NULL,
VARCHAR (10) NOT NULL,
VARCHAR (45) NOT NULL,
VARCHAR (45) NOT NULL,
VARCHAR (45) NOT NULL,
日期要么和今天一样,要么留空,双数总是相同的数字(不知道是谁设计了这个表)
最佳答案
简单的解释就是你有一个单日范围内非增量的索引。非增量索引通常插入/更新速度较慢,因为与增量索引相比,它们更经常需要重新平衡索引树,并且在更大程度上。
为了进一步解释这一点 - 假设以下架构:
a (int) | b (varchar)
索引是(a, b)
现在我们插入:
1, 'foo'
2, 'bar'
3, 'baz'
这将非常快,因为索引将附加到每个插入。现在让我们尝试以下操作:
100, 'foo'
100, 'bar'
100, 'baz'
这不会那么快,因为 'bar' 需要插入到 'foo' 之前,而 'baz' 需要插入到其他两个之间。这通常需要索引重写树来适应,而这“再平衡”行动需要一些时间。重新平衡中涉及的组件越大(在本例中为 a=100 的子集),花费的时间就越多。请注意,此重新平衡事件只会更频繁地和更广泛地发生,但不一定在每次插入时发生。这是因为树通常会在叶子中留出一些空间用于扩展。当叶子用完空间时,它知道是时候重新平衡了。
在您的情况下,由于您的索引主要基于当前日期,因此您不断地在一天的范围内重新平衡您的树。每一天都开始一个新的范围,因此在当天的范围内开始重新平衡。最初这只涉及一些重新平衡,但随着当天现有条目范围的增加,这会增加。当您开始新的一天时,循环会重新开始,这就是您所看到的结果。
这发生在主键上可能会使事情变得更糟,因为不是移动一些索引指针,而是可能需要移动整行数据以容纳新条目。 (最后一点假设 MyISAM 集群是在主键上执行的,这一点我今天还没有得到澄清,尽管轶事证据似乎确实支持这一点。例如,参见 here 和 here 。 )
关于MySql MyISAM 插入缓慢,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18857834/
我正在尝试创建一个带有项目符号字符的Ruby1.9.3字符串。str="•"+"helloworld"但是,当我输入它时,我收到有关非ASCII字符的语法错误。我该怎么做? 最佳答案 你可以把Unicode字符放在那里。str="\u2022"+"helloworld" 关于ruby-如何在Ruby字符串中插入项目符号字符?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/1195
我想知道是否可以通过自动创建数组来插入数组,如果数组不存在的话,就像在PHP中一样:$toto[]='titi';如果尚未定义$toto,它将创建数组并将“titi”压入。如果已经存在,它只会推送。在Ruby中我必须这样做:toto||=[]toto.push('titi')可以一行完成吗?因为如果我有一个循环,它会测试“||=”,除了第一次:Person.all.eachdo|person|toto||=[]#with1billionofperson,thislineisuseless999999999times...toto.push(person.name)你有更好的解决方案吗?
在我的用户模型中,我有一堆属性,例如is_foos_admin和is_bars_admin,它们决定允许用户编辑哪些类型的记录。我想干掉我的编辑链接,目前看起来像这样:'edit'ifcurrent_user.is_foos_admin?%>...'edit'ifcurrent_user.is_bars_admin?%>我想做一个帮助程序,让我传入一个foo或bar并返回一个链接来编辑它,就像这样:助手可能看起来像这样(这不起作用):defedit_link_for(thing)ifcurrent_user.is_things_admin?link_to'Edit',edit_poly
我有以下现有的Dog对象数组,它们按age属性排序:classDogattr_accessor:agedefinitialize(age)@age=ageendenddogs=[Dog.new(1),Dog.new(4),Dog.new(10)]我现在想插入一条新的狗记录,并将它放在数组中的正确位置。假设我想插入这个对象:another_dog=Dog.new(8)我想把它插入到数组中,让它成为数组中的第三项。这是一个人为的示例,旨在演示我特别想如何将一个项目插入到现有的有序数组中。我意识到我可以创建一个全新的数组并重新对所有对象进行排序,但这不是我的目标。谢谢!
在字符串连接中,是否可以直接在语句中包含条件?在下面的示例中,我希望仅当dear列表不为空时才连接"mydear"。dear=""string="hello"+"mydear"unlessdear.empty?+",goodmorning!"但是结果报错:undefinedmethod'+'fortrue我知道另一种方法是在这条语句之前定义一个额外的变量,但我想避免这种情况。 最佳答案 使用插值而不是连接更容易和更具可读性:dear=""string="hello#{'mydear'unlessdear.empty?},goodmo
我有一个Ruby数组[1,4]。我想在中间插入另一个数组[2,3],这样它就变成了[1,2,3,4]。我可以使用[1,4].insert(1,[2,3]).flatten实现这一点,但是有更好的方法吗? 最佳答案 您可以通过以下方式进行。[1,4].insert(1,*[2,3])insert()方法处理多个参数。因此,您可以使用splat运算符*将数组转换为参数。 关于ruby-如何在数组中间插入一个数组?,我们在StackOverflow上找到一个类似的问题:
这是字符串:04046955104021109我需要这样格式化:040469551-0402-1109用ruby做到这一点的最短/最有效的方法是什么? 最佳答案 两个简单的插入就可以了:example_string.insert(-9,'-').insert(-5,'-')负数表示您从字符串末尾开始计数。如果您愿意,也可以从头数起:example_string.insert(9,'-').insert(14,'-') 关于ruby-用ruby将2个破折号插入这个字符串的最短方法是
我有一个偏爱:如何将像o.office这样的值插入到属性中?value="#{o.office}"无效。 最佳答案 'type='text'/>或者你可以使用表单助手 关于ruby-on-rails-如何将变量值插入ERB模板中的HTML标签?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/6172174/
我将RoR与PostGIS结合使用来存储位置数据。我正在尝试使用圆(例如,带半径的中心点)来存储估计位置。我试过类似的东西,但它不起作用:@location=Location.new(:place_id=>place.id,:circle=>%{ST_Buffer(ST_MakePoint(#{latitude},#{longitude})::geography,#{accuracy})})我也尝试过使用RGeo,它是出厂设置,但不确定如何准确使用它。任何帮助将不胜感激。谢谢。编辑1:我取得了一些进步。factory=RGeo::Cartesian.factorycenter_poin
我的生产Rails应用程序需要167秒来运行rakedb:migrate。可悲的是,没有要运行的迁移。我试图在检查是否有待处理的迁移时调整运行的迁移,但随后检查花费了同样长的时间。我心目中唯一的“借口”是数据库并不小,那里有1M条记录,但我看不出这有什么关系。我查看了日志,但没有任何迹象表明出了什么问题。我在运行ruby2.2.0rails4.2.0有没有人知道为什么会这样,是否有什么办法可以解决? 最佳答案 运行rakedb:migrate任务还会调用db:schema:dump任务,这将更新您的db/schema.rb。因此,即