在您将此问题标记为重复之前,请听我说完!!
我已经阅读了此处提出的有关如何提高性能的问题,例如仅举几例Improve INSERT-per-second performance of SQLite?和 What are the performance characteristics of sqlite with very large database files?
我正在努力让 sqlite 与 5 GB 的数据库文件一起工作。相反,有些人声称即使数据库大小高达 160 GB,sqlite 对他们也“非常好”。我自己没有尝试过,但从提出的问题来看,我猜想所有的基准测试可能只用数据库中的表完成。
我正在使用数据库
- 20张左右的 table
- 一半的表格有超过 15 列
- 这 15 个左右的列表中的每一个都有 6/7 个外键列
- 其中一些表在一个月内已经增长到拥有 2700 万条记录
我使用的开发机器是 3 GHz 四核机器,有 4 GB 内存,但仅查询这些大表中的 row_count 就需要 3 多分钟。
我找不到任何水平分区数据的方法。我最好的办法是将数据拆分到多个数据库文件中,每个表一个。但在那种情况下,据我所知,不能使用外键列约束,所以我将不得不创建一个自给自足的表(没有任何外键)。
所以我的问题是
a) 我是否为作业使用了错误的数据库?
b) 你认为我哪里出错了?
c) 我还没有在外键上添加索引,但如果仅行计数查询需要四分钟,外键索引如何帮助我?
编辑 提供更多信息,即使没有人要求 :) 我正在使用 SQLite 版本 3.7.9 和 system.data.sqlite.dll 版本 1.0.77.0
编辑2: 我认为我与 160 名演出人员的不同之处在于他们可能会选择单个唱片或一小部分唱片。但是我必须加载表中的所有 2700 万行,将它们与另一个表连接起来,按照用户的要求对记录进行分组并返回结果。 关于为此类结果优化数据库的最佳方式的任何输入。
我无法缓存先前查询的结果,因为它对我的情况没有意义。命中缓存的机会相当低。
最佳答案
这里有很多要考虑的因素,但我的第一条建议是不要只看别人的绩效统计数据。数据库性能取决于很多因素,包括数据库的结构、查询的复杂性、定义(或未定义)的索引,通常只是其中的数据量。许多报告的性能数据来自大量的试验和错误,和/或将数据库与手头的工作相匹配。换句话说,你将从任何 DBMS 获得的性能不能简单地与另一个应用程序的性能进行比较,除非你的数据集和结构几乎完全相同 - 它们当然是一个指南,也许是一个理想的争取,但您不一定会“开箱即用”地获得疯狂的性能。
作为起点,我会开始为那些非常大的表上的数据编制索引(从评论中看,您已经知道了),然后看看会发生什么。诚然,四分钟的计数是相当长的时间,但不要停在那里。添加一些索引,改变它们,询问您是否正在存储不需要存储的数据,并查看其他数据库查询,而不仅仅是计数查询,以判断性能。 寻找其他使用 SQLite 处理大量行的应用程序和博客文章,看看他们为解决这个问题做了什么(可能包括更改数据库)。基本上,尝试一些东西——然后做出判断。不要让最初的恐惧阻止你,认为你走错了路。也许你是,也许你不是,但不要只停留在 COUNT 查询上。无论如何分割,一个表中的 2700 万条记录都是一堆废话。
最后,一个具体的建议是:在 SQLite 中,不要将数据库拆分成多个文件——我认为这没有帮助,因为那样你将不得不做很多额外的查询工作,然后在多个查询返回结果后手动连接单独的表。这是重新发明 RDBMS 为您做的事情,这是一个疯狂的想法。您不会想出比 RDBMS 系统的创建者更快的连接方法 - 您肯定会在那里浪费时间。
关于SQLite:实际限制是什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/9668169/
类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc
给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息? 最佳答案 在Rails3中,update_all不返回任何有意义的信息,除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru
我有一个模型:classItem项目有一个属性“商店”基于存储的值,我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式?如果方法中没有大的if-else语句,这是如何干净利落地完成的? 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.co
我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%
我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
为什么4.1%2返回0.0999999999999996?但是4.2%2==0.2。 最佳答案 参见此处:WhatEveryProgrammerShouldKnowAboutFloating-PointArithmetic实数是无限的。计算机使用的位数有限(今天是32位、64位)。因此计算机进行的浮点运算不能代表所有的实数。0.1是这些数字之一。请注意,这不是与Ruby相关的问题,而是与所有编程语言相关的问题,因为它来自计算机表示实数的方式。 关于ruby-为什么4.1%2使用Ruby返
它不等于主线程的binding,这个toplevel作用域是什么?此作用域与主线程中的binding有何不同?>ruby-e'putsTOPLEVEL_BINDING===binding'false 最佳答案 事实是,TOPLEVEL_BINDING始终引用Binding的预定义全局实例,而Kernel#binding创建的新实例>Binding每次封装当前执行上下文。在顶层,它们都包含相同的绑定(bind),但它们不是同一个对象,您无法使用==或===测试它们的绑定(bind)相等性。putsTOPLEVEL_BINDINGput
我可以得到Infinity和NaNn=9.0/0#=>Infinityn.class#=>Floatm=0/0.0#=>NaNm.class#=>Float但是当我想直接访问Infinity或NaN时:Infinity#=>uninitializedconstantInfinity(NameError)NaN#=>uninitializedconstantNaN(NameError)什么是Infinity和NaN?它们是对象、关键字还是其他东西? 最佳答案 您看到打印为Infinity和NaN的只是Float类的两个特殊实例的字符串
如果您尝试在Ruby中的nil对象上调用方法,则会出现NoMethodError异常并显示消息:"undefinedmethod‘...’fornil:NilClass"然而,有一个tryRails中的方法,如果它被发送到一个nil对象,它只返回nil:require'rubygems'require'active_support/all'nil.try(:nonexisting_method)#noNoMethodErrorexceptionanymore那么try如何在内部工作以防止该异常? 最佳答案 像Ruby中的所有其他对象
关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗?通过editingthispost添加细节并澄清问题.关闭8年前。Improvethisquestion为什么SecureRandom.uuid创建一个唯一的字符串?SecureRandom.uuid#=>"35cb4e30-54e1-49f9-b5ce-4134799eb2c0"SecureRandom.uuid方法创建的字符串从不重复?