我有以下场景:我有一些 CSV 文件要导入到 Rails 应用程序中，数据集的大小可能超过 100k 行，这意味着正在使用大量内存——我在服务器。
每个 CSV 代表一个表转储。
现在，我的问题是我需要将数据导入多个表中，通过外键维护关系。
到目前为止我所做的大致是这样的:
find_or_initialize 在可能的情况下通过属性，或执行类似 model.where({complicated conditions}) || 的操作model.create({复杂条件}) 保存创建的对象CSV id => DB id在复杂条件语句中可以放置一些保存在先前表中并缓存的id。
看看at the code here了解更多详情。
注意:我需要的更多是 upsert 而不仅仅是普通的 insert。
我已经尝试过的一些优化:
crewait gem => 比普通 AR 快，但比交易慢model.skip_callbacks(:create) => 加速或内存改进不明显user 模型 => 内存使用率高且速度较慢(？!)id 属性以使用更少的内存 => 在速度/内存方面没有太大差异我看过但不知道如何使用的其他东西:
crewait 背后的想法，但就我所尝试的而言，它并没有很好地工作activerecord-import : 导入速度更快，但我会丢失所有关系或 CSV 到 DB id 的映射upsert :我看过它，但我想将它用作最后的手段(恕我直言，这有点棘手)。我们非常欢迎任何关于如何改进的建议:谈论工具、库、策略等等。
更新这是我拥有的 CSV 的简化示例:
lings.csv
------------------------
| id | name | depth |
------------------------
| 0 | English | 0 |
------------------------
| 1 | French | 0 |
------------------------
| etc.. |
------------------------
属性.csv
-----------------------------------
| id | name | description |
-----------------------------------
| 0 | Subject_Verb | bla, bla... |
-----------------------------------
| 1 | Verb_Subject | bla, bla... |
-----------------------------------
| etc.. |
-----------------------------------
lings_properties.csv
--------------------------------------
| id | value | ling_id | property_id |
--------------------------------------
| 0 | Yes | 0 | 0 |
--------------------------------------
| 1 | No | 1 | 1 |
--------------------------------------
| etc.. |
--------------------------------------
查看上面的示例，当我导入 Lings 和 Properties 时，将为其分配不同的 ID，但我仍然希望 LingsProperties 与英语和法语思想相关联。 我无法在数据库中使用 CSV id - 它们是由另一个应用程序分配的，该应用程序具有与我导入它们的应用程序不同的架构。
我的 Rails 版本是 3.0.20。
我正在使用 Rails 3.2(或更高版本)，在那里我可以使用 first_or_create(或类似的)，但目前我仍然使用 Rails 3.0。
最佳答案
既然你要求建议，我会给出一个，但没有明示或暗示的保证。
我认为在同时构建 ID 映射的同时(就像您正在做的那样)一次性插入所有具有错误外键的记录可能会更快，而且肯定会占用更少的内存。请注意，您可以使用带列表参数的 create 将一批多条记录发送到服务器。这可能有减少锁定开销的优势。
然后使用 update_all 调用将好的(新的)外键替换为坏的(旧的)外键。像这样的东西:
PropertyOwnership.where(:ling_id => old_id).update_all('ling_id = ?', new_id)
有了这个，您就可以让 Active Record ORM 大部分脱离处理循环，这应该会有所帮助。唯一的内存开销应该是整数 -> 整数 id 映射。
为了防止旧 ID 与新 ID 冲突，只需将从 CSV 读取的外键字段增加一个大于表中当前最大 ID 加上其大小的数字。这应该使其不在插入期间创建的新 ID 的范围内。
这应该更快的原因是 update_all 调用将完全发生在服务器端的单个表中，而 find_or_initialize 正在执行选择，然后插入或保存时稍后更新，并且访问在表中按深度优先顺序发生。
关于mysql - Rails 批量插入多个表，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/23042685/
很好奇，就使用rubyonrails自动化单元测试而言，你们正在做什么？您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您？git中的预提交Hook？只是手动调用？我完全理解测试，但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的，并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您？ 最佳答案 不确定您到底想听什么，但是有几个级别的自动代码库控制:在处理某项功能时，您可以使用类似autotest的内容获得关于哪些有效，哪些无效的即时反馈。要确保您的提
这似乎应该有一个直截了当的答案，但在Google上花了很多时间，所以我找不到它。这可能是缺少正确关键字的情况。在我的RoR应用程序中，我有几个模型共享一种特定类型的字符串属性，该属性具有特殊验证和其他功能。我能想到的最接近的类似示例是表示URL的字符串。这会导致模型中出现大量重复(甚至单元测试中会出现更多重复)，但我不确定如何让它更DRY。我能想到几个可能的方向...按照“validates_url_format_of”插件，但这只会让验证干给这个特殊的字符串它自己的模型，但这看起来很像重溶液为这个特殊的字符串创建一个ruby类，但是我如何得到ActiveRecord关联这个类模型
我的目标是转换表单输入，例如“100兆字节”或“1GB”，并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前，我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效，但前提是输入是倍数(“gigabytes”，而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以，功能正常，
作为我的Rails应用程序的一部分，我编写了一个小导入程序，它从我们的LDAP系统中吸取数据并将其塞入一个用户表中。不幸的是，与LDAP相关的代码在遍历我们的32K用户时泄漏了大量内存，我一直无法弄清楚如何解决这个问题。这个问题似乎在某种程度上与LDAP库有关，因为当我删除对LDAP内容的调用时，内存使用情况会很好地稳定下来。此外，不断增加的对象是Net::BER::BerIdentifiedString和Net::BER::BerIdentifiedArray，它们都是LDAP库的一部分。当我运行导入时，内存使用量最终达到超过1GB的峰值。如果问题存在，我需要找到一些方法来更正我的代
在我的Rails(2.3，Ruby1.8.7)应用程序中，我需要将字符串截断到一定长度。该字符串是unicode，在控制台中运行测试时，例如'א'.length，我意识到返回了双倍长度。我想要一个与编码无关的长度，以便对unicode字符串或latin1编码字符串进行相同的截断。我已经了解了Ruby的大部分unicode资料，但仍然有些一头雾水。应该如何解决这个问题？ 最佳答案 Rails有一个返回多字节字符的mb_chars方法。试试unicode_string.mb_chars.slice(0,50)
如何正确创建Rails迁移，以便将表更改为MySQL中的MyISAM？目前是InnoDB。运行原始执行语句会更改表，但它不会更新db/schema.rb，因此当在测试环境中重新创建表时，它会返回到InnoDB并且我的全文搜索失败。我如何着手更改/添加迁移，以便将现有表修改为MyISAM并更新schema.rb，以便我的数据库和相应的测试数据库得到相应更新？ 最佳答案 我没有找到执行此操作的好方法。您可以像有人建议的那样更改您的schema.rb，然后运行:rakedb:schema:load，但是，这将覆盖您的数据。我的做法是(假设
我正在尝试测试是否存在表单。我是Rails新手。我的new.html.erb_spec.rb文件的内容是:require'spec_helper'describe"messages/new.html.erb"doit"shouldrendertheform"dorender'/messages/new.html.erb'reponse.shouldhave_form_putting_to(@message)with_submit_buttonendendView本身，new.html.erb，有代码:当我运行rspec时，它失败了:1)messages/new.html.erbshou
我在从html页面生成PDF时遇到问题。我正在使用PDFkit。在安装它的过程中，我注意到我需要wkhtmltopdf。所以我也安装了它。我做了PDFkit的文档所说的一切......现在我在尝试加载PDF时遇到了这个错误。这里是错误:commandfailed:"/usr/local/bin/wkhtmltopdf""--margin-right""0.75in""--page-size""Letter""--margin-top""0.75in""--margin-bottom""0.75in""--encoding""UTF-8""--margin-left""0.75in""-
Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情？ 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中，使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件，我们在StackOverflow上找到一个类似的问题
给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息？ 最佳答案 在Rails3中，update_all不返回任何有意义的信息，除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru