草庐IT

数据抓取

全部标签

ruby - 使用 Ruby 和 Minitest,如何运行具有不同数据的相同测试用例,仅由列表控制

我有对电话号码进行操作的Ruby2.0代码,我想使用MiniTest对其进行测试。我有一个函数,它接受一个电话号码参数并对其进行测试(包括断言)。每次调用该函数时,我都希望它成为一个新的测试用例。像这样:listOfPhoneNumbersForTesting.each{|phone|testphonephone}我不想要的是:classtest2125551212...重复10、20或100次以测试每个电话号码...显然,我可以将循环代码放在MiniTest::Unit::TestCase中,但无论我测试多少个电话号码,这都会导致只有一个测试用例,我不喜欢这样。(此外,如果其中一个断

ruby-on-rails - 将索引添加到数据模型 - Ruby on Rails 教程

我对在RubyonRailsTutorial.org中找到的这段代码有点困惑。它的add_index部分究竟做了什么?为什么这里有3行?classCreateRelationships 最佳答案 Adatabaseindexisadatastructurethatimprovesthespeedofoperationsinatable.Indexescanbecreatedusingoneormorecolumns,providingthebasisforbothrapidrandomlookupsandefficientorder

ruby - 如何用 Ruby 编写网络抓取工具?

我想抓取一个没有API的热门网站(例如Quora)并获取一些特定信息并将其转储到一个文件中-比如说csv、.txt或.html格式很好:)例如仅返回Quora用户的所有“简历”列表,这些用户在其公开信息中列出了职业“UX设计师”。我如何在Ruby中做到这一点?我对Ruby&Rails的工作原理有一定程度的了解。我刚刚完成了一个Rails应用程序——主要是我自己写的。但无论怎么想,我都不是大师。我了解正则表达式等 最佳答案 你最好的选择是使用Mechanize.它可以跟随链接、提交表格,以及您需要的任何东西,Web客户端。顺便说一句,

ruby-on-rails - 如何在不初始化 Rails 的情况下从 schema.rb 创建数据库?

我正在尝试从schema.rb创建我所有的表我使用了命令:“rakedb:schema:load”但是,这失败了,因为在我的一个初始化器中,它引用了一个显然不存在的模型/表(因为数据库是空的)我可以注释掉这些行,然后再次运行schema:load,但是有其他选择吗? 最佳答案 可能最快的方法是将有问题的初始化程序移动到应用程序外部的临时目录,然后运行您的模式加载。但是,如果这不起作用,或者由于某种原因不是一个选项,您总是可以通过创建一个简单的rails应用程序来执行模式加载来解决这个问题:创建一个新的Rails应用:railsnew

ruby-on-rails - 尝试更新数据库值时,rails update_attributes 返回 false

希望这里有人能给我指出正确的方向。我有一个ControllerUpdatedef运行“update_attributes”。目前它返回false,没有错误消息。我是Ruby的新手,但不是编码的新手,这让我困惑了好几天!我正在尝试使用下面指定的值更新用户模型和数据库。defupdate#getcurrentlyloggedinuser@user=current_user#updateuserparamsbasedoneditform...if@user.update_attributes(params[:user])redirect_toprofile_path,:notice=>"Su

ruby-on-rails - Heroku 上的 Rails 4.0.1,无法创建数据库

我无法让rakedb:migrate在Heroku上的Rails4.0.1应用程序上运行。我猜我没有正确配置postgres...但是阅读heroku上的文档并没有真正帮助,我不确定该怎么做。我不太了解heroku或postgres。任何帮助或资源将不胜感激。让我知道是否还有其他我可以发布的内容。(此外,如果重要的话,我正在使用设计)当我运行herokurunrakedb:migrate时,我得到了这个:Running`rakedb:migrate`attachedtoterminal...up,run.5077PG::UndefinedTable:ERROR:relation"use

ruby-on-rails - Rails 5 如何清除或删除生产 postgres 数据库

我正在尝试删除生产数据库,以便重新开始。当我从rails4升级到rails5时,它现在正在保护生产数据库不被意外删除。它在我运行rakedb:reset时显示以下错误消息。/app#rakedb:resetActiveRecord::SchemaMigrationLoad(1.8ms)SELECT"schema_migrations".*FROM"schema_migrations"(1.6ms)SELECT"ar_internal_metadata"."value"FROM"ar_internal_metadata"WHERE"ar_internal_metadata"."key"=

ruby - 如何禁用数据库 :schema:dump for migrations

我不希望Rails3在每次迁移时生成我的模式。如何正确禁用它?谢谢 最佳答案 对于仍在寻找在迁移后禁用数据库转储的方法的任何人,rails4中现在可以使用配置,可以像这样将其设置为false:config.active_record.dump_schema_after_migration=false会阻止它。此更改中已添加配置-https://github.com/rails/rails/pull/13948 关于ruby-如何禁用数据库:schema:dumpformigrations

ruby - Rails,如何迁移大量数据?

我有一个运行旧版本Spree(开源购物车)的Rails3应用程序。我正在将它更新到最新版本。这需要我在数据库上运行大量迁移以与最新版本兼容。但是,应用程序当前的数据库大约为300mb,要在我的本地计算机(macosx10.7、4gbram、2.4GHzCore2Duo)上运行迁移需要三天以上的时间才能完成。我能够使用AmazonEC2实例(高I/O按需实例,四倍超大)将这个时间减少到仅16小时。但是16小时仍然太长,因为我必须关闭网站才能执行此更新。有没有人有任何其他建议来降低这个时间?或提高迁移性能的任何提示?仅供引用:在Amazon实例上使用Ruby1.9.2和Ubuntu。

ruby-on-rails - 我的应用程序一直在创建数据库连接,我该如何追踪原因?

我有一个在Heroku上运行的RubyonRails应用程序。我不断在日志中收到这些消息:2015-05-05T16:11:14Zapp[postgres.27102]:[AQUA]connectionreceived:host=xx.xxx.xx.26port=602782015-05-05T16:11:14Zapp[postgres.27102]:[AQUA]connectionauthorized:user=postgresdatabase=somedb2015-05-05T16:11:14Zapp[postgres.27103]:[AQUA]connectionreceived