草庐IT

python - urllib2 - 发布请求

全部标签

Python爬虫403错误的解决方案

前言程序使用一段时间后会遇到HTTPError403:Forbidden错误。因为在短时间内直接使用Get获取大量数据,会被服务器认为在对它进行攻击,所以拒绝我们的请求,自动把电脑IP封了。解决这个问题有两种方法。一是将请求加以包装,变成浏览器请求模式,而不再是“赤裸裸”的请求。但有时服务器是根据同一IP的请求频率来判断的,即使伪装成不同浏览器。由于是同一IP访问,还是会被封。所以就有了第二种方法,就是降低请求频率。具体说来也有两种方法。一种是在每次请求时暂停短暂时间,从而降低请求频率。第二种是使用不同的IP进行访问。显然第一种方法不是最佳选择。因为我们并不希望下载太慢,尤其是在请求次数很多时

ruby - 使用适用于 Ruby 的 AWS 开发工具包发布到 SNS 主题时指定区域

我正在使用适用于Ruby的AWS开发工具包向Rails3应用程序发布消息和AWSSNS主题,如下所示:sns=AWS::SNS.newtopic=sns.topics['arn:aws:sns:eu-west-1:55555555555:my_topic']topic.publish("MESSAGE",:subject=>"SUBJECT")当我发布到“us-east-1”中的主题时,它按预期工作,但发布到“eu-west-1”区域中的主题时不起作用:AWS::SNS::Errors::InvalidParameter-Invalidparameter:TopicArn:使用AWSS

ruby - 获取/发布错误响应的 rspec 测试

我正在尝试测试httpGET错误响应消息,但似乎找不到任何信息或示例预期的错误响应是:{"success":false,"code":400,"message":"ERROR:Thisisthespecificerrormessage"}这会捕获“错误请求”,但如何验证错误响应正文中的“消息”?expect{get""}.toraise_error(/400BadRequest/)提前感谢您的任何见解! 最佳答案 此外:it'returns400status'doget'/my_bad_url'expect(response.sta

ruby-on-rails - 有没有一种简单的方法可以在 Passenger 的请求周期之外运行垃圾收集?

unicorn有OobGC可用于在一定数量的请求后运行GC.start的机架中间件。PhusionPassenger中有类似的东西吗? 最佳答案 PhusionPassenger4正式引入了带外垃圾回收机制。它比Unicorn更灵活,允许任意工作,而不仅仅是垃圾收集。http://blog.phusion.nl/2013/01/22/phusion-passenger-4-technology-preview-out-of-band-work/ 关于ruby-on-rails-有没有一种

ruby - stub http 请求以返回带有 Net::HTTPResponse 的 HTTPartyResponse

我正在尝试编写一个rspec规范来测试我的逻辑是否能够处理状态代码为401的特定Net::HTTPResponse。当我使用HTTParty时,.get将返回一个HTTPartyResponse并且我'我们将使用httparty_repsonse_object.response检索Net::HTTPResponse。net_response_object=Net::HTTPResponse.new(1.1,401,'Forbidden')#notsurewhattodohere?writeatestdoubletoreturnanet_response_object?stub_requ

ruby-on-rails - 无法分配请求的地址 - bind(2) (Errno::EADDRNOTAVAIL)

我在centos6.3服务器上使用railforteambox,实际上这只是在实际应用之前的试错。我正在使用2个运行在相同centos版本和精确副本上的虚拟机,VM2只运行远离VM1的mysql我试过mysql连接#nc并且它已连接VM1(192.168.7.201)&VM2(192.168.7.202运行MYSQL)我在my.cnf中的远程机器(VM2)上有bind-address,bind-address=192.168.7.202这是我的database.ymldevelopment:adapter:mysqlhost:192.168.7.202port:3306username

ruby-on-rails - Rails 3 的发布日期

有人知道Rails3什么时候发布吗?试图在网上查找信息-但没有找到有用的信息... 最佳答案 我应该想象它会在准备就绪时发布。据我所知,还没有宣布发布日期。关注RidingRails博客。Ryan'sScraps用于跟踪EdgeRails很方便。 关于ruby-on-rails-Rails3的发布日期,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/1341614/

ruby - 通过 cURL POST 请求向 Sinatra 发送 JSON

我使用Sinatra创建了一个简单的API,它根据提交的JSON数据发送电子邮件。我可以创建一个表单,通过表单提交JSON数据,然后访问参数以获取电子邮件的收件人、主题和正文。但是,我正在尝试使用cURL来测试API,但似乎无法正常工作。我假设我在cURL请求中的格式被破坏了。下面是我尝试过的cURL请求以及params的输出以及尝试使用JSONgem解析params。我倾向于使用一个巨大的键来获取参数,该键是我的JSON数据字符串,值为nil。我尝试添加Content-Type:application/json,当我这样做时,params为空。curl-XPOST-H"Accept:

ruby-on-rails - 限制每个用户的请求数量(使用机架攻击和设计)

我正在使用https://github.com/kickstarter/rack-attack/#throttles限制对某些网址的请求。机架攻击文档展示了如何通过请求IP或请求参数进行限制,但我想做的是限制每个用户的请求。因此,无论IP是什么,用户都应该能够在特定时间范围内发出不超过n个请求。我们使用devise进行身份验证,我想不出一种简单的方法来根据请求唯一标识用户。我应该在session/cookie中存储用户ID吗?也许是一个uniq哈希?您对实现这一目标的最佳方式有何看法? 最佳答案 想通了。Devise已将用户ID存储

Ruby 相当于 Python setattr()

好吧,将我添加到爱上Ruby但对PyAddiction挥之不去的Python程序员的列表中。喜欢关于Python'sgetattr的帖子,我正在寻找与此等效的Ruby:setattr(obj,'attribute',value)其中obj是一个对象实例,attribute是对象属性之一的字符串名称,value是该对象的值。等效代码为:obj.attribute=value我假设这是可能的(因为现在在Python中的任何可能在Ruby中似乎更容易),但找不到它的文档。 最佳答案 obj.instance_variable_set("@