草庐IT

Python子进程超时?

全部标签

Python爬虫403错误的解决方案

前言程序使用一段时间后会遇到HTTPError403:Forbidden错误。因为在短时间内直接使用Get获取大量数据,会被服务器认为在对它进行攻击,所以拒绝我们的请求,自动把电脑IP封了。解决这个问题有两种方法。一是将请求加以包装,变成浏览器请求模式,而不再是“赤裸裸”的请求。但有时服务器是根据同一IP的请求频率来判断的,即使伪装成不同浏览器。由于是同一IP访问,还是会被封。所以就有了第二种方法,就是降低请求频率。具体说来也有两种方法。一种是在每次请求时暂停短暂时间,从而降低请求频率。第二种是使用不同的IP进行访问。显然第一种方法不是最佳选择。因为我们并不希望下载太慢,尤其是在请求次数很多时

ruby - OS X 中作为守护进程运行的脚本的菜单栏图标?

我有一个ruby​​脚本(https://github.com/daemonza/MacBak)作为守护进程在我的macbook上运行并监视一堆目录的文件更改和rsync发生的任何更改。我想知道我能否让它在顶部的菜单栏中创建一个图标?只是为了让我知道它确实在运行,而不必使用ps检查它。也许以后如果需要的话,我可能希望能够从那里控制脚本,简单的带有停止和状态条目的下拉菜单等。从ObjectC看来我可以调用NSStatusItem来获取图标,但我真的只是想通过我的Ruby脚本轻松地完成它。也许我可以做一些applescript调用? 最佳答案

ruby-on-rails - 构建一个集成我的 rails 环境的 ruby​​ 守护进程

我需要构建一个将使用freeswitcher的ruby​​守护进程freeswitch的eventmachine库。几天以来,我一直在网上寻找构建ruby​​守护程序的最佳解决方案,该守护程序将集成我的Rails环境,特别是我的事件记录模型。我看过优秀的RyanBates截屏视频(第129集自定义守护程序),但我不确定这是否仍然是一个实际的解决方案。我如何以好的方式做到这一点? 最佳答案 我一直在为我的Rails环境构建守护进程。守护进程gem确实完成了所有工作。作为示例,这是从我最新的Rails应用程序(script/yourda

ruby-on-rails - 了解为什么 ruby​​ 进程在 100% CPU 时阻塞的方法

我们有一个大型Rails应用程序,几天后,我们的ruby​​进程似乎陷入循环并占用100%的CPU,直到乘客服务器死机并引发502错误。您知道找出原因的最佳方法吗?我已经尝试过NewRelic,但它只是性能方面的东西,而且我们的错误太多了,无法猜测问题出在哪里。(我们每天有很多请求和很多UTF-8BSON错误,因为我们使用的是UTF-8url)使用:Rails3.2.6和Ruby1.9.2p290乘客3.0.13MongoDB2.0.1和Mongoid2.4.11NginxFreeBSD8.2 最佳答案 找出ruby卡住位置的简便方

c# - 为什么 C# ProcessStartInfoRedirectStandardOutput 会导致 xcopy 进程失败

这有点痛苦,因为我现在面前没有代码,但我会尽力解释。我有一个启动Ruby脚本的简单C#应用程序(它还做了一些其他事情,因此它生成了一个批处理文件并执行了)。我正在使用C#进程对象并设置了以下内容重定向标准输出=真重定向标准错误=真UseShellExecute=falseCreateNoWindow=true(可爱的倒退逻辑!)然后我创建两个线程并为错误流和输出流轮询ReadLine(),等待它们完成后再调用WaitForExit()。现在,无论我做什么,当我重定向输出时,我的Ruby脚本都无法调用system("xcopy...")命令(没有生成错误,它只是不复制)。它也不会复制我要

ruby-on-rails - 如何在 sidekiq 中设置作业超时

我遇到了sidekiq的问题:我想为作业设置超时,这意味着当作业的处理时间大于超时时,该作业将停止。我已经搜索了如何在文件sidekiq.yml中设置全局超时配置。但是我想为不同的单独作业设置单独的超时,这意味着定义工作人员的类之一将具有特定的超时配置。你能帮帮我吗?非常感谢。 最佳答案 没有批准的方法可以做到这一点。您无法在线程执行时安全地停止它。您需要更改工作以定期检查它是否应该停止。您可以为您正在进行的任何第3方调用设置网络超时,以便它们超时。 关于ruby-on-rails-如何

Ruby 相当于 Python setattr()

好吧,将我添加到爱上Ruby但对PyAddiction挥之不去的Python程序员的列表中。喜欢关于Python'sgetattr的帖子,我正在寻找与此等效的Ruby:setattr(obj,'attribute',value)其中obj是一个对象实例,attribute是对象属性之一的字符串名称,value是该对象的值。等效代码为:obj.attribute=value我假设这是可能的(因为现在在Python中的任何可能在Ruby中似乎更容易),但找不到它的文档。 最佳答案 obj.instance_variable_set("@

ruby - 超时::在 ruby​​ 中使用 selenium-webdriver 时出错

自从我开始开发测试以来,我一直收到超时错误。起初我认为这与我的xpaths的效率有关,但在多次看到测试快速通过后,我认为这与选择器无关。该错误是随机发生的,并且通常在一个特征中多次发生。我需要修复或至少了解这个问题是什么。步骤定义示例:When/^Inavigateto"(.*)"$/do|webpage|navigate_to(webpage)end这是我得到的错误:Timeout::Error(Timeout::Error)/usr/lib/ruby/1.9.1/net/protocol.rb:146:in`rescueinrbuf_fill'/usr/lib/ruby/1.9.1

ruby popen3 -- 如何在不重新打开进程的情况下重复写入 stdin 和读取 stdout?

我正在使用Open3的popen3启动在类似控制台中运行的进程的方法/REPL重复接受输入并返回输出的方式。我可以打开流程、发送输入并接收输出,代码如下:Open3.popen3("console_REPL_process")do|stdin,stdout,stderr,wait_thr|stdin.puts"astringofinput"stdin.close_writestdout.each_line{|line|putsline}#successfullyprintsalltheoutputend我想连续多次这样做,而不是重新打开进程,因为启动需要很长时间。我知道我必须关闭std

ruby-on-rails - 如何在可配置的超时时间内响应 Rails 请求

我想在不使用超时模块的情况下在Controller的操作中实现以下行为:classAdminController我想避免使用超时,因为它会在我的应用程序中导致许多错误,包括数据库连接泄漏。报告的其他一些问题:http://www.mikeperham.com/2015/05/08/timeout-rubys-most-dangerous-api/ 最佳答案 不要为此使用ruby。问题是超时模块将在执行代码的任何地方中止代码,这将导致打开和悬空的套接字、连接和文件或更糟。(我想,如果你启动外部脚本或为每项工作支付费用,这并不是真正的问