我构建了一个 curl 类,可以使用 curl_multi_init 并行下载图像。
下载功能如下
public function download(AbstractRequest $request, $f) {
// Initiate a new curl
$ch = curl_init();
// Set curl options
curl_setopt_array($ch, [
CURLOPT_URL => $request->getUrl(),
CURLOPT_FILE => $f,
CURLOPT_TIMEOUT => 99,
]);
// Add to curl multi handle
curl_multi_add_handle($this->multiCh, $ch);
}
类的析构函数调用并行请求的执行。
我的问题是,如何从 curl_multi_exec 中取回文件资源以便使用 fclose() 关闭它?
curl 会自动为我关闭文件句柄吗?
谢谢
最佳答案
在 cURL 请求执行后,cURL 和 PHP 都不会自动关闭文件句柄。 PHP 将在整个脚本终止时自动关闭它,但如果脚本在 cURL 请求完成后继续运行一段时间并执行其他操作,文件将保持打开状态。
PHP 所做的只是在请求完成时将文件数据刷新到磁盘。
您可以使用一些简单的代码轻松地对此进行测试:
<?php
error_reporting(E_ALL);
ini_set('display_errors', 1);
// create both cURL resources
$ch1 = curl_init();
$ch2 = curl_init();
// open two temp files for requests
$fp1 = fopen('/tmp/1.txt', 'w+');
$fp2 = fopen('/tmp/2.txt', 'w+');
// set URL and other appropriate options
curl_setopt($ch1, CURLOPT_URL, "http://php.net/");
curl_setopt($ch1, CURLOPT_HEADER, 0);
curl_setopt($ch1, CURLOPT_FILE, $fp1);
curl_setopt($ch2, CURLOPT_URL, "http://lxr.php.net/");
curl_setopt($ch2, CURLOPT_HEADER, 0);
curl_setopt($ch2, CURLOPT_FILE, $fp2);
//create the multiple cURL handle
$mh = curl_multi_init();
//add the two handles
curl_multi_add_handle($mh,$ch1);
curl_multi_add_handle($mh,$ch2);
$active = null;
//execute the handles
echo "Begin requests\n";
do {
$mrc = curl_multi_exec($mh, $active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
while ($active && $mrc == CURLM_OK) {
if (curl_multi_select($mh) != -1) {
do {
$mrc = curl_multi_exec($mh, $active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
}
}
echo "Done\n";
var_dump($fp1, $fp2); // valid resources
echo "Sleep\n";
sleep(10);
//close the handles
curl_multi_remove_handle($mh, $ch1);
curl_multi_remove_handle($mh, $ch2);
curl_multi_close($mh);
fwrite($fp1, "\n\nTEST MORE DATA\n");
fwrite($fp2, "\n\nAND MORE TEST DATA\n");
var_dump($fp1, $fp2); // valid file handles
echo "Last sleep\n";
sleep(10);
// data automatically flushed to disk here
// file handles will be closed by PHP when script terminates here
运行后,你会看到额外的数据写入了这些文件的末尾,表明句柄在 cURL 完成后仍然有效。注意:我在 PHP 7.0.5 和 5.6.20 上运行了这些测试。
如果您喜欢冒险,可以深入研究 PHP/cURL source并亲自看看。 CURLOPT_FILE 句柄在整个文件中都是 ch->handlers->write->fp。
无法取回文件句柄,因此您必须自己跟踪它们。
它可以像将它们全部添加到一个数组一样简单:
$fileHandles = array();
//..
$fileHandles[] = $fp1;
$fileHandles[] = $fp2;
然后在 curl_multi_exec 完成时关闭它们:
foreach($fileHandles as $fp) {
fclose($fp);
}
但答案是,在 PHP 终止之前,它们不会被 cURL 或 PHP 自动关闭。
如果在 cURL 完成后不久就发生了这种情况,您就真的没有必要自己动手了。但是,如果这是一个长时间运行的脚本,会在很长一段时间内一遍又一遍地重复多个请求,那么跟踪它们并在请求完成时关闭它们可能不是一个坏主意。
关于php - CURLOPT_FILE、curl_multi_exec 和 fclose,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25081667/
从给定URL下载文件并立即将其上传到AmazonS3的更直接的方法是什么(+将有关文件的一些信息保存到数据库中,例如名称、大小等)?现在,我既不使用Paperclip,也不使用Carrierwave。谢谢 最佳答案 简单明了:require'open-uri'require's3'amazon=S3::Service.new(access_key_id:'KEY',secret_access_key:'KEY')bucket=amazon.buckets.find('image_storage')url='http://www.ex
我花了三天的时间用头撞墙,试图弄清楚为什么简单的“rake”不能通过我的规范文件。如果您遇到这种情况:任何文件夹路径中都不要有空格!。严重地。事实上,从现在开始,您命名的任何内容都没有空格。这是我的控制台输出:(在/Users/*****/Desktop/LearningRuby/learn_ruby)$rake/Users/*******/Desktop/LearningRuby/learn_ruby/00_hello/hello_spec.rb:116:in`require':cannotloadsuchfile--hello(LoadError) 最佳
CSV.open(name,"r").eachdo|row|putsrowend我得到以下错误:CSV::MalformedCSVErrorUnquotedfieldsdonotallow\ror\n文件名是一个.txt制表符分隔文件。我是专门做的。我有一个.csv文件,我转到excel,并将文件保存为.txt制表符分隔的文件。所以它是制表符分隔的。CSV.open不应该能够读取制表符分隔的文件吗? 最佳答案 尝试像这样指定字段分隔符:CSV.open("name","r",{:col_sep=>"\t"}).eachdo|row|
我正在尝试编写一个将文件上传到AWS并公开该文件的Ruby脚本。我做了以下事情:s3=Aws::S3::Resource.new(credentials:Aws::Credentials.new(KEY,SECRET),region:'us-west-2')obj=s3.bucket('stg-db').object('key')obj.upload_file(filename)这似乎工作正常,除了该文件不是公开可用的,而且我无法获得它的公共(public)URL。但是当我登录到S3时,我可以正常查看我的文件。为了使其公开可用,我将最后一行更改为obj.upload_file(file
这个问题在这里已经有了答案:Whatdoes`if__FILE__==$0`meaninRuby(6个答案)关闭6年前。我在审查Ruby代码时偶然发现了这个语法。代码是:if__FILE__==$PROGRAM_NAME#somecode...end我想__FILE__是一个变量,可以让我获取我所在文件的名称?但是$PROGRAM_NAME简化了什么?另外,为什么这个if语句是必需的,因为程序可以使用或不使用它?
我在我正在处理的一些代码中发现了这一点。它旨在解决从磁盘读取key文件的要求。在生产环境中,key文件的内容位于环境变量中。旧代码:key=File.read('path/to/key.pem')新代码:key=File.read('|echo$KEY_VARIABLE')这是如何工作的? 最佳答案 来自IOdocs:Astringstartingwith“|”indicatesasubprocess.Theremainderofthestringfollowingthe“|”isinvokedasaprocesswithappro
我有这个代码File.open(file_name,'r'){|file|file.read}但是Rubocop发出警告:Offenses:Style/SymbolProc:Pass&:readasargumenttoopeninsteadofablock.你是怎么做到的? 最佳答案 我刚刚创建了一个名为“t.txt”的文件,其中包含“Hello,World\n”。我们可以按如下方式阅读。File.open('t.txt','r',&:read)#=>"Hello,World\n"顺便说一下,由于第二个参数的默认值是'r',所以这样
我有以下代码,它下载一个文件,然后将文件的内容读入一个变量。使用该变量,它执行一个命令。这个配方不会收敛,因为/root/foo在编译阶段不存在。我可以通过多个聚合和一个来解决这个问题ifFile.exist但我想用一个收敛来完成它。关于如何做到这一点有什么想法吗?execute'download_joiner'docommand"awss3cps3://bucket/foo/root/foo"not_if{::File.exist?('/root/foo')}endpassword=::File.read('/root/foo').chompexecute'join_domain'd
我试图在Ubuntu14.04中使用Curl安装RVM。我运行了以下命令:\curl-sSLhttps://get.rvm.io|bash-sstable出现如下错误:curl:(7)Failedtoconnecttoget.rvm.ioport80:Networkisunreachable非常感谢解决此问题的任何帮助。谢谢 最佳答案 在执行curl之前尝试这个:echoipv4>>~/.curlrc 关于ruby-在Ubuntu14.04中使用Curl安装RVM时出错,我们在Stack
我创建了一个文件,这样我就可以在lib/foo/bar_woo.rb中的许多模型之间共享一个方法。在bar_woo.rb中,我定义了以下内容:moduleBarWoodefhelloputs"hello"endend然后在我的模型中我正在做类似的事情:defMyModel解释器提示它期望bar_woo.rb定义Foo::BarWoo。《使用Rails进行敏捷Web开发》一书指出,如果文件包含类或模块,并且文件使用类或模块名称的小写形式命名,那么Rails将自动加载文件。因此我不需要它。定义代码的正确方法是什么,在我的模型中调用代码的正确方法是什么? 最佳答案