我正在编写一个界面，我必须在其中启动 4 个 http 请求才能获取一些信息。

我用两种方式实现了接口(interface):

1. 使用顺序 file_get_contents。
2. 使用多 curl 。

我已经用 jmeter 对 2 个版本进行了基准测试。结果表明，当 jmeter 中只有 1 个线程发出请求时，multi curl 比顺序 file_get_contents 好得多，但当 100 个线程时更差。

问题是:哪些因素会导致 multi curl 的性能下降？

我的 multi curl 代码如下:

$curl_handle_arr = array ();
$master = curl_multi_init();
foreach ( $call_url_arr as $key => $url )
{
    $curl_handle = curl_init( $url );
    $curl_handle_arr [$key] = $curl_handle;
    curl_setopt( $curl_handle , CURLOPT_RETURNTRANSFER , true );
    curl_setopt( $curl_handle , CURLOPT_POST , true );
    curl_setopt( $curl_handle , CURLOPT_POSTFIELDS , http_build_query( $params_arr [$key] ) );
    curl_multi_add_handle( $master , $curl_handle );
}
$running = null;
$mrc = null;
do
{
    $mrc = curl_multi_exec( $master , $running );
}
while ( $mrc == CURLM_CALL_MULTI_PERFORM );
while ( $running && $mrc == CURLM_OK )
{
    if (curl_multi_select( $master ) != - 1)
    {
        do
        {
            $mrc = curl_multi_exec( $master , $running );
        }
        while ( $mrc == CURLM_CALL_MULTI_PERFORM );
    }
}
foreach ( $call_url_arr as $key => $url )
{
    $curl_handle = $curl_handle_arr [$key];
    if (curl_error( $curl_handle ) == '')
    {
        $result_str_arr [$key] = curl_multi_getcontent( $curl_handle );
    }
    curl_multi_remove_handle( $master , $curl_handle );
}
curl_multi_close( $master );

最佳答案

1。简单优化

• 如果 curl_multi_select 失败，您应该休眠大约 2500 微秒。
  实际上，有时每次执行都肯定会失败。
  如果不休眠，您的 CPU 资源会被大量 while (true) { } 循环占用。
• 如果您在一些(不是全部)请求完成后什么都不做，
  你应该让最大超时秒数更大。
• 您的代码是为旧的 libcurls 编写的。从 libcurl 版本 7.2 开始，
  状态 CURLM_CALL_MULTI_PERFORM 不再出现。

所以，下面的代码

$running = null;
$mrc = null;
do
{
    $mrc = curl_multi_exec( $master , $running );
}
while ( $mrc == CURLM_CALL_MULTI_PERFORM );
while ( $running && $mrc == CURLM_OK )
{
    if (curl_multi_select( $master ) != - 1)
    {
        do
        {
            $mrc = curl_multi_exec( $master , $running );
        }
        while ( $mrc == CURLM_CALL_MULTI_PERFORM );
    }
}

应该是

curl_multi_exec($master, $running);
do
{
    if (curl_multi_select($master, 99) === -1)
    {
        usleep(2500);
        continue;
    }
    curl_multi_exec($master, $running);
} while ($running);

注意事项

curl_multi_select 的超时值只有在您想执行类似...的情况下才应调整

curl_multi_exec($master, $running);
do
{
    if (curl_multi_select($master, $TIMEOUT) === -1)
    {
        usleep(2500);
        continue;
    }
    curl_multi_exec($master, $running);
    while ($info = curl_multi_info_read($master))
    {
        /* Do something with $info */
    }
} while ($running);

否则，该值应该非常大。
(但是，PHP_INT_MAX 太大；libcurl 将其视为无效值。)

2。在一个 PHP 进程中轻松进行实验

我使用我的并行 cURL 执行程序库进行了测试:mpyw/co

(prep.for不合适，应该是by，抱歉我的英语不好xD)

<?php 

require 'vendor/autoload.php';

use mpyw\Co\Co;

function four_sequencial_requests_for_one_hundread_people()
{
    for ($i = 0; $i < 100; ++$i) {
        $tasks[] = function () use ($i) {
            $ch = curl_init();
            curl_setopt_array($ch, [
                CURLOPT_URL => 'example.com',
                CURLOPT_FORBID_REUSE => true,
                CURLOPT_RETURNTRANSFER => true,
            ]);
            for ($j = 0; $j < 4; ++$j) {
                yield $ch;
            }
        };
    }
    $start = microtime(true);
    yield $tasks;
    $end = microtime(true);
    printf("Time of %s: %.2f sec\n", __FUNCTION__, $end - $start);
}

function requests_for_four_hundreds_people()
{
    for ($i = 0; $i < 400; ++$i) {
        $tasks[] = function () use ($i) {
            $ch = curl_init();
            curl_setopt_array($ch, [
                CURLOPT_URL => 'example.com',
                CURLOPT_FORBID_REUSE => true,
                CURLOPT_RETURNTRANSFER => true,
            ]);
            yield $ch;
        };
    }
    $start = microtime(true);
    yield $tasks;
    $end = microtime(true);
    printf("Time of %s: %.2f sec\n", __FUNCTION__, $end - $start);
}

Co::wait(four_sequencial_requests_for_one_hundread_people(), [
    'concurrency' => 0, // Zero means unlimited
]);

Co::wait(requests_for_four_hundreds_people(), [
    'concurrency' => 0, // Zero means unlimited
]);

我试了五次得到如下结果:

我也尝试了相反的顺序(第 3 个请求被踢 xD):

这些结果表示过多的并发 TCP 连接实际上会降低吞吐量。

3。高级优化

3-A。针对不同的目的地

如果您想同时针对少量和大量并发请求进行优化，以下肮脏的解决方案可能会对您有所帮助。

1. 使用 apcu_add/apcu_fetch/apcu_delete 共享请求者的数量。
2. 根据当前值切换方法(顺序或并行)。

3-B。对于相同的目的地

CURLMOPT_PIPELINING 将为您提供帮助。 此选项将同一目的地的所有 HTTP/1.1 连接捆绑到一个 TCP 连接中。

curl_multi_setopt($master, CURLMOPT_PIPELINING, 1);

关于PHP 多 cURL 性能比顺序 file_get_contents 差，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/38843215/