想象一下，一个事件将有 10,000 到 30,000 个文件，每个文件大约 4kb。

而且，将有几个事件同时运行。 10 顶。

目前，我将采用通常的方式:file_put_contents .

它完成了工作，但速度很慢，而且它的 php 进程一直占用 100% 的 CPU 使用率。
fopen, fwrite, fclose ，嗯，结果类似于file_put_contents .

我试过一些异步 io 的东西，比如 php eio和 swoole .

它更快，但一段时间后会产生“太多打开的文件”。
php -r 'echo exec("ulimit -n");'结果是 800000。

任何帮助，将不胜感激!

好吧，这有点尴尬……你们是对的，瓶颈在于它如何生成文件内容……

最佳答案

我假设您不能遵循 SomeDude 关于使用数据库的非常好的建议，并且您已经执行了可以执行的硬件调整(例如增加缓存、增加 RAM 以避免交换颠簸、购买 SSD 驱动器)。

我会尝试将文件生成卸载到不同的进程。

你可以例如安装Redis，将文件内容存入keystore，非常快。然后，一个不同的并行进程可以从 keystore 中提取数据，将其删除，然后写入磁盘文件。

这会从主要 PHP 进程中删除所有磁盘 I/O，并让您监控积压(有多少 key 对仍未刷新:理想情况下为零)并专注于内容生成中的瓶颈。您可能需要一些额外的 RAM。

另一方面，这与写入 RAM 磁盘没有太大区别。您还可以将数据输出到 RAM 磁盘，它可能会更快:

# As root
mkdir /mnt/ramdisk
mount -t tmpfs -o size=512m tmpfs /mnt/ramdisk
mkdir /mnt/ramdisk/temp 
mkdir /mnt/ramdisk/ready
# Change ownership and permissions as appropriate

$fp = fopen("/mnt/ramdisk/temp/{$file}", "w");
fwrite($fp, $data);
fclose($fp);
rename("/mnt/ramdisk/temp/{$file}", "/mnt/ramdisk/ready/{$file}");

<?php
    $payload    = str_repeat("Squeamish ossifrage. \n", 253);
    $time       = microtime(true);
    for ($i = 0; $i < 10000; $i++) {
        $fp = fopen("file-{$i}.txt", "w");
        fwrite($fp, $payload);
        fclose($fp);
    }
    $time = microtime(true) - $time;
    for ($i = 0; $i < 10000; $i++) {
        unlink("file-{$i}.txt");
    }
    print "Elapsed time: {$time} s\n";

$payload    = str_repeat("Squeamish ossifrage. \n", 253);

$time       = microtime(true);
for ($i = 0; $i < 100000; $i++) {
    $pid = pcntl_fork();
    switch ($pid) {
        case 0:
            // Parallel execution.
            $fp = fopen("file-{$i}.txt", "w");
            fwrite($fp, $payload);
            fclose($fp);
            exit();
        case -1:
            echo 'Could not fork Process.';
            exit();
        default:
            break;
    }
}
$time = microtime(true) - $time;
print "Elapsed time: {$time} s\n";

$payload    = str_repeat("Squeamish ossifrage. \n", 253);

$sockets = array();
$domain = (strtoupper(substr(PHP_OS, 0, 3)) == 'WIN' ? AF_INET : AF_UNIX);
if (socket_create_pair($domain, SOCK_STREAM, 0, $sockets) === false) {
   echo "socket_create_pair failed. Reason: ".socket_strerror(socket_last_error());
}
$pid = pcntl_fork();
if ($pid == -1) {
    echo 'Could not fork Process.';
} elseif ($pid) {
    /*parent*/
    socket_close($sockets[0]);
} else {
    /*child*/
    socket_close($sockets[1]);
    for (;;) {
        $cmd = trim(socket_read($sockets[0], 5, PHP_BINARY_READ));
        if (false === $cmd) {
            die("ERROR\n");
        }
        if ('QUIT' === $cmd) {
            socket_write($sockets[0], "OK", 2);
            socket_close($sockets[0]);
            exit(0);
        }
        if ('FILE' === $cmd) {
            $file   = trim(socket_read($sockets[0], 20, PHP_BINARY_READ));
            $len    = trim(socket_read($sockets[0], 8, PHP_BINARY_READ));
            $data   = socket_read($sockets[0], $len, PHP_BINARY_READ);
            $fp     = fopen($file, "w");
            fwrite($fp, $data);
            fclose($fp);
            continue;
        }
        die("UNKNOWN COMMAND: {$cmd}");
    }
}

$time       = microtime(true);
for ($i = 0; $i < 100000; $i++) {
    socket_write($sockets[1], sprintf("FILE %20.20s%08.08s", "file-{$i}.txt", strlen($payload)));
    socket_write($sockets[1], $payload, strlen($payload));
    //$fp = fopen("file-{$i}.txt", "w");
    //fwrite($fp, $payload);
    //fclose($fp);
}
$time = microtime(true) - $time;
print "Elapsed time: {$time} s\n";

socket_write($sockets[1], "QUIT\n", 5);
$ok = socket_read($sockets[1], 2, PHP_BINARY_READ);
socket_close($sockets[1]);

关于PHP:以最快或/和最有效的方式编写大量小文件，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/39436975/