我没有处理大文件的经验，所以我不确定该怎么做。我试图使用 file_get_contents 读取几个大文件；任务是使用 preg_replace() 清理和捣碎它们。

我的代码在小文件上运行良好；但是，大文件 (40 MB) 会触发内存耗尽错误:

PHP Fatal error:  Allowed memory size of 16777216 bytes exhausted (tried to allocate 41390283 bytes)

我正在考虑改用 fread()，但我不确定这是否可行。这个问题有解决方法吗？

感谢您的输入。

这是我的代码:

<?php
error_reporting(E_ALL);

##get find() results and remove DOS carriage returns.
##The error is thrown on the next line for large files!
$myData = file_get_contents("tmp11");
$newData = str_replace("^M", "", $myData);

##cleanup Model-Manufacturer field.
$pattern = '/(Model-Manufacturer:)(\n)(\w+)/i';
$replacement = '$1$3';
$newData = preg_replace($pattern, $replacement, $newData);

##cleanup Test_Version field and create comma delimited layout.
$pattern = '/(Test_Version=)(\d).(\d).(\d)(\n+)/';
$replacement = '$1$2.$3.$4      ';
$newData = preg_replace($pattern, $replacement, $newData);

##cleanup occasional empty Model-Manufacturer field.
$pattern = '/(Test_Version=)(\d).(\d).(\d)      (Test_Version=)/';
$replacement = '$1$2.$3.$4      Model-Manufacturer:N/A--$5';
$newData = preg_replace($pattern, $replacement, $newData);

##fix occasional Model-Manufacturer being incorrectly wrapped.
$newData = str_replace("--","\n",$newData);

##fix 'Binary file' message when find() utility cannot id file.
$pattern = '/(Binary file).*/';
$replacement = '';
$newData = preg_replace($pattern, $replacement, $newData);
$newData = removeEmptyLines($newData);

##replace colon with equal sign
$newData = str_replace("Model-Manufacturer:","Model-Manufacturer=",$newData);

##file stuff
$fh2 = fopen("tmp2","w");
fwrite($fh2, $newData);
fclose($fh2);

### Functions.

##Data cleanup
function removeEmptyLines($string)
{
        return preg_replace("/(^[\r\n]*|[\r\n]+)[\s\t]*[\r\n]+/", "\n", $string);
}
?>

最佳答案

首先，您应该了解，当您使用 file_get_contents 时，您正在将整个数据字符串提取到一个变量中，该变量存储在主机内存中。

如果该字符串大于 PHP 进程专用的大小，则 PHP 将停止并显示上面的错误消息。

解决这个问题的方法是将文件作为指针打开，然后一次取一个 block 。这样，如果你有一个 500MB 的文件，你可以读取前 1MB 的数据，用它做你想做的，从系统内存中删除那 1MB 并用下一个 MB 替换它。这使您可以管理要放入内存中的数据量。

如果可以在下面看到一个示例，我将创建一个类似于 node.js 的函数

function file_get_contents_chunked($file,$chunk_size,$callback)
{
    try
    {
        $handle = fopen($file, "r");
        $i = 0;
        while (!feof($handle))
        {
            call_user_func_array($callback,array(fread($handle,$chunk_size),&$handle,$i));
            $i++;
        }

        fclose($handle);

    }
    catch(Exception $e)
    {
         trigger_error("file_get_contents_chunked::" . $e->getMessage(),E_USER_NOTICE);
         return false;
    }

    return true;
}

然后像这样使用:

$success = file_get_contents_chunked("my/large/file",4096,function($chunk,&$handle,$iteration){
    /*
        * Do what you will with the {$chunk} here
        * {$handle} is passed in case you want to seek
        ** to different parts of the file
        * {$iteration} is the section of the file that has been read so
        * ($i * 4096) is your current offset within the file.
    */

});

if(!$success)
{
    //It Failed
}

您会发现其中一个问题是您试图对一个非常大的数据 block 执行多次正则表达式。不仅如此，您的正则表达式也是为匹配整个文件而构建的。

使用上述方法，您的正则表达式可能会变得毫无用处，因为您可能只匹配了一半的数据集。您应该做的是恢复为原生字符串函数，例如

• strpos
• substr
• 修剪
• 展开

为了匹配字符串，我在回调中添加了支持，以便传递句柄和当前迭代。这将允许您直接在回调中处理文件，允许您使用 fseek、ftruncate 和 fwrite 等函数。

您构建字符串操作的方式无论如何都没有效率，使用上面提出的方法是迄今为止更好的方法。

希望这对您有所帮助。

关于php - file_get_contents => PHP fatal error : Allowed memory exhausted，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/5249279/