我无法找到脚本中内存泄漏的原因。我有一个简单的存储库方法，它将我实体中的“计数”列增加 X 数量:

public function incrementCount($id, $amount)
{
    $query = $this
        ->createQueryBuilder('e')
        ->update('MyEntity', 'e')
        ->set('e.count', 'e.count + :amount')
        ->where('e.id = :id')
        ->setParameter('id', $id)
        ->setParameter('amount', $amount)
        ->getQuery();

    $query->execute();
}

问题是，如果我在循环中调用它，每次迭代的内存使用量都会激增:

$entityManager = $this->getContainer()->get('doctrine')->getManager();
$myRepository = $entityManager->getRepository(MyEntity::class);
while (true) {
    $myRepository->incrementCount("123", 5);
    $doctrineManager->clear();
    gc_collect_cycles();
}

我在这里错过了什么？根据 Doctrine 的 advice on batch processing，我已经尝试过 ->clear() .我什至尝试了 gc_collect_cycles()，但问题仍然存在。

我在 PHP 5.5 上运行 Doctrine 2.4.6。

最佳答案

我刚刚遇到了同样的问题，这些是为我解决的问题:

--无调试

正如 OP 在他们的回答中提到的那样，设置 --no-debug (例如:php bin/console <my_command> --no-debug)对于 Symfony 控制台命令中的性能/内存至关重要。在使用 Doctrine 时尤其如此，因为没有它，Doctrine 将进入 Debug模式，这会消耗大量额外内存(每次迭代都会增加)。请参阅 Symfony 文档 here和 here了解更多信息。

--环境=产品

您还应该始终指定环境。默认情况下，Symfony 使用 dev控制台命令的环境。 dev环境通常没有针对内存、速度、cpu 等进行优化。如果你想迭代数千个项目，你可能应该使用 prod环境(例如:php bin/console <my_command> --env prod)。参见 here和 here了解更多信息。

提示:我创建了一个名为 console 的环境我专门为运行控制台命令配置的。这是关于 how to create additional Symfony environments 的信息.

php -d memory_limit=YOUR_LIMIT

如果运行大型更新，您可能应该选择可接受的内存消耗量。如果您认为可能存在泄漏，这一点尤为重要。您可以使用 php -d memory_limit=x 为命令指定内存(例如:php -d memory_limit=256M)。注意:您可以将限制设置为 -1 (通常是 php cli 的默认设置)让命令在没有内存限制的情况下运行，但这显然很危险。

用于批处理的格式良好的控制台命令

使用上述提示运行大型更新的格式良好的控制台命令如下所示:

php -d memory_limit=256M bin/console <acme>:<your_command> --env=prod --no-debug

使用 Doctrine 的 IterableResult

在循环中使用 Doctrine 的 ORM 时，另一个巨大的问题是使用 Doctrine 的 IterableResult(参见 Doctrine Batch Processing docs)。这对所提供的示例没有帮助，但通常在进行这样的处理时，它会超过查询的结果。

定期冲洗

如果您正在做的部分工作是更改数据，您应该定期刷新而不是在每次迭代时刷新。冲洗既昂贵又缓慢。刷新的次数越少，命令完成的速度就越快。但是请记住，Doctrine 会将未刷新的数据保存在内存中。因此，您刷新的次数越少，您需要的内存就越多。

您可以使用类似下面的方法每 100 次迭代刷新一次:

if ($count % 100 === 0) {
    $this->em->flush();
}

还要确保在循环结束时再次刷新(用于刷新最后 < 100="">

清除 EntityManager

您可能还想在冲洗后清除:

$this->em->flush();
$em->clear();  // Detach ALL objects from Doctrine.

或者

$this->em->flush();
$em->clear(MyEntity::class); // Detach all MyEntity from Doctrine.
$em->clear(MyRelatedEntity::class); // Detach all MyRelatedEntity from Doctrine.

边走边输出内存使用情况

跟踪您的命令在运行时消耗了多少内存非常有帮助。您可以通过输出由 PHP 内置 memory_get_usage() 返回的响应来做到这一点功能。

$output->writeln(memory_get_usage());

例子

$memUse = round(memory_get_usage() / 1000000, 2).'MB';
$this->output->writeln('Processed '.$i.' of '.$totalCount.' (mem: '.$memUse.')');

滚动你自己的批处理

滚动您自己的批处理也可能会有所帮助。您可以通过使用开始和限制来完成此操作，就像您对分页所做的那样。执行此操作时，我仅使用 90Mb 的 RAM 就能够处理 400 万行。

下面是一些示例代码:

protected function execute(InputInterface $input, OutputInterface $output) {
    /* ... */
    $totalCount = $this->getTotalCount();
    $batchSize = 10000;
    $i = 0;
    while ($i < $totalCount) {
        $i = $this->processBatch($i, $batchSize, $totalCount);
    }
    /* ... */
}

private function processBatch(int $start, int $limit, int $totalCount): int {
    /* @var $q \Doctrine\ORM\Query */
    $q = $this->em->createQueryBuilder()
        ->select('e')
        ->from('AcmeExampleBundle:MyEntity', 'e')
        ->setFirstResult($start)
        ->setMaxResults($limit)
        ->getQuery();

    /* @var $iterableResult \Doctrine\ORM\Internal\Hydration\IterableResult */
    $iterableResult = $q->iterate(null, \Doctrine\ORM\Query::HYDRATE_SIMPLEOBJECT);

    $i = $start;
    foreach ($iterableResult as $row) {
        /* @var $myEntity \App\Entity\MyEntity */
        $myEntity = $row[0];

        $this->processOne($myEntity);

        if (0 === ($i % 1000)) {
            $memUse = round(memory_get_usage() / 1000000, 2).'MB';
            $this->output->writeln('Processed '.$i.' of '.$totalCount.' (mem: '.$memUse.')');
        }
        $this->em->detach($row[0]);
        $i++;
    }

    return $i;
}

private function processOne(MyEntity $myEntity): void {
    // Do entity processing here.
}

private function getTotalCount(): int {
    /* @var $q \Doctrine\ORM\Query */
    $q = $this->em
        ->createQueryBuilder()
        ->select('COUNT(e.id)')
        ->from('AcmeExampleBundle:MyEntity', 'e')
        ->getQuery();

    $count = $q->getSingleScalarResult();

    return $count;
}

祝你好运!

关于php - 在循环中执行 Doctrine 查询时内存泄漏，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/26616861/