我在向 MSSQLSRV 2008 R2 中的暂存表中批量插入时遇到问题。

我正在插入约 200,000 行的 CSV，大约需要 5 分钟才能完成。

我尝试同时使用 PDO 和 sqlsrv 驱动程序。他们似乎都表现不佳。

这是让我了解我在做什么的代码(我包括了 SQLSRV 和 PDO 代码):

...
    try {
        //create structure table record
        foreach ($mapped_data as $k => $v) {
            $insert .= $k . ",";
            $values .= $v . ",";
        }
        $insert = substr($insert, 0, -1); //remove last ,
        $values = substr($values, 0, -1);
        $tableName = $table;
        if ($stageData) {
            $tableName = "stage_$table";
        }
        if ( $query == "" )
            $query = "INSERT INTO $tableName ($insert) VALUES ";
        $query .= "($values),";

        // Insert in blocks of 1000 lines
        if ($line % 1000 == 0) {
            $log->logInfo("Executing @ line: $line");
            $query = substr($query, 0, -1); //remove last ,
            $query .= ";";

            // ======================
            // = SQLSRV DRIVER CODE =
            // ======================
            sqlsrv_begin_transaction($sqlsrvConn);
            $queryResult = sqlsrv_query($sqlsrvConn,$query);
            if ($queryResult) {
                sqlsrv_commit($sqlsrvConn);
            } else {
                sqlsrv_rollback($sqlsrvConn);
            }

            // ===================
            // = PDO DRIVER CODE =
            // ===================
            $conn->beginTransaction();
            $res = $conn->prepare($query);
            if($res->execute() === false) {
                $errInfo = $res->errorInfo();
                if ( $conn->inTransaction() ) {
                    $conn->rollback();
                }
                $log->logInfo('Data importing error on line: ' . $line . $errInfo[2]);
                $errors[] = 'Data importing error on line: ' . $line . $errInfo[2];
            } else {
                if ( $conn->inTransaction() ) {
                    $conn->commit();
                    $query = "";
                    $importedRows += ($line - 6) - $importedRows;
                }
            }
        }
    }
    catch (PDOException $e) {
        if ( $conn->inTransaction() ) {
            $conn->rollBack();
        }
        $log->logInfo('PDO Exception: ' . $e->getMessage());
        $errors[] = 'PDO Exception: ' . $e->getMessage();
    }
    $line++;
} // End of while loop through each CSV Line

fclose($handle);
$totalRows = $line - 6;
$importedRows += $totalRows - $importedRows;

// Insert remaing queries afterwards...
...

我一直在互联网上搜索可能的解决方案，但未能找到任何有效的方法。

我找到了 this post这基本上是说将行一起批处理(我已经完成了)。

我发现另一篇帖子说 PDO 设置 connectionpooling=0。我试过了，但没有看到任何性能提升。

还有其他人在使用 SQLSRV 和 PHP 时遇到过这个问题吗？

干杯，

最佳答案

我有一个有点类似的问题。因为我的问题是可用内存不足，所以我的服务器不得不花费额外的时间来处理虚拟内存。如果那不是你的问题，我的回答对你没有用。

您正在使用字符串连接后跟 substr 来删除最后一个逗号。当你使用 substr 时，它会制作另一个字符串副本，这对于长字符串来说是内存密集型的。参见 this question例如，当字符串很长时会发生什么。当我切换到数组连接时，由于内存使用量较低，我的速度大大提高了。但是，如果您没有内存问题，数组连接实际上可能是 slower为你。

我看到的其他一些事情是您只需要收集 $inserts 变量一次，并且您不会在不再需要它们时立即取消设置大变量。我不知道纠正这种事情是否会对你产生明显的影响。以下是您可以尝试的基本更改类型:

    if(!isset($insert)) {
        $insert = array();
        $collect = true;
    }
    $values = $array();
    foreach ($mapped_data as $k => $v) {
        if(isset($collect)) 
            $insert[] = $k;
        $values[] = $v;
    }
    unset($collect);

    .....
    if(!isset($queryend)) 
         $queryend = array();
    $queryend[] = "(".implode(",",$values).")";

    .....
    $query = "INSERT INTO $tableName ("
             .implode(",",$insert)
             .") VALUES "
             .implode(",", $queryend);
    unset($queryend);  //always unset big things as soon as possible

    .....  //after $res = $conn->prepare($query);
    unset($query);

关于PHP w/MS SQL 在批量插入时速度慢，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/19231473/