我必须编写一个 PHP 脚本，将数据从给定的 CSV 文件导入 MySQL 数据库。给定的 CSV 文件最多可包含 200,000 行。 我尝试了以下但出现了问题:

1. LOAD DATA LOCAL INFILE :我不能使用 LOAD DATA LOCAL INFILE 语句，因为我想在上传行之前先做一些验证，而且，我们的数据库管理员不希望我使用该语句，我不知道为什么.
2. FOR 循环:在 FOR 循环内逐行插入会花费太多时间，导致连接超时。

现在，我正在考虑将 CSV 文件拆分成更小的 block ，然后异步插入它们的解决方案。我已经完成了 CSV 的拆分，但我目前不知道如何以快速安全的方式异步插入到我的数据库中。但我听说我将在这里使用 Ajax。

您可以推荐任何解决方案吗？非常感谢!

最佳答案

感谢所有回答这个问题的人。我发现了一个解决方案! 只是想分享它，以防有人需要创建一个 PHP 脚本将一个巨大的 CSV 文件导入 MySQL 数据库(异步且快速!)我已经用 400,000 行测试了我的代码，导入在几秒钟内完成。 我相信它可以处理更大的文件，您只需修改最大上传文件大小即可。

在这个例子中，我将把一个包含两列(姓名、联系人编号)的 CSV 文件导入到包含相同列的 MySQL 数据库中。

您的 CSV 文件应如下所示:

安娜，0906123489

约翰，0908989199

彼得，0908298392

...

...

所以，这是解决方案。

首先，创建你的表

CREATE TABLE `testdb`.`table_test`
( `id` INT NOT NULL AUTO_INCREMENT ,
`name` VARCHAR(100) NOT NULL ,
`contact_number` VARCHAR(100) NOT NULL ,
PRIMARY KEY (`id`)) ENGINE = InnoDB;

其次，我有 4 个 PHP 文件。您所要做的就是将其放入一个文件夹中。 PHP文件如下:

index.php

<form action="upload.php" method="post" enctype="multipart/form-data">
<input type="file" name="csv" value="" />
<input type="submit" name="submit" value="Save" /></form>

connect.php

<?php
//modify your connections here
$servername = "localhost";
$username = "root";
$password = "";
$dbname = "testDB";
$conn = new mysqli($servername, $username, $password, $dbname);
if ($conn->connect_error) {
    die("Connection failed: " . $conn->connect_error);
} 
?>

发送数据.php

<?php
include('connect.php');
$data = $_POST['file'];
$handle = fopen($data, "r");
$test = file_get_contents($data);
if ($handle) {
    $counter = 0;
    //instead of executing query one by one,
    //let us prepare 1 SQL query that will insert all values from the batch
    $sql ="INSERT INTO table_test(name,contact_number) VALUES ";
    while (($line = fgets($handle)) !== false) {
      $sql .= "($line),";
      $counter++;
    }
    $sql = substr($sql, 0, strlen($sql) - 1);
     if ($conn->query($sql) === TRUE) {
    } else {
     }
    fclose($handle);
} else {  
} 
//unlink CSV file once already imported to DB to clear directory
unlink($data);
?>

upload.php

<script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/1.11.1/jquery.js"></script>
<script>
//Declaration of function that will insert data into database
 function senddata(filename){
        var file = filename;
        $.ajax({
            type: "POST",
            url: "senddata.php",
            data: {file},
            async: true,
            success: function(html){
                $("#result").html(html);
            }
        })
        }
 </script>
<?php
$csv = array();
$batchsize = 1000; //split huge CSV file by 1,000, you can modify this based on your needs
if($_FILES['csv']['error'] == 0){
    $name = $_FILES['csv']['name'];
    $ext = strtolower(end(explode('.', $_FILES['csv']['name'])));
    $tmpName = $_FILES['csv']['tmp_name'];
    if($ext === 'csv'){ //check if uploaded file is of CSV format
        if(($handle = fopen($tmpName, 'r')) !== FALSE) {
            set_time_limit(0);
            $row = 0;
            while(($data = fgetcsv($handle)) !== FALSE) {
                $col_count = count($data);
                //splitting of CSV file :
                if ($row % $batchsize == 0):
                    $file = fopen("minpoints$row.csv","w");
                endif;
                $csv[$row]['col1'] = $data[0];
                $csv[$row]['col2'] = $data[1];
                $min = $data[0];
                $points = $data[1];
                $json = "'$min', '$points'";
                fwrite($file,$json.PHP_EOL);
                //sending the splitted CSV files, batch by batch...
                if ($row % $batchsize == 0):
                    echo "<script> senddata('minpoints$row.csv'); </script>";
                endif;
                $row++; 
            }
            fclose($file);
            fclose($handle);
        }
    }
    else
    {
        echo "Only CSV files are allowed.";
    }
    //alert once done.
    echo "<script> alert('CSV imported!') </script>";
}
?>

就是这样!您已经有了一个可以在几秒钟内导入多行的纯 PHP 脚本! :) (感谢我的搭档教我如何使用 ajax)

关于php - 如何将具有 200,00 行的巨大 CSV 文件导入 MySQL(异步且快速)？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/32504778/