我正在开发需要通过 csv 文件上传数据然后将记录保存到 mysql 表中的应用程序。我在 php 中这样做。到现在为止我已经正确使用了这段代码。
<?php
//date_default_timezone_set("Asia/Karachi");
//echo "The time is " . date("Y-m-d h:i:sa");
$DateTime=date("Y-m-d h:i:sa");
$FilePath=$_POST['img'];
$ID=$_POST['ID'];
$Query_String2="";
// echo $FilePath;
$row = 1;
if(isset($FilePath))
{
// echo "ID is =".$ID;
$Query_String1 = "INSERT into ap_form_$ID VALUES";
if (($handle = fopen($FilePath, "r")) !== FALSE)
{
while (($data = fgetcsv($handle, 1000, ",")) !== FALSE)
{
if($row!=1)
$Query_String2=$Query_String2.",";
$Query_String2= $Query_String2."("."NULL".","."'".$DateTime."'".","."NULL".","."'127.0.0.1'".","."1".","."NULL";
$num = count($data);
$row++;
$master = array();
for ($c=0; $c < $num; $c++)
{
if($c==0)
$Query_String2=$Query_String2.","."'".$data[$c]."'";
else
$Query_String2=$Query_String2.","."'".$data[$c]."'";
//$master[$c]= $data[$c];
}
$Query_String2=$Query_String2.")";
}
$Final_Query=$Query_String1.$Query_String2;
echo "Final Query =".$Final_Query;
$connection = mysqli_connect("localhost", "root","","form_db");
$result = mysqli_query($connection,$Final_Query) or mysql_error();
if($result > 0)
{
echo "
<script type=\"text/javascript\">
alert('Record has been inserted into the form');
</script>
";
}
else
{
echo "
<script type=\"text/javascript\">
alert('I am sorry there is some problem');
</script>
";
}
fclose($handle);
我在这段代码中所做的是,我从 CSV 文件中读取数据,然后生成一个长查询字符串,例如“插入表值 ("bla, bla ,bal),("bla, bla, bla)" 这段代码适用于小数据,就像我在 csv 文件中有高达 1000 的数据一样但是当数据超过 1000 时,过程卡住了,我无法在 mysql 中保存数据。在我的应用程序中,我需要上传至少50000。 解决此问题的任何想法或解决方案。
最佳答案
如果您在运行 MySQL 的同一台服务器上拥有 CSV 文件,您还可以使用 LOAD DATA INFILE 将 CSV 文件直接加载到数据库中,例如
LOAD DATA INFILE 'yourfile.csv'
INTO TABLE yourtable
FIELDS TERMINATED BY ',';
参见 LOAD DATA INFILE 的 MySQL 引用手册了解更多详情。
编辑:
您可以启用LOAD DATA LOCAL 以允许将 CSV 文件从 Web 服务器加载到数据库中,但需要考虑安全因素。同样,reference manual更多详情:
There are two potential security issues with supporting the LOCAL version of LOAD DATA statements:
- The transfer of the file from the client host to the server host is initiated by the MySQL server. In theory, a patched server could be built that would tell the client program to transfer a file of the server's choosing rather than the file named by the client in the LOAD DATA statement. Such a server could access any file on the client host to which the client user has read access.
- In a Web environment where the clients are connecting from a Web server, a user could use LOAD DATA LOCAL to read any files that the Web server process has read access to (assuming that a user could run any command against the SQL server). In this environment, the client with respect to the MySQL server actually is the Web server, not the remote program being run by the user who connects to the Web server.
要在服务器端启用此功能,请使用:
SET GLOBAL local_infile=ON;
之后你可以验证这一点:
> SHOW GLOBAL VARIABLES like "%local%";
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| local_infile | ON |
+---------------+-------+
1 row in set (0.00 sec)
您还需要在 php.ini 中启用它:
[MySQL]
; Allow accessing, from PHP's perspective, local files with LOAD DATA statements
; http://php.net/mysql.allow_local_infile
mysql.allow_local_infile = On
启用本地加载数据后,您可以使用从 Web 服务器直接加载 CSV 文件到数据库中:
LOAD DATA LOCAL INFILE 'yourfile.csv'
INTO TABLE yourtable
FIELDS TERMINATED BY ',';
如果需要在加载数据的同时修改数据,可以先将其存储在局部变量中,然后在插入数据库的同时进行修改,例如:
LOAD DATA LOCAL INFILE 'yourfile.csv'
INTO TABLE yourtable
FIELDS TERMINATED BY ','
(@c1,@c2)
SET column1=NULL, column2=SUBSTRING(@c2,2,3), column3='127.0.0.1';
关于php - 将数据从php中的CSV文件插入mysql,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/24156321/
总的来说,我对ruby还比较陌生,我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础,我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用
我有一个Ruby程序,它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重,我想提高压缩级别,因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗?是否有另一个允许指定压缩级别的Ruby库? 最佳答案 这是我通过查看rubyzip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d
我试图在一个项目中使用rake,如果我把所有东西都放到Rakefile中,它会很大并且很难读取/找到东西,所以我试着将每个命名空间放在lib/rake中它自己的文件中,我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题,但没有任务。我现在只有一个.rake文件作为测试,名为“servers.rake”,它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时
我的目标是转换表单输入,例如“100兆字节”或“1GB”,并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前,我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效,但前提是输入是倍数(“gigabytes”,而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以,功能正常,
作为我的Rails应用程序的一部分,我编写了一个小导入程序,它从我们的LDAP系统中吸取数据并将其塞入一个用户表中。不幸的是,与LDAP相关的代码在遍历我们的32K用户时泄漏了大量内存,我一直无法弄清楚如何解决这个问题。这个问题似乎在某种程度上与LDAP库有关,因为当我删除对LDAP内容的调用时,内存使用情况会很好地稳定下来。此外,不断增加的对象是Net::BER::BerIdentifiedString和Net::BER::BerIdentifiedArray,它们都是LDAP库的一部分。当我运行导入时,内存使用量最终达到超过1GB的峰值。如果问题存在,我需要找到一些方法来更正我的代
Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情? 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中,使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件,我们在StackOverflow上找到一个类似的问题
对于具有离线功能的智能手机应用程序,我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl
我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚
我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
使用带有Rails插件的vim,您可以创建一个迁移文件,然后一次性打开该文件吗?textmate也可以这样吗? 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件,这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails,您可以创建一个新的迁移文件并一次性打开它吗?,我们在StackOverflow上找到一个类似的问题: https://sta