草庐IT

<JDBC> 批量插入 的四种实现方式:你真的get到了吗?

努力的小鳴人 2023-04-20 原文


🛒本文收录与专栏《JDBC》专栏
📢专栏目的是解释JDBC的关键点,与各位一路同行,会持续输出,欢迎免费订阅!!

✨总有人间一两风,填我十万八千梦✨


目录


一、批量插入

批量插入就是批量执行SQL语句

当需要成批插入或者更新记录时,可以采用Java的批量更新机制,这一机制允许多条语句一次性提交给数据库批量处理。通常情况下比单独提交处理更有效率

JDBC的批量处理语句包括下面三个方法
addBatch(String):添加需要批量处理的SQL语句或是参数
executeBatch():执行批量处理语句
clearBatch():清空缓存的数据

通常情况下我们会遇到两种批量执行SQL语句的情况:

  1. 多条SQL语句的批量处理
  2. 一个SQL语句的批量传参

二、举例

举例:向数据表中插入20000条数据

数据库中提供一个goods表:创建如下:

    CREATE TABLE goods(
    id INT PRIMARY KEY AUTO_INCREMENT,
    NAME VARCHAR(20)
    );

🔥实现方式一

使用Statement

    Connection conn = JDBCUtils.getConnection();
    Statement st = conn.createStatement();
    for(int i = 1;i <= 20000;i++){
    	String sql = "insert into goods(name) values('name_' + "+ i +")";
    	st.executeUpdate(sql);
    }

🔥实现方式二

使用PreparedStatement

    long start = System.currentTimeMillis();
    		
    Connection conn = JDBCUtils.getConnection();
    		
    String sql = "insert into goods(name)values(?)";
    PreparedStatement ps = conn.prepareStatement(sql);
    for(int i = 1;i <= 20000;i++){
    	ps.setString(1, "name_" + i);
    	ps.executeUpdate();
    }
    		
    long end = System.currentTimeMillis();
    System.out.println("花费的时间为:" + (end - start));//82340
    		
    		
    JDBCUtils.closeResource(conn, ps);

🔥实现方式三

  1. 使用 addBatch() / executeBatch() / clearBatch()
  2. mysql服务器默认是关闭批处理的,我们需要通过一个参数,让mysql开启批处理的支持
    ?rewriteBatchedStatements=true 写在配置文件的url后面
  3. 使用更新的mysql 驱动:mysql-connector-java-5.1.37-bin.jar
    @Test
    public void testInsert3() throws Exception{
    	long start = System.currentTimeMillis();
    		
    	Connection conn = JDBCUtils.getConnection();
    		
    	String sql = "insert into goods(name)values(?)";
    	PreparedStatement ps = conn.prepareStatement(sql);
    		
    	for(int i = 1;i <= 1000000;i++){
    		ps.setString(1, "name_" + i);
    			
    		//1.“攒”sql
    		ps.addBatch();
    		if(i % 500 == 0){
    			//2.执行
    			ps.executeBatch();
    			//3.清空
    			ps.clearBatch();
    		}
    	}
    		
    	long end = System.currentTimeMillis();
    	System.out.println("花费的时间为:" + (end - start));//20000条:625                                                                         //1000000条:14733  
    		
    	JDBCUtils.closeResource(conn, ps);
    }

🔥实现方式四

在方式三的基础上操作
使用Connection 的 setAutoCommit(false) / commit()

    @Test
    public void testInsert4() throws Exception{
    	long start = System.currentTimeMillis();
    		
    	Connection conn = JDBCUtils.getConnection();
    		
    	//1.设置为不自动提交数据
    	conn.setAutoCommit(false);
    		
    	String sql = "insert into goods(name)values(?)";
    	PreparedStatement ps = conn.prepareStatement(sql);
    		
    	for(int i = 1;i <= 1000000;i++){
    		ps.setString(1, "name_" + i);
    			
    		//1.“攒”sql
    		ps.addBatch();
    			
    		if(i % 500 == 0){
    			//2.执行
    			ps.executeBatch();
    			//3.清空
    			ps.clearBatch();
    		}
    	}
    		
    	//2.提交数据
    	conn.commit();
    		
    	long end = System.currentTimeMillis();
    	System.out.println("花费的时间为:" + (end - start));//1000000条:4978 
    		
    	JDBCUtils.closeResource(conn, ps);
    }


这四种实现方式总是忘,浅浅总结下,希望会有用~

有关<JDBC> 批量插入 的四种实现方式:你真的get到了吗?的更多相关文章

  1. ruby - Facter::Util::Uptime:Module 的未定义方法 get_uptime (NoMethodError) - 2

    我正在尝试设置一个puppet节点,但ruby​​gems似乎不正常。如果我通过它自己的二进制文件(/usr/lib/ruby/gems/1.8/gems/facter-1.5.8/bin/facter)在cli上运行facter,它工作正常,但如果我通过由ruby​​gems(/usr/bin/facter)安装的二进制文件,它抛出:/usr/lib/ruby/1.8/facter/uptime.rb:11:undefinedmethod`get_uptime'forFacter::Util::Uptime:Module(NoMethodError)from/usr/lib/ruby

  2. ruby - 如何以所有可能的方式将字符串拆分为长度最多为 3 的连续子字符串? - 2

    我试图获取一个长度在1到10之间的字符串,并输出将字符串分解为大小为1、2或3的连续子字符串的所有可能方式。例如:输入:123456将整数分割成单个字符,然后继续查找组合。该代码将返回以下所有数组。[1,2,3,4,5,6][12,3,4,5,6][1,23,4,5,6][1,2,34,5,6][1,2,3,45,6][1,2,3,4,56][12,34,5,6][12,3,45,6][12,3,4,56][1,23,45,6][1,2,34,56][1,23,4,56][12,34,56][123,4,5,6][1,234,5,6][1,2,345,6][1,2,3,456][123

  3. ruby - 解析 RDFa、微数据等的最佳方式是什么,使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  4. ruby - 如何根据特征实现 FactoryGirl 的条件行为 - 2

    我有一个用户工厂。我希望默认情况下确认用户。但是鉴于unconfirmed特征,我不希望它们被确认。虽然我有一个基于实现细节而不是抽象的工作实现,但我想知道如何正确地做到这一点。factory:userdoafter(:create)do|user,evaluator|#unwantedimplementationdetailshereunlessFactoryGirl.factories[:user].defined_traits.map(&:name).include?(:unconfirmed)user.confirm!endendtrait:unconfirmeddoenden

  5. ruby-on-rails - 正确的 Rails 2.1 做事方式 - 2

    question的一些答案关于redirect_to让我想到了其他一些问题。基本上,我正在使用Rails2.1编写博客应用程序。我一直在尝试自己完成大部分工作(因为我对Rails有所了解),但在需要时会引用Internet上的教程和引用资料。我设法让一个简单的博客正常运行,然后我尝试添加评论。靠我自己,我设法让它进入了可以从script/console添加评论的阶段,但我无法让表单正常工作。我遵循的其中一个教程建议在帖子Controller中创建一个“评论”操作,以添加评论。我的问题是:这是“标准”方式吗?我的另一个问题的答案之一似乎暗示应该有一个CommentsController参

  6. Matlab imread()读到了什么 (浅显 当复习文档了) - 2

    matlab打开matlab,用最简单的imread方法读取一个图像clcclearimg_h=imread('hua.jpg');返回一个数组(矩阵),往往是a*b*cunit8类型解释一下这个三维数组的意思,行数、数和层数,unit8:指数据类型,无符号八位整形,可理解为0~2^8的数三个层数分别代表RGB三个通道图像rgb最常用的是24-位实现方法,即RGB每个通道有256色阶(2^8)。基于这样的24-位RGB模型的色彩空间可以表现256×256×256≈1670万色当imshow传入了一个二维数组,它将以灰度方式绘制;可以把图像拆分为rgb三层,可以以灰度的方式观察它figure(1

  7. 华为OD机试用Python实现 -【明明的随机数】 2023Q1A - 2

    华为OD机试题本篇题目:明明的随机数题目输入描述输出描述:示例1输入输出说明代码编写思路最近更新的博客华为od2023|什么是华为od,od薪资待遇,od机试题清单华为OD机试真题大全,用Python解华为机试题|机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为o

  8. 【鸿蒙应用开发系列】- 获取系统设备信息以及版本API兼容调用方式 - 2

    在应用开发中,有时候我们需要获取系统的设备信息,用于数据上报和行为分析。那在鸿蒙系统中,我们应该怎么去获取设备的系统信息呢,比如说获取手机的系统版本号、手机的制造商、手机型号等数据。1、获取方式这里分为两种情况,一种是设备信息的获取,一种是系统信息的获取。1.1、获取设备信息获取设备信息,鸿蒙的SDK包为我们提供了DeviceInfo类,通过该类的一些静态方法,可以获取设备信息,DeviceInfo类的包路径为:ohos.system.DeviceInfo.具体的方法如下:ModifierandTypeMethodDescriptionstatic StringgetAbiList​()Obt

  9. 基于C#实现简易绘图工具【100010177】 - 2

    C#实现简易绘图工具一.引言实验目的:通过制作窗体应用程序(C#画图软件),熟悉基本的窗体设计过程以及控件设计,事件处理等,熟悉使用C#的winform窗体进行绘图的基本步骤,对于面向对象编程有更加深刻的体会.Tutorial任务设计一个具有基本功能的画图软件**·包括简单的新建文件,保存,重新绘图等功能**·实现一些基本图形的绘制,包括铅笔和基本形状等,学习橡皮工具的创建**·设计一个合理舒适的UI界面**注明:你可能需要先了解一些关于winform窗体应用程序绘图的基本知识,以及关于GDI+类和结构的知识二.实验环境Windows系统下的visualstudio2017C#窗体应用程序三.

  10. Get https://registry-1.docker.io/v2/: net/http: request canceled while waiting - 2

    1.错误信息:Errorresponsefromdaemon:Gethttps://registry-1.docker.io/v2/:net/http:requestcanceledwhilewaitingforconnection(Client.Timeoutexceededwhileawaitingheaders)或者:Errorresponsefromdaemon:Gethttps://registry-1.docker.io/v2/:net/http:TLShandshaketimeout2.报错原因:docker使用的镜像网址默认为国外,下载容易超时,需要修改成国内镜像地址(首先阿里

随机推荐