草庐IT

#导入Word文档图片#值得收藏:当向数据库导入大量数据时,mysql主键唯一键重复插入,如何丝滑操作并不导入重复数据呢

迷彩编程 2023-03-28 原文
最近要导入大量数据到数据库，数据库中有数据列要求唯一的，也就是唯一键，但是我拿到的数据有部分重复，一运行就会出错，如果把重复数据找出来，删除后在导入，太麻烦了，所以想要丝滑导入,并忽略重复数据,有了下面的解决方案:

本次案例使用phpmyadmin进行演示

1.准备

比如我有如下的数据表(order):orderNo为唯一列

目前表中已存在如下数据:

建表代码如下:当然你也可以使用PHPmyadmin或者Navicat等管理工具,使用可视化的方式创建数据库和表

--建表
CREATE DATABASE hotel;

--
-- 表的结构 `order`
--

CREATE TABLE IF NOT EXISTS `order` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`orderNo` varchar(80) NOT NULL DEFAULT '0',
`proId` int(11) NOT NULL DEFAULT '0',
PRIMARY KEY (`id`),
UNIQUE KEY `orderNo` (`orderNo`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 AUTO_INCREMENT=6 ;

--
-- 转存表中的数据 `order`
--

INSERT INTO `order` (`id`, `orderNo`, `proId`) VALUES
(1, '12345678', 1),
(2, '12345676', 1),
(3, '12345876', 2),
(4, '12345877', 2),
(5, '12345879', 3);

我现在拿到的数据如下:

INSERT INTO `order` ( `orderNo`, `proId`) VALUES
('12345678', 1),
('12345696', 1),
('12345886', 2),
('12345877', 2),
('32345817', 2),
('12345827', 2),
('12345887', 2),
('12345849', 3);

上面的数据中有多条重复,如果这时候导入,会出现下面的报错:

执行到第一条的时候就已经有重复的数据.所以在执行导入第一条数据时就会报错,剩下的数据不会再继续执行,但是如果导入的数据中前面没有重复的,只是中间某一条和数据库orderNo列已存在的数据重复,前面重复的数据会导入,直到执行到出现重复那条数据,然后出现如上图一样的报错,并停止执行数据导入.

那么遇到以上问题,想要丝滑导入不重复的数据,且不会因为个别数据重复,影响数据导入中断,应该怎么操作?

2.解决方法:

1.初级方法:
a.insert后面添加ignore

使用ignore当插入的值遇到​​主键​​(PRIMARY KEY)或者唯一键(UNIQUE KEY)重复时自动忽略重复的记录行，而且不会影响后面的记录行的插入。

比如我把执行脚本改为如下代码:

INSERT ignore INTO `order` ( `orderNo`, `proId`) VALUES
('12345678', 1),
('12345696', 1),
('12345886', 2),
('12345877', 2),
('32345817', 2),
('12345827', 2),
('12345887', 2),
('12345849', 3);

这时候执行这个SQL语句就能丝滑导入数据:从下图执行的结果可以看出,不重复的数据已经完全导入,而且会忽略重复数据,不受重复数据的影响

2.replace
a.使用replace代替insert

使用replace插入的记录遇到主键或者唯一键重复时会先删除表中已存在的重复记录行再执行插入

代码如下:

replace INTO `order` ( `orderNo`, `proId`) VALUES
('12345678', 1),
('12345696', 1),
('12345886', 2),
('12345877', 2),
('32345817', 2),
('12345827', 2),
('12345887', 2),
('12345849', 3);

执行结果如下:

从执行结果的自增ID就可以看出replace会先删除已有数据再插入

3.使用更新的方式插入已有数据​
ON DUPLICATE KEY UPDATE为Mysql特有语法，语句的作用，当​​insert​​已经存在的记录时，执行Update

Mysql告诉我们，我们的主键冲突了，我们是不是可以改变一下思路，当插入已存在主键的记录时，将插入操作变为修改：

INSERT INTO `order` (id,orderNo,proId) VALUES(2,'88888',4) ON DUPLICATE KEY UPDATE id = 88,orderNo='888888';

执行结果如下:

本来id为2的数据变为88且orderNo更新为888888

VALUES修改
那么问题又来了，有人会说我ON DUPLICATE KEY UPDATE 后面跟的是固定的值，如果我想要分别给不同的记录插入不同的值怎么办呢？

可以将后面的修改条件改为VALUES(orderNo)，动态的传入要修改的值，执行以下：

INSERT INTO `order` (id,orderNo,proId) VALUES(3,'808080808',4),(88,'9191919',4) ON DUPLICATE KEY UPDATE orderNo=VALUES(orderNo);

执行结果:

我们成功的为不同id的orderNo修改成了不同的值

3.总结

修改的方法有很多种，包括SET或用REPLACE，ignore,连事务都省了，这些在日常的使用当中已经能够满足导入需求,ON DUPLICATE KEY UPDATE能够让我们便捷的完成重复插入的开发需求，但它是Mysql的特有语法，使用时应多注意主键和插入值是否是我们想要插入或修改的key、Value。前面几种较,ON DUPLICATE KEY UPDATE简单且灵活

值得mysqlspanstylecolor数据主键重复数据MYSQL大数据MySQL数据库Word文档导入

有关#导入Word文档图片#值得收藏:当向数据库导入大量数据时,mysql主键唯一键重复插入,如何丝滑操作并不导入重复数据呢的更多相关文章

  1. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  2. ruby - Ruby 有 `Pair` 数据类型吗？ - 2

    有时我需要处理键/值数据。我不喜欢使用数组，因为它们在大小上没有限制(很容易不小心添加超过2个项目，而且您最终需要稍后验证大小)。此外，0和1的索引变成了魔数(MagicNumber)，并且在传达含义方面做得很差(“当我说0时，我的意思是head...”)。散列也不合适，因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题，但我很想知道:Ruby标准库是否已经带有这样一个类？ 最佳

  3. ruby - 检查是否通过 require 执行或导入了 Ruby 程序 - 2

    如何检查Ruby文件是否是通过“require”或“load”导入的，而不是简单地从命令行执行的？例如:foo.rb的内容:puts"Hello"bar.rb的内容require'foo'输出:$./foo.rbHello$./bar.rbHello基本上，我想调用bar.rb以不执行puts调用。 最佳答案 将foo.rb改为:if__FILE__==$0puts"Hello"end检查__FILE__-当前ruby​​文件的名称-与$0-正在运行的脚本的名称。 关于ruby-检查是否

  4. ruby - 我如何添加二进制数据来遏制 POST - 2

    我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_

  5. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用，HOOPSPlatform组件都可以为您提供弹性的3D集成架构，同时，由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台（桌面/WEB/APP，而且某些客户端是“瘦”客户端）快速、方便地将数据接入到3D应用系统的解决方案，并且当访问数据时，在各个平台上的性能和用户体验保持一致，HOOPSPlatform将帮助您完成。利用HOOPSPlatform，您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品，HOOPSSDK包含的技术有：快速且准确的CAD

  6. FOHEART H1数据手套驱动Optitrack光学动捕双手运动(Unity3D) - 2

    本教程将在Unity3D中混合Optitrack与数据手套的数据流，在人体运动的基础上，添加双手手指部分的运动。双手手背的角度仍由Optitrack提供，数据手套提供双手手指的角度。 01  客户端软件分别安装MotiveBody与MotionVenus并校准人体与数据手套。MotiveBodyMotionVenus数据手套使用、校准流程参照：https://gitee.com/foheart_1/foheart-h1-data-summary.git02  数据转发打开MotiveBody软件的Streaming，开始向Unity3D广播数据；MotionVenus中设置->选项选择Unit

  7. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目，Java开发。基于数据库增量日志解析，提供增量数据订阅&消费。Git地址：https://github.co

  8. ruby-on-rails - 创建 ruby​​ 数据库时惰性符号绑定(bind)失败 - 2

    我正在尝试在Rails上安装ruby​​，到目前为止一切都已安装，但是当我尝试使用rakedb:create创建数据库时，我收到一个奇怪的错误:dyld:lazysymbolbindingfailed:Symbolnotfound:_mysql_get_client_infoReferencedfrom:/Library/Ruby/Gems/1.8/gems/mysql2-0.3.11/lib/mysql2/mysql2.bundleExpectedin:flatnamespacedyld:Symbolnotfound:_mysql_get_client_infoReferencedf

  9. STM32读取串口传感器数据（颗粒物传感器，主动上传） - 2

    文章目录1.开发板选择*用到的资源2.串口通信（个人理解）3.代码分析（注释比较详细）1.主函数2.串口1配置3.串口2配置以及中断函数4.注意问题5.源码链接1.开发板选择我用的是STM32F103RCT6的板子，不过代码大概在F103系列的板子上都可以运行，我试过在野火103的霸道板上也可以，主要看一下串口对应的引脚一不一样就行了，不一样的就更改一下。*用到的资源keil5软件这里用到了两个串口资源，采集数据一个，串口通信一个，板子对应引脚如下：串口1，TX：PA9，RX：PA10串口2，TX：PA2，RX：PA32.串口通信（个人理解）我就从串口采集传感器数据这个过程说一下我自己的理解，

  10. SPI接收数据异常问题总结 - 2

    SPI接收数据左移一位问题目录SPI接收数据左移一位问题一、问题描述二、问题分析三、探究原理四、经验总结最近在工作在学习调试SPI的过程中遇到一个问题——接收数据整体向左移了一位（1bit）。SPI数据收发是数据交换，因此接收数据时从第二个字节开始才是有效数据，也就是数据整体向右移一个字节（1byte）。请教前辈之后也没有得到解决，通过在网上查阅前人经验终于解决问题，所以写一个避坑经验总结。实际背景：MCU与一款芯片使用spi通信，MCU作为主机，芯片作为从机。这款芯片采用的是它规定的六线SPI，多了两根线：RDY和INT，这样从机就可以主动请求主机给主机发送数据了。一、问题描述根据从机芯片手

随机推荐