【SQL开发实战技巧】系列(一):关于SQL不得不说的那些事
【SQL开发实战技巧】系列(二):简单单表查询
【SQL开发实战技巧】系列(三):SQL排序的那些事
【SQL开发实战技巧】系列(四):从执行计划讨论UNION ALL与空字符串&UNION与OR的使用注意事项
【SQL开发实战技巧】系列(五):从执行计划看IN、EXISTS 和 INNER JOIN效率,我们要分场景不要死记网上结论
【SQL开发实战技巧】系列(六):从执行计划看NOT IN、NOT EXISTS 和 LEFT JOIN效率,记住内外关联条件不要乱放
【SQL开发实战技巧】系列(七):从有重复数据前提下如何比较出两个表中的差异数据及对应条数聊起
【SQL开发实战技巧】系列(八):聊聊如何插入数据时比约束更灵活的限制数据插入以及怎么一个insert语句同时插入多张表
【SQL开发实战技巧】系列(九):一个update误把其他列数据更新成空了?Merge改写update!给你五种删除重复数据的写法!
【SQL开发实战技巧】系列(十):从拆分字符串、替换字符串以及统计字符串出现次数说起
【SQL开发实战技巧】系列(十一):拿几个案例讲讲translate|regexp_replace|listagg|wmsys.wm_concat|substr|regexp_substr常用函数
【SQL开发实战技巧】系列(十二):三问(如何对字符串字母去重后按字母顺序排列字符串?如何识别哪些字符串中包含数字?如何将分隔数据转换为多值IN列表?)
【SQL开发实战技巧】系列(十三):讨论一下常用聚集函数&通过执行计划看sum()over()对员工工资进行累加
【SQL开发实战技巧】系列(十四):计算消费后的余额&计算银行流水累计和&计算各部门工资排名前三位的员工
【SQL开发实战技巧】系列(十五):查找最值所在行数据信息及快速计算总和百之max/min() keep() over()、fisrt_value、last_value、ratio_to_report
【SQL开发实战技巧】系列(十六):数据仓库中时间类型操作(初级)日、月、年、时、分、秒之差及时间间隔计算
【SQL开发实战技巧】系列(十七):数据仓库中时间类型操作(初级)确定两个日期之间的工作天数、计算—年中周内各日期出现次数、确定当前记录和下一条记录之间相差的天数
【SQL开发实战技巧】系列(十八):数据仓库中时间类型操作(进阶)INTERVAL、EXTRACT以及如何确定一年是否为闰年及周的计算
【SQL开发实战技巧】系列(十九):数据仓库中时间类型操作(进阶)如何一个SQL打印当月或一年的日历?如何确定某月内第一个和最后—个周内某天的日期?
【SQL开发实战技巧】系列(二十):数据仓库中时间类型操作(进阶)获取季度开始结束时间以及如何统计非连续性时间的数据
【SQL开发实战技巧】系列(二十一):数据仓库中时间类型操作(进阶)识别重叠的日期范围,按指定10分钟时间间隔汇总数据
【SQL开发实战技巧】系列(二十二):数仓报表场景☞ 从分析函数效率一定快吗聊一聊结果集分页和隔行抽样实现方式
【SQL开发实战技巧】系列(二十三):数仓报表场景☞ 如何对数据排列组合去重以及通过如何找到包含最大值和最小值的记录这个问题再次用执行计划给你证明分析函数性能不一定高
【SQL开发实战技巧】系列(二十四):数仓报表场景☞通过案例执行计划详解”行转列”,”列转行”是如何实现的
【SQL开发实战技巧】系列(二十五):数仓报表场景☞结果集中的重复数据只显示一次以及计算部门薪资差异高效的写法以及如何对数据进行快速分组
【SQL开发实战技巧】系列(二十六):数仓报表场景☞聊聊ROLLUP、UNION ALL是如何分别做分组合计的以及如何识别哪些行是做汇总的结果行
文章目录
本篇文章讲解的主要内容是:你有没有经历过一个update把其他列数据清空了、使用merge更新合并记录、删除违反参照完整性的记录、给你五种删除重复数据的写法
【SQL开发实战技巧】这一系列博主当作复习旧知识来进行写作,毕竟SQL开发在数据分析场景非常重要且基础,面试也会经常问SQL开发和调优经验,相信当我写完这一系列文章,也能再有所收获,未来面对SQL面试也能游刃有余~。
如标题,没开玩笑。工作中很容易出现这种情况,博主就遇到过很多同事这样做了。
拿个案例讲解吧!
create table empd as select * from emp;
alter table empd add dname varchar2(20) default 'default';
SQL> select * from empd;
EMPNO ENAME JOB MGR HIREDATE SAL COMM DEPTNO DNAME
----- ---------- --------- ----- ----------- --------- --------- ------ --------------------
7369 SMITH CLERK 7902 1980-12-17 800.00 20 default
7499 ALLEN SALESMAN 7698 1981-2-20 1600.00 300.00 30 default
7521 WARD SALESMAN 7698 1981-2-22 1250.00 500.00 30 default
7566 JONES MANAGER 7839 1981-4-2 2975.00 20 default
7654 MARTIN SALESMAN 7698 1981-9-28 1250.00 1400.00 30 default
7698 BLAKE MANAGER 7839 1981-5-1 2850.00 30 default
7782 CLARK MANAGER 7839 1981-6-9 2450.00 10 default
7788 SCOTT ANALYST 7566 1987-4-19 3000.00 20 default
7839 KING PRESIDENT 1981-11-17 5000.00 10 default
7844 TURNER SALESMAN 7698 1981-9-8 1500.00 0.00 30 default
7876 ADAMS CLERK 7788 1987-5-23 1100.00 20 default
7900 JAMES CLERK 7698 1981-12-3 950.00 30 default
7902 FORD ANALYST 7566 1981-12-3 3000.00 20 default
7934 MILLER CLERK 7782 1982-1-23 1300.00 10 default
1001 test 2021-10-9 1 default
15 rows selected
接下来有个需求:只更新部门(10:ACCOUNTING,20:RESEARCH)的数据。其他未更新的部门名称应该保持为default不变。
大家会不会这么写这个SQL?
update empd
set dname =
(select dname
from dept
where dept.deptno = empd.deptno
and dept.deptno in (10, 20));
好,看下这个sql的执行结果:
SQL> update empd
2 set dname =
3 (select dname
4 from dept
5 where dept.deptno = empd.deptno
6 and dept.deptno in (10, 20));
15 rows updated
SQL> select * from empd;
EMPNO ENAME JOB MGR HIREDATE SAL COMM DEPTNO DNAME
----- ---------- --------- ----- ----------- --------- --------- ------ --------------------
7369 SMITH CLERK 7902 1980-12-17 800.00 20 RESEARCH
7499 ALLEN SALESMAN 7698 1981-2-20 1600.00 300.00 30
7521 WARD SALESMAN 7698 1981-2-22 1250.00 500.00 30
7566 JONES MANAGER 7839 1981-4-2 2975.00 20 RESEARCH
7654 MARTIN SALESMAN 7698 1981-9-28 1250.00 1400.00 30
7698 BLAKE MANAGER 7839 1981-5-1 2850.00 30
7782 CLARK MANAGER 7839 1981-6-9 2450.00 10 ACCOUNTING
7788 SCOTT ANALYST 7566 1987-4-19 3000.00 20 RESEARCH
7839 KING PRESIDENT 1981-11-17 5000.00 10 ACCOUNTING
7844 TURNER SALESMAN 7698 1981-9-8 1500.00 0.00 30
7876 ADAMS CLERK 7788 1987-5-23 1100.00 20 RESEARCH
7900 JAMES CLERK 7698 1981-12-3 950.00 30
7902 FORD ANALYST 7566 1981-12-3 3000.00 20 RESEARCH
7934 MILLER CLERK 7782 1982-1-23 1300.00 10 ACCOUNTING
1001 test 2021-10-9 1
15 rows selected
SQL> rollback;
可以看到,这个语句是对全表做更新,而不是需求所说的部门(10:ACCOUNTING,20:RESEARCH),而且因为部门(30:SALES)没有匹配到的数据,dname均被更新为NULL值了。
可以想象,在生产环境中,大量的数据被清空或改错是多扯淡的行为(DBA肯定背地问候你)?原因在于该语句中少了必要的过滤条件。
以上UPDATE语句的结果及错误用查询语句描述如下:
select deptno,
dname as old_dname,
(select dname
from dept
where dept.deptno = empd.deptno
and dept.deptno in (10, 20)) as new_name,
case
when empd.deptno not in (10, 20) then
'无辜的行'
end as des
from empd;
DEPTNO OLD_DNAME NEW_NAME DES
------ -------------------- -------------- --------
20 default RESEARCH
30 default 无辜的行
30 default 无辜的行
20 default RESEARCH
30 default 无辜的行
30 default 无辜的行
10 default ACCOUNTING
20 default RESEARCH
10 default ACCOUNTING
30 default 无辜的行
20 default RESEARCH
30 default 无辜的行
20 default RESEARCH
10 default ACCOUNTING
default
15 rows selected
正确的思路是要加上限定条件的!!!
select deptno,
dname as old_dname,
(select dname
from dept
where dept.deptno = empd.deptno
and dept.deptno in (10, 20)) as new_name,
case
when empd.deptno not in (10, 20) then
'无辜的行'
end as des
from empd
where exists(
select dname
from dept
where dept.deptno = empd.deptno
and dept.deptno in (10, 20)
);
DEPTNO OLD_DNAME NEW_NAME DES
------ -------------------- -------------- --------
20 default RESEARCH
20 default RESEARCH
10 default ACCOUNTING
20 default RESEARCH
10 default ACCOUNTING
20 default RESEARCH
20 default RESEARCH
10 default ACCOUNTING
8 rows selected
同样的正确的update语句应该这么来:
SQL> update empd
2 set dname =
3 (select dname
4 from dept
5 where dept.deptno = empd.deptno
6 and dept.deptno in (10, 20))
7 where exists(
8 select dname
9 from dept
10 where dept.deptno = empd.deptno
11 and dept.deptno in (10, 20)
12 );
8 rows updated
SQL> select * from empd;
EMPNO ENAME JOB MGR HIREDATE SAL COMM DEPTNO DNAME
----- ---------- --------- ----- ----------- --------- --------- ------ --------------------
7369 SMITH CLERK 7902 1980-12-17 800.00 20 RESEARCH
7499 ALLEN SALESMAN 7698 1981-2-20 1600.00 300.00 30 default
7521 WARD SALESMAN 7698 1981-2-22 1250.00 500.00 30 default
7566 JONES MANAGER 7839 1981-4-2 2975.00 20 RESEARCH
7654 MARTIN SALESMAN 7698 1981-9-28 1250.00 1400.00 30 default
7698 BLAKE MANAGER 7839 1981-5-1 2850.00 30 default
7782 CLARK MANAGER 7839 1981-6-9 2450.00 10 ACCOUNTING
7788 SCOTT ANALYST 7566 1987-4-19 3000.00 20 RESEARCH
7839 KING PRESIDENT 1981-11-17 5000.00 10 ACCOUNTING
7844 TURNER SALESMAN 7698 1981-9-8 1500.00 0.00 30 default
7876 ADAMS CLERK 7788 1987-5-23 1100.00 20 RESEARCH
7900 JAMES CLERK 7698 1981-12-3 950.00 30 default
7902 FORD ANALYST 7566 1981-12-3 3000.00 20 RESEARCH
7934 MILLER CLERK 7782 1982-1-23 1300.00 10 ACCOUNTING
1001 test 2021-10-9 1 default
15 rows selected
SQL> rollback;
好了,这样更新就对了,当然了我们还可以通过更新VIEW方式去实现这个需求,将需要被更新的数据范围查出来然后update这个view,或则使用merge方式去实现,我这里给一个merge的更新sql:
merge into empd aa
using (select deptno, dname from dept where dept.deptno in (10, 20)) dd
on (aa.deptno = dd.deptno)
when matched then
update set aa.dname = dd.dname;
我为什么只给merge的呢,一因为update view的方式类似,二的话,咱们看下update语句和merge语句的执行计划:
Plan Hash Value : 1616490401
--------------------------------------------------------------------------------------
| Id | Operation | Name | Rows | Bytes | Cost | Time |
--------------------------------------------------------------------------------------
| 0 | MERGE STATEMENT | | 9 | 405 | 5 | 00:00:01 |
| 1 | MERGE | EMPD | | | | |
| 2 | VIEW | | | | | |
| * 3 | HASH JOIN | | 9 | 441 | 5 | 00:00:01 |
| 4 | INLIST ITERATOR | | | | | |
| 5 | TABLE ACCESS BY INDEX ROWID | DEPT | 2 | 26 | 2 | 00:00:01 |
| * 6 | INDEX UNIQUE SCAN | PK_DEPT | 2 | | 1 | 00:00:01 |
| * 7 | TABLE ACCESS FULL | EMPD | 9 | 324 | 3 | 00:00:01 |
--------------------------------------------------------------------------------------
Predicate Information (identified by operation id):
------------------------------------------
* 3 - access("AA"."DEPTNO"="DEPTNO")
* 6 - access("DEPT"."DEPTNO"=10 OR "DEPT"."DEPTNO"=20)
* 7 - filter("AA"."DEPTNO"=10 OR "AA"."DEPTNO"=20)
在回头看下正确的update的执行计划:
Plan Hash Value : 430611376
------------------------------------------------------------------------------------
| Id | Operation | Name | Rows | Bytes | Cost | Time |
------------------------------------------------------------------------------------
| 0 | UPDATE STATEMENT | | 9 | 351 | 21 | 00:00:01 |
| 1 | UPDATE | EMPD | | | | |
| 2 | NESTED LOOPS | | 9 | 351 | 3 | 00:00:01 |
| * 3 | TABLE ACCESS FULL | EMPD | 9 | 324 | 3 | 00:00:01 |
| * 4 | INDEX UNIQUE SCAN | PK_DEPT | 1 | 3 | 0 | 00:00:01 |
| * 5 | FILTER | | | | | |
| 6 | TABLE ACCESS BY INDEX ROWID | DEPT | 1 | 13 | 1 | 00:00:01 |
| * 7 | INDEX UNIQUE SCAN | PK_DEPT | 1 | | 0 | 00:00:01 |
------------------------------------------------------------------------------------
Predicate Information (identified by operation id):
------------------------------------------
* 3 - filter("EMPD"."DEPTNO"=10 OR "EMPD"."DEPTNO"=20)
* 4 - access("DEPT"."DEPTNO"="EMPD"."DEPTNO")
* 4 - filter("DEPT"."DEPTNO"=10 OR "DEPT"."DEPTNO"=20)
* 5 - filter(10=:B1 OR 20=:B1)
* 7 - access("DEPT"."DEPTNO"=:B1)
* 7 - filter("DEPT"."DEPTNO"=10 OR "DEPT"."DEPTNO"=20)
从上面执行计划你能看到,使用merge只读了一次dept表!!!如果是大表的话肯定这个快嘛
前面介绍了MERGE INTO的好处,那么怎么使用呢?下面用注释及等价改写的方式来介绍
merge into empd aa --只更新这个表
using dept dd --用来更新aa表的表
on (aa.deptno = dd.deptno)--两个表更新时候的关联条件
--匹配条件aa.deptno = dd.deptno
when matched then--当aa表中存在与dd表对应数据时进行update or delete
update set aa.dname = dd.dname --这里update的范围就是(aa.deptno = dd.deptno)的范围减去被删掉的 aa.comm is null的结果
delete where aa.comm is null --where 在matched中只能出现一次,如果这里出现了那update哪里再出现的话,delete的where 条件这个无效,删除时候,只更新comm is null 的数据
when not matched then--当不满足匹配条件aa.deptno = dd.deptno的数据进行下面操作
insert
(empno,deptno,dname)
values
(dd.deptno, dd.deptno,dd.dname)where(dd.loc is not null) --新增的时候只更新loc is not null的数据,注意这里是aa表中不存在对应数时候才新增
EMPNO ENAME JOB MGR HIREDATE SAL COMM DEPTNO DNAME
----- ---------- --------- ----- ----------- --------- --------- ------ --------------------
7499 ALLEN SALESMAN 7698 1981-2-20 1600.00 300.00 30 SALES
7521 WARD SALESMAN 7698 1981-2-22 1250.00 500.00 30 SALES
7654 MARTIN SALESMAN 7698 1981-9-28 1250.00 1400.00 30 SALES
7844 TURNER SALESMAN 7698 1981-9-8 1500.00 0.00 30 SALES
1001 test 2021-10-9 1 default
40 40 OPERATIONS
6 rows selected
创建测试用表:
create table empc as select * from emp;
create table deptc as select * from dept;
alter table empc
add constraint pk_empc primary key (EMPNO);
alter table deptc
add constraint pk_deptc primary key (deptno);
insert into empc(empno,ename,deptno)values(1221,'zhaoyd',50);
当我们增加如下外键时,会因数据违反完整性而报错:
SQL> alter table empc
2 add constraint FK_DEPTNO foreign key (DEPTNO)
3 references deptc (DEPTNO);
ORA-02298: 无法验证 (ZYD.FK_DEPTNO) - 未找到父项关键字
这种提示在处理业务时会经常遇到,是因为子表中的数据(deptno:50)与主表不一致(主表中没有deptno:50)引起的。
这时就要处理违反完整性的数据,要根据情况选择在主表中加入数据,或删除子表中的数据。下面选择删除子表中的数据(注意,删除前后要核对数据后再提交,严格地说,应该要先备份表中的数据,再做删除操作):
delete from empc where not exists (
select null
from deptc
where empc.deptno=deptc.deptno
);
删除数据后再次添加外键约束就可以了!
alter table empc
add constraint FK_DEPTNO foreign key (DEPTNO)
references deptc (DEPTNO);
这时候如果再在emp表添加一条dept表没有的部门员工,就会报错了
SQL> insert into empc(empno,ename,deptno)values(1221,'zhaoyd',50);
ORA-02291: 违反完整约束条件 (ZYD.FK_DEPTNO) - 未找到父项关键字
先创建测试数据
create table deptf as select * from dept;
insert into deptf where deptno>10;
commit;
下面几种写法,需要根据你的数据分布情况来挑选着使用。
delete from dept aa
where exists (select null
from dept bb
where aa.deptno > bb.deptno
and aa.loc = bb.loc
and aa.dname = bb.dname);
delete from dept aa
where exists (select null
from dept bb
where aa.rowid > bb.rowid
and aa.loc = bb.loc
and aa.dname = bb.dname
);
delete from dept
where rowid in (select rid
from (select rowid rid,
row_number() over(partition by dname order by deptno) as rn
from dept)
where rn > 1);
delete from dept
where exists (select null
from (select rid
from (select rowid rid,
row_number() over(partition by dname order by deptno) as rn
from dept)
where rn > 1) ff
where ff.rid = dept.rowid);
delete from dept
where not exists (select null
from (select rid
from (select rowid rid,
row_number() over(partition by dname order by deptno) as rn
from dept)
where rn = 1) ff
where ff.rid = dept.rowid);
其他写法自行研究
[]( ̄▽ ̄)*🤣🤣🤣🤣🤣🤣🤣🤣🤣🤣🤣🤣🤣🤣🤣🤣
不得不说,update这个一定要注意,更新错了提交了,找DBA恢复,肯定会心里问候你!!!因为我曾经这样问候他们哈哈哈。
删除重复数据这类,面试太常问了!
给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息? 最佳答案 在Rails3中,update_all不返回任何有意义的信息,除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru
我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
我有一个具有一些属性的模型:attr1、attr2和attr3。我需要在不执行回调和验证的情况下更新此属性。我找到了update_column方法,但我想同时更新三个属性。我需要这样的东西:update_columns({attr1:val1,attr2:val2,attr3:val3})代替update_column(attr1,val1)update_column(attr2,val2)update_column(attr3,val3) 最佳答案 您可以使用update_columns(attr1:val1,attr2:val2
两者都可以defsetup(options={})options.reverse_merge:size=>25,:velocity=>10end和defsetup(options={}){:size=>25,:velocity=>10}.merge(options)end在方法的参数中分配默认值。问题是:哪个更好?您更愿意使用哪一个?在性能、代码可读性或其他方面有什么不同吗?编辑:我无意中添加了bang(!)...并不是要询问nobang方法与bang方法之间的区别 最佳答案 我倾向于使用reverse_merge方法:option
有时我需要处理键/值数据。我不喜欢使用数组,因为它们在大小上没有限制(很容易不小心添加超过2个项目,而且您最终需要稍后验证大小)。此外,0和1的索引变成了魔数(MagicNumber),并且在传达含义方面做得很差(“当我说0时,我的意思是head...”)。散列也不合适,因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题,但我很想知道:Ruby标准库是否已经带有这样一个类? 最佳
我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_
无论您是想搭建桌面端、WEB端或者移动端APP应用,HOOPSPlatform组件都可以为您提供弹性的3D集成架构,同时,由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台(桌面/WEB/APP,而且某些客户端是“瘦”客户端)快速、方便地将数据接入到3D应用系统的解决方案,并且当访问数据时,在各个平台上的性能和用户体验保持一致,HOOPSPlatform将帮助您完成。利用HOOPSPlatform,您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品,HOOPSSDK包含的技术有:快速且准确的CAD
本教程将在Unity3D中混合Optitrack与数据手套的数据流,在人体运动的基础上,添加双手手指部分的运动。双手手背的角度仍由Optitrack提供,数据手套提供双手手指的角度。 01 客户端软件分别安装MotiveBody与MotionVenus并校准人体与数据手套。MotiveBodyMotionVenus数据手套使用、校准流程参照:https://gitee.com/foheart_1/foheart-h1-data-summary.git02 数据转发打开MotiveBody软件的Streaming,开始向Unity3D广播数据;MotionVenus中设置->选项选择Unit
文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目,Java开发。基于数据库增量日志解析,提供增量数据订阅&消费。Git地址:https://github.co
我正在尝试在Rails上安装ruby,到目前为止一切都已安装,但是当我尝试使用rakedb:create创建数据库时,我收到一个奇怪的错误:dyld:lazysymbolbindingfailed:Symbolnotfound:_mysql_get_client_infoReferencedfrom:/Library/Ruby/Gems/1.8/gems/mysql2-0.3.11/lib/mysql2/mysql2.bundleExpectedin:flatnamespacedyld:Symbolnotfound:_mysql_get_client_infoReferencedf