草庐IT

空格字符影响字符串字段的group分组吗?论技能重要技巧更重要

buguge - Keep it simple,stupid 2023-03-28 原文

公司筹备敲钟上市,审计工作正在进行。我们小组的两位同学也参与了一部分数据分析工作。

 

先介绍一个用户表(t_soho)的关键字段:
user_name-varchar(32)-用户姓名
id_card-varchar(255)-身份证号码(密文存储)
create_time-datetime-注册时间

其中有一项数据统计是按身份证号来分组统计。

互为备份的两位同学各自编写sql语句,执行后发现双方结果存在差异。如下是双方的sql,其中的FUN_DECRYPTION是解密函数。差异是第一条语句执行出来的结果比第二条多了一些。

SELECT ... FROM t_soho WHERE ... GROUP BY `FUN_DECRYPTION`(id_card);
SELECT ... FROM t_soho WHERE ... GROUP BY id_card;

可见,区别就在于一个对数据解密了,另一个是没有解密。

按说无论是明文数据还是密文数据,应该不影响计数吧。 那么,既然上面双方结果不一样,必然是哪里出现问题了。

两同学一番琢磨,认为可能是存在空格字符导致的,比如:11011519920120718X的密文与11011519920120718X (注意X后面有一个空格)的加密密文是不同的。系统接收数据如果未处理这种存在空格字符的情况,持久化t_soho表数据记录时就会出现两个不同的密文字段值。

分析归分析,认为归认为,是不是这么一回事,就需要验证其准确性。

一位同学很快证实,上面的差异是由空格字符所致!他是用这条sql证实的:select a,count(1) from (SELECT 'test' as a union all select 'test ') as table1 group by a

另一个同学稍后也证实了这个分析的正确性。他的验证方法是修改表的数据,即,在同一字段上存在两行相同的文本,其中一个后面敲上一个空格,然后求group by。

 

前面这种“不一样的方式”,就是技巧!

 

我们再看另一件事。

excel里有一张复杂的报告,需要统计每月注册用户在后面逐月的活跃度。

这个比较麻烦,一个sql出来所有数据比较费劲。我们的一个小伙伴废了九牛二虎之力,花了一个小时,终于完成。他的实现步骤是,写出来sql后,将执行结果复制到excel里,然后行转列,挨个儿粘贴到每月的单元格里;这一行结束后,继续修改sql中的月份,按同样的操作方式来完成下月的数据行,直到完成所有月份的数据行。而后来在check时,发现他的sql有问题,前功尽弃,小伙不禁长吁短叹。

用一个通俗的例子,比如现在正值疫情期间,我们从菜市场买回来的蔬菜水果,要消毒存放。一种方式是一样一样的消毒和存放,再一种方式是先统一消毒,然后统一存放。我们建议是利用后者这种方式。


上面这个案例中,我们使用excel的行转列属于技能;而批量操作的方式,则是技巧,省去了mysql客户端和excel来回切换操作所花费的时间。

 

技能固然重要,如果再掌握一定的技巧,岂不是锦上添花如虎添翼!

 

老母亲收拾家务,递来一片金黄的薄脆饼干,唠叨了一句“买东西送的三小袋饼干,这饼干还挺好吃!”我不自觉听到,然后看了一下包装,叫岩烧芝士脆,“芝士”就是力量。母亲喜欢吃这个饼干,那赶紧安排去!

 

 

有关空格字符影响字符串字段的group分组吗?论技能重要技巧更重要的更多相关文章

  1. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法? - 2

    总的来说,我对ruby​​还比较陌生,我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础,我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  2. Ruby 解析字符串 - 2

    我有一个字符串input="maybe(thisis|thatwas)some((nice|ugly)(day|night)|(strange(weather|time)))"Ruby中解析该字符串的最佳方法是什么?我的意思是脚本应该能够像这样构建句子:maybethisissomeuglynightmaybethatwassomenicenightmaybethiswassomestrangetime等等,你明白了......我应该一个字符一个字符地读取字符串并构建一个带有堆栈的状态机来存储括号值以供以后计算,还是有更好的方法?也许为此目的准备了一个开箱即用的库?

  3. ruby-on-rails - 在 Rails 中将文件大小字符串转换为等效千字节 - 2

    我的目标是转换表单输入,例如“100兆字节”或“1GB”,并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前,我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效,但前提是输入是倍数(“gigabytes”,而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以,功能正常,

  4. ruby-on-rails - unicode 字符串的长度 - 2

    在我的Rails(2.3,Ruby1.8.7)应用程序中,我需要将字符串截断到一定长度。该字符串是unicode,在控制台中运行测试时,例如'א'.length,我意识到返回了双倍长度。我想要一个与编码无关的长度,以便对unicode字符串或latin1编码字符串进行相同的截断。我已经了解了Ruby的大部分unicode资料,但仍然有些一头雾水。应该如何解决这个问题? 最佳答案 Rails有一个返回多字节字符的mb_chars方法。试试unicode_string.mb_chars.slice(0,50)

  5. ruby-on-rails - 按天对 Mongoid 对象进行分组 - 2

    在控制台中反复尝试之后,我想到了这种方法,可以按发生日期对类似activerecord的(Mongoid)对象进行分组。我不确定这是完成此任务的最佳方法,但它确实有效。有没有人有更好的建议,或者这是一个很好的方法?#eventsisanarrayofactiverecord-likeobjectsthatincludeatimeattributeevents.map{|event|#converteventsarrayintoanarrayofhasheswiththedayofthemonthandtheevent{:number=>event.time.day,:event=>ev

  6. ruby - 将差异补丁应用于字符串/文件 - 2

    对于具有离线功能的智能手机应用程序,我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl

  7. ruby-on-rails - Rails 常用字符串(用于通知和错误信息等) - 2

    大约一年前,我决定确保每个包含非唯一文本的Flash通知都将从模块中的方法中获取文本。我这样做的最初原因是为了避免一遍又一遍地输入相同的字符串。如果我想更改措辞,我可以在一个地方轻松完成,而且一遍又一遍地重复同一件事而出现拼写错误的可能性也会降低。我最终得到的是这样的:moduleMessagesdefformat_error_messages(errors)errors.map{|attribute,message|"Error:#{attribute.to_s.titleize}#{message}."}enddeferror_message_could_not_find(obje

  8. ruby - 如何以所有可能的方式将字符串拆分为长度最多为 3 的连续子字符串? - 2

    我试图获取一个长度在1到10之间的字符串,并输出将字符串分解为大小为1、2或3的连续子字符串的所有可能方式。例如:输入:123456将整数分割成单个字符,然后继续查找组合。该代码将返回以下所有数组。[1,2,3,4,5,6][12,3,4,5,6][1,23,4,5,6][1,2,34,5,6][1,2,3,45,6][1,2,3,4,56][12,34,5,6][12,3,45,6][12,3,4,56][1,23,45,6][1,2,34,56][1,23,4,56][12,34,56][123,4,5,6][1,234,5,6][1,2,345,6][1,2,3,456][123

  9. ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby​​ 中生成它们? - 2

    我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%

  10. ruby - 如何使用文字标量样式在 YAML 中转储字符串? - 2

    我有一大串格式化数据(例如JSON),我想使用Psychinruby​​同时保留格式转储到YAML。基本上,我希望JSON使用literalstyle出现在YAML中:---json:|{"page":1,"results":["item","another"],"total_pages":0}但是,当我使用YAML.dump时,它不使用文字样式。我得到这样的东西:---json:!"{\n\"page\":1,\n\"results\":[\n\"item\",\"another\"\n],\n\"total_pages\":0\n}\n"我如何告诉Psych以想要的样式转储标量?解

随机推荐