
前言
近期将ERP后台从MSSQL SERVER过渡到了MYSQL,确实经历了一番波折,转换过程虽然极其痛苦,这里也不卖惨了。将过程记录一下,有人愿意的话共同学习。
前面分享过操作系统和数据库的安装,倒是没啥需要注意的地方,前面说的极其痛苦,是从数据导完开始的,暂时还体会不到,本篇介绍一下如何将数据从MSSQL SERVER导出到MySQL数据库。
极其重要
如果各位由相同诉求,一定要先做测试,不可在生产环境直接干活,这点特别重要!
没有测试成功前不可在生产环境直接干活!
没有测试成功前不可在生产环境直接干活!!
没有测试成功前不可在生产环境直接干活!!!
测试环境搭建就不太多介绍了吧,也就是将源数据库做个备份,找台机器装个相同数据库,将备份数据导进去,这个新导进去的库,跟源库最大的区别是两个,也是我们最关注的两个:
1、数据弄坏了不影响生产系统;
2、数据库没有应用对其有读写操作。
如果生产环境想要数据导过来,最好的办法是说服领导不要这么干。说服不了的话,至少要多次测试,将碰到的问题,解决的方法全部记录在案,评估通过再停机干活!
以下包括后面的文章,都是针对测试环境的介绍,小编也是多次测试才敢动ERP系统后台的。
源数据分析
首先得了解一下迁移目标。我的ERP,经过了5年半的使用,现有数据表188个,记录条数1033483条,全部都是文本记录,没有文件、图形等记录。

打开Microsoft SQL Server Management Studio客户端工具,连接到MSSQL数据库后,可以通过数据库的系统视图里面查到数据表个数和每个数据表的记录条数。通过新建查询输入下面的命令就可以拿到了。
SELECT a.name,b.rows FROM sysobjects AS a INNER JOIN sysindexes AS b ON a.id = b.id WHERE a.xtype='U' AND b.indid=1 order by a.name
干活之前,可以将这个记录先复制到EXCEL里面,用作记录,等迁移完成后,核对MySQL数据库里面的数据表和记录数。下图是我的部分记录表:

本次我迁移的记录100多万条里面,有355630条日志记录,分别在6个日志表里面,分别是常规日志、商品日志、单据日志、单位日志、操作动作日志和错误日志。考虑到代码中日志操作都在几个函数里面,更改比较简单,计划将日志记录和其他记录分成两个库,这样后期对数据库备份迁移啥的也节约一点空间,毕竟不出问题日志记录并不重要,因为除了日志记录外,还有一些往来表,包括单位往来表、商品往来表、银行往来表等等。
188个表格里面,有些表记录数为0,有些表记录数过万。最少的表格字段数2个,最多的过百。相对来说算是个较复杂的系统了。
数据迁移
数据迁移有很多方法,实际上我也试了多种方法,不过最终弃用的就不介绍了,弃用原因无非是自己英文水平太烂,自己基础知识太薄弱等等,介绍一下最终采用的方法。
最后我选择了SQLYOG工具,感觉用惯了微软的SMSS工具后,还是这个工具更相似一点。
我们前面安装数据库的时候,顺手建了两个库,分别是ErpDb和LogDb,打开了root账号的远程访问,同时更改了数据库的端口号。
打开SQLYOG,输入IP地址、用户名、密码、端口号,连接上我们新装上的MySQL服务器。

测试连接正常就可以连接到MySQL了。
点击菜单【数据库】---【导入】---【导入外部数据】,选择【开始新工作】,点击【下一步】。选择【任何ODBC数据源】。
先创建一个连接SQL SERVER的ODBC数据源文件。
【建立新的DSN】---【下一页】---【下一页】---【浏览】命名一个文件名---【下一页】---【完成】
服务器的后面输入SQL SERVER服务器地址,如果不是默认1433端口的话,加上逗号跟上端口号。

输入连接SQL Server的用户名和密码,【下一页】,更改默认的数据库为我们需要导数据的那个库。【下一页】---【完成】---【测试数据源】---成功后【确定】。

数据源建好后,选择该DSN文件,输入连接的用户名和密码。

输入要导入数据的MySQL服务器参数,选择要导入的数据库名称。点击【下一页】。

选择【从数据源拷贝表】,点击【下一页】。选择要拷贝的表,打勾后,点击MAP里面查看映射情况。

这个地方有几个建议,有些表不修改可能会不成功:
1、原表bit类型的,改为bool类型;
2、原表timestamp类型的,默认更改为blob类型,手动更改为datetime类型或者timestamp类型;
3、原表int、smallint、largeint类型的,将长度去掉;
4、原表datetime类型的,默认更改为timestamp类型,建议手动改为datetime,或者将长度去掉;

高级选项里面,存储类型选择InnoDB,是否导入外键索引根据需要选择。
然后直接下一步,到立即运行就可以了。
数据导完发现的问题
我的188个表,103万条记录,根据表大小,分了5个任务,反正一晚上搞定了。
搞定之后到MySQL里面做个检查,为了保证准确,我对每个表做了一个检查,命令为:
show tables;
查看表都有了。
select count(*) from XXX;
查看每个表的记录都全了。
数据导完后,发现了很多问题,我用自己的方法一一解决了,下篇介绍出来,可能大神们对我的方法不屑,不过不喷就好。
列举几个:
1、MSSQL的命令,最后是没有符号的,而MySQL名利最后是需要加分号;的。
2、MSSQL的命令,对数据表的表名、字段名的大小写不敏感,而MySQL对这些大小写很敏感。
3、MSSQL的当前时间表示为GETDATE(),MySQL表示为SYSDATE()。
4、MSSQL的日期计算函数为DATEDIFF,而MySQL的日期计算函数为TIMESTAMPDIFF。
5、MSSQL里面字段名可以用[]括起来,MySQL里面只能用()。
6、MSSQL是用top x来限制条数,MySQL是用limit x来限制条数。
7、MSSQL的字段名相连的命令直接用+就可以了,MySQL需要用CONCAT连接字符串。
作者|IT老叔
我的目标是转换表单输入,例如“100兆字节”或“1GB”,并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前,我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效,但前提是输入是倍数(“gigabytes”,而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以,功能正常,
我想将html转换为纯文本。不过,我不想只删除标签,我想智能地保留尽可能多的格式。为插入换行符标签,检测段落并格式化它们等。输入非常简单,通常是格式良好的html(不是整个文档,只是一堆内容,通常没有anchor或图像)。我可以将几个正则表达式放在一起,让我达到80%,但我认为可能有一些现有的解决方案更智能。 最佳答案 首先,不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案,它会随着HTML的变化而崩溃,或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h
我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
我需要读入一个包含数字列表的文件。此代码读取文件并将其放入二维数组中。现在我需要获取数组中所有数字的平均值,但我需要将数组的内容更改为int。有什么想法可以将to_i方法放在哪里吗?ClassTerraindefinitializefile_name@input=IO.readlines(file_name)#readinfile@size=@input[0].to_i@land=[@size]x=1whilex 最佳答案 只需将数组映射为整数:@land边注如果你想得到一条线的平均值,你可以这样做:values=@input[x]
这道题是thisquestion的逆题.给定一个散列,每个键都有一个数组,例如{[:a,:b,:c]=>1,[:a,:b,:d]=>2,[:a,:e]=>3,[:f]=>4,}将其转换为嵌套哈希的最佳方法是什么{:a=>{:b=>{:c=>1,:d=>2},:e=>3,},:f=>4,} 最佳答案 这是一个迭代的解决方案,递归的解决方案留给读者作为练习:defconvert(h={})ret={}h.eachdo|k,v|node=retk[0..-2].each{|x|node[x]||={};node=node[x]}node[
有时我需要处理键/值数据。我不喜欢使用数组,因为它们在大小上没有限制(很容易不小心添加超过2个项目,而且您最终需要稍后验证大小)。此外,0和1的索引变成了魔数(MagicNumber),并且在传达含义方面做得很差(“当我说0时,我的意思是head...”)。散列也不合适,因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题,但我很想知道:Ruby标准库是否已经带有这样一个类? 最佳
我正在使用Rails构建一个简单的聊天应用程序。当用户输入url时,我希望将其输出为html链接(即“url”)。我想知道在Ruby中是否有任何库或众所周知的方法可以做到这一点。如果没有,我有一些不错的正则表达式示例代码可以使用... 最佳答案 查看auto_linkRails提供的辅助方法。这会将所有URL和电子邮件地址变成可点击的链接(htmlanchor标记)。这是文档中的代码示例。auto_link("Gotohttp://www.rubyonrails.organdsayhellotodavid@loudthinking.
我收到格式为的回复#我需要将其转换为哈希值(针对活跃商家)。目前我正在遍历变量并执行此操作:response.instance_variables.eachdo|r|my_hash.merge!(r.to_s.delete("@").intern=>response.instance_eval(r.to_s.delete("@")))end这有效,它将生成{:first="charlie",:last=>"kelly"},但它似乎有点hacky和不稳定。有更好的方法吗?编辑:我刚刚意识到我可以使用instance_variable_get作为该等式的第二部分,但这仍然是主要问题。
我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_
无论您是想搭建桌面端、WEB端或者移动端APP应用,HOOPSPlatform组件都可以为您提供弹性的3D集成架构,同时,由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台(桌面/WEB/APP,而且某些客户端是“瘦”客户端)快速、方便地将数据接入到3D应用系统的解决方案,并且当访问数据时,在各个平台上的性能和用户体验保持一致,HOOPSPlatform将帮助您完成。利用HOOPSPlatform,您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品,HOOPSSDK包含的技术有:快速且准确的CAD