春节长假某日，阳光明媚，春暖花开，恰逢冬奥会开幕，想着一定是一个黄道吉日，必能顺风顺水。没想到却遇到一个有点小波折 的客户报障。
01故障起因故障起因是客户前一天从自建MySQL迁移到云上RDS，在执行某个并发较高的业务时出现了大量锁等待，客户当时升级了实例到最高规格，但故障依旧。客户反馈升级后的实例规格比自建实例高了一倍，自建实例上从未发生过类似情况。后客户根据当时的业务故障模拟了现场，主要是并发执行如下存储过程的时候性能很差：
02初步诊断
从存储过程的逻辑看，比较简单，主要涉及两个SQL，一个从表t（隐藏了真实表名）中meeting_id根据传入参数值查询，具体的入参由字符型变量p_meeting_id带入；另外一个根据meeting_id和刚查出的phone_id去更新t中的phone_id为phone_id+3。表t数据量约40w左右。
第一感觉这是个简单问题，估计两个SQL的meeting_id索引没有生效，查询表上索引后果然发现meeting_id和phone_id上没有索引，建议客户在两个字段上分别创建了索引，且meeting_id为主键。此时用户执行模拟的并发脚本反馈速度有了明显提升，200个并发最高执行时间40s左右，但模拟500个并发的时候，超过了8分钟还没有执行完。用户反馈在自建MySQL上并发500执行都是秒级完成。此时在控制台看，这个存储过程在慢查询日志中批量出现，且扫描行数巨大，客户端已经完全hang住:
03进一步优化
虽然优化有了初步的效果， 但距离客户自建环境性能描述还差距很大，由于并发高， 从监控看测试期间CPU到了100%，怀疑参数innodb_thread_concurrency的设置可能不当。此参数的作用是控制 InnoDB 的并发线程上限。也就是说，一旦并发线程数达到这个值，InnoDB 在接收到新请求的时候，就会进入等待状态，直到有线程退出。RDS默认值为0，也就是没有限制上限，在高并发的场景下可能会产生较多的上下文切换，导致CPU升高。和客户咨询了一下，他们自建环境的值设置为32，建议他们将RDS的值也改为32再看看效果。客户很快反馈，修改后的确有效果，500个并发在3分钟内完成，没有再发生hang住不动的情况，性能有了进一步的提升。但参数innodb_thread_concurrency进一步调整效果不明显。
04加trace诊断客户看到性能不断提升也很有信心，但和自建环境差距还是很大，还有哪里可能有问题？突然想到，创建索引后，在控制台的慢查询列表中看到很多存储过程的调用sql，且扫描记录数巨大，如果是走meeting_id唯一索引，应该扫描很少的记录数才对，难道没有走索引？或者没有走meeting_id主键索引？联系客户，希望提供测试环境登陆测试。
在测试环境，首先希望验证一下两个SQL的执行计划到底是怎么样的。登陆实例后，分别对两个存储过程中的SQL执行explain，发现走的确实是主键（meeting_id）：
为了进一步确认SQL在存储过程中的实际执行计划，修改了一下测试的存储过程逻辑，加入了SQL执行的explain结果和实际执行的trace，过程中主要增加的代码如下：
执行计划结果如下：
从结果看，两个SQL居然真的没有走主键meeting_id索引，而是都走了phone_id这个普通的二级索引，其中第一个查询SQL走的索引全扫描，扫描记录数rows为397399，和表的记录数一致，显然走了全索引扫描，虽然比全表扫描好一些，但效率仍然低下；另外一个update的SQL走了正常的索引扫描，rows只有2，性能高效。为什么两个SQL没有走meeting_id这个主键索引呢？看trace打印的部分内容：
trace显示两个SQL在优化器分析时，将meeting_id做了隐式转换，转换函数为convert('meeting_id' using utf8mb4)，也就是将meeting_id做了字符集的转换，熟悉索引机制的同学都清楚，这种情况下优化器是不会走meeting_id索引的。这也可以解释了客户第一次创建索引的时候为啥有性能提升，但效果并不明显，原因就是只有update语句真正用到了索引带来的性能提升，而且是phone_id索引带来的提升，不是性能更高的主键meeting_id。
05真相大白
现在聚焦到最关键的问题，meeting_id为啥要做字符集的隐式转换？查看了一下实例相关字符集的设置：
表和列的字符集都为utf8；
表所在库的字符集为utf8mb4；
server字符集（（character_set_server））为utf8
character_set_client/character_set_connection/character_set_results为utf8mb4
果然，server、database、table的字符集不完全一致，猜想一下实际流程应该是这样的：存储过程中传入的字符参数字符集为utf8mb4，和表中字符集为utf8的字段meeting_id比较时，meeting_id做了字符集的隐式转换，转换为utf8mb4后再和输入参数比较，从而导致meeting_id上的索引无法使用。
根据这个猜测，建议用户将表的字符集更改为utf8mb4，这样应该可以避免字符集的转换。由于这个功能还未上线，用户直接对 表做了字符集的修改：
alter table zm_meeting convert to character set utf8mb4;
修改后让用户再次测试，预期效果终于出现，并发500测试在秒级完成，trace查看执行计划，都走了meeting_id的主键索引，隐式转换也随之消失，性能问题得到了彻底解决。
06后续思考存储过程的入参为啥使用了utf8mb4？这是本次案例的核心，查阅mysql文档，存储过程介绍里面有一段描述：
简单说，就是存储过程的字符型参数，如果没有显式指定字符集，默认将会使用所在数据库的字符集，而本案例中表所在的数据库字符集为utf8mb4，所以参数默认使用了utf8mb4，导致了匹配过程的隐式转换。存储过程外直接写SQL为什么没有这种情况发生，我猜测比较的字符串应该会自动匹配‘=’左边表字段的字符集。
既然这样，理论上直接修改参数的字符集应该也可以达到同样结果，简单测试下，将存储过程参数加上表上的字符集属性：
CREATE PROCEDURE `zm_sp_next_phone_id`(IN `p_meeting_id` VARCHAR(36) character set utf8)
测试结果如我们预期，不会产生隐式转换，执行计划正确。
问题虽然解决了，原因也找到了，但反思一下整个过程，如果用户的server、库、表字符集能够保持一致，将完全可以避免这个故障。与字符集相关的类似故障也可以大概率避免，所以客户侧还是要有一定的设计规范；产品侧如果有一定的检查规则可以帮客户发现类似的隐患，对提升客户体验也是一种很有价值的服务。
使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta
在选择我想要运行操作的频率时，唯一的选项是“每天”、“每小时”和“每10分钟”。谢谢!我想为我的Rails3.1应用程序运行调度程序。 最佳答案 这不是一个优雅的解决方案，但您可以安排它每天运行，并在实际开始工作之前检查日期是否为当月的第一天。 关于ruby-如何每月在Heroku运行一次Scheduler插件？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/8692687/
文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目，Java开发。基于数据库增量日志解析，提供增量数据订阅&消费。Git地址：https://github.co
我写了一个非常简单的rake任务来尝试找到这个问题的根源。namespace:foodotaskbar::environmentdoputs'RUNNING'endend当在控制台中执行rakefoo:bar时，输出为:RUNNINGRUNNING当我执行任何rake任务时会发生这种情况。有没有人遇到过这样的事情？编辑上面的rake任务就是写在那个.rake文件中的所有内容。这是当前正在使用的Rakefile。requireFile.expand_path('../config/application',__FILE__)OurApp::Application.load_tasks这里
-if!request.path_info.include?'A'%{:id=>'A'}"Text"-else"Text"“文本”写了两次。我怎样才能只写一次并同时检查path_info是否包含“A”？ 最佳答案 有两种方法可以做到这一点。使用部分，或使用content_forblock:如果“文本”较长，或者是一个重要的子树，您可以将其提取到一个部分。这会使您的代码变干一点。在给出的示例中，这似乎有点矫枉过正。在这种情况下更好的方法是使用content_forblock，如下所示:-if!request.path_info.inc
我看到其他人也遇到过类似的问题，但没有一个解决方案对我有用。0.3.14gem与其他gem文件一起存在。我已经完全按照此处指示完成了所有操作:https://github.com/brianmario/mysql2.我仍然得到以下信息。我不知道为什么安装程序指示它找不到include目录，因为我已经检查过它存在。thread.h文件存在，但不在ruby目录中。相反，它在这里:C:\RailsInstaller\DevKit\lib\perl5\5.8\msys\CORE\我正在运行Windows7并尝试在Aptana3中构建我的Rails项目。我的Ruby是1.9.3。$gemin
我已经开始使用mysql2gem。我试图弄清楚一些基本的事情——其中之一是如何明确地执行事务(对于批处理操作，比如多个INSERT/UPDATE查询)。在旧的ruby-mysql中，这是我的方法:client=Mysql.real_connect(...)inserts=["INSERTINTO...","UPDATE..WHEREid=..",#etc]client.autocommit(false)inserts.eachdo|ins|beginclient.query(ins)rescue#handleerrorsorabortentirelyendendclient.commi
我查看了Stripedocumentationonerrors，但我仍然无法正确处理/重定向这些错误。基本上无论发生什么，我都希望他们返回到edit操作(通过edit_profile_path)并向他们显示一条消息(无论成功与否)。我在edit操作上有一个表单，它可以POST到update操作。使用有效的信用卡可以正常工作(费用在Stripe仪表板中)。我正在使用Stripe.js。classExtrasController5000,#amountincents:currency=>"usd",:card=>token,:description=>current_user.email)
我写了一个脚本，其中包含一些方法定义，没有类和一些公共(public)代码。其中一些方法执行一些非常耗时的shell程序。然而，这些shell程序只需要在第一次调用该方法时执行。现在在C中，我会在每个方法中声明一个静态变量，以确保这些程序只执行一次。我怎么能在Ruby中做到这一点？ 最佳答案 ruby中有一个成语:x||=y。defsomething@something||=calculate_somethingendprivatedefcalculate_something#somelongprocessend但是如果您的“长时间
我想在格式化数字时每隔三个字符放置一个空格。根据这个规范:it"shouldformatanamount"dospaces_on(1202003).should=="1202003"end我想出了这段代码来完成这项工作defspaces_onamountthousands=amount/1000remainder=amount%1000ifthousands==0"#{remainder}"elsezero_padded_remainder='%03.f'%remainder"#{spaces_onthousands}#{zero_padded_remainder}"endend所以我