? 作者简介：No8g攻城狮，热衷分享，喜欢原创~ 关注我会给你带来一些不一样的认知和成长，专注于研究 Java/Spring/SpringBoot/大数据/计算机底层原理/源码，就职于大型物联网公司后端高级工程师，擅长物联网领域的高安全/可用/并发/性能的架构设计与演进、系统优化与稳定性建设。?
? CSDN认证博客专家博主/后端领域优质创作者/内容合伙人、阿里云/华为云/签约博主、InfoQ/掘金社区/OSCHINA签约作者，全网7万多粉丝支持！ ?
? 如果此文还不错的话，还请?点赞、关注、收藏三连支持?一下博主~ 十分感谢，发布的博客会不定期送书的福利哈~ ?
我们之前做过一些性能优化的案例，不算很多，还没有失手过。少则提速数倍，多则数十倍，极端情况还有提速上千倍的。提速一个数量级基本上是常态。下面是一些案例材料：
开源 SPL 提速保险公司团保明细单查询 2000+ 倍
开源 SPL 提升银行自助分析从 5 并发到 100 并发
开源 SPL 提速银行用户画像客群交集计算 200+ 倍
开源 SPL 优化银行预计算固定查询成实时灵活查询
开源 SPL 将银行手机账户查询的预先关联变成实时关联
开源 SPL 提速银行资金头寸报表 20+ 倍
开源 SPL 提速银行贷款协议跑批 10+ 倍
开源 SPL 优化保险公司跑批优从 2 小时到 17 分钟
开源 SPL 提速银行 POS 机交易报表 30+ 倍
开源 SPL 提速银行贷款跑批任务 150+ 倍
开源 SPL 提速资产负债表 60 倍
这是怎么做到的呢？
这些被提速的场景都有一个共同点：原先都是用各种数据库（也有HADOOP/Spark）上的SQL实现的，包括查询用的几百行SQL也有跑批用的几千行存储过程，然后我们改用集算器的SPL重新实现之后就有了这样的效果。
集算器SPL有什么神奇之处？是不是能让各种运算跑得更快？
有点遗憾，并没有这样的好事。集算器也是一个软件，而且是用Java写的，完成同样运算通常比C/C++写的数据库还要慢一点。
那是怎么回事？
根本原因在于我们用SPL实现了不同的算法。软件不能提高硬件的速度，但我们可以设计出更低复杂度的算法，有效地减少计算量，然后速度自然就上去了。一个运算任务本来要做1亿次加法，如果能减到100万次，那自然就能快100倍，即使每次运算都变得稍慢一点，总体性能仍然会提高，这一点也不神奇。
只要能实现高性能算法和存储，用什么技术来做并不重要了。用C/C++、Java当然都能做出来。事实上，集算器是用Java写的，用Java直接实现这些算法原则上还会更快一点，用C/C++ 一般还能更快（Java的内存分配消耗时间还是有点多）。
不过，虽然用Java和C++能写出比SPL更快的代码，但要长得多（估计会长出50-100倍），这会导致开发工作量过大，这在实际应用时也是要权衡的一个指标。有时候，跑得快和写着简单其实是一回事，就是能高效率地实现高性能算法。
集算器的SPL中强化了结构化数据的数据类型，并提供了很多基础的高性能算法。写代码就是组合运用这些算法，当然会方便得多。要说神奇之处，也就是这一点了。
那么，继续SQL就不能做到同样的事吗？
是的。SQL设计得过于粗线条，关系代数这个理论基础中缺乏很多数据类型和基础运算，很多高性能算法都无法描述，结果只能使用慢算法。虽然现在很多数据库和大数据平台都在工程上有所优化，但也只能针对简单的场景，情况复杂之后数据库的优化器都会“晕”掉，所以解决不了根本问题。这是个理论上的问题，无法在工程层面解决。
SPL基于的理论基础不再是关系代数，而是我们发明的离散数据集。在这个体系下有更多的数据类型和运算，就能写出更多高性能算法了。SPL是离散数据集的一种实现，封装了许多现成的算法。用Java和C++当然也能从头来实现这个代数体系，因而都能写出来高性能代码。而SQL却不可以。
举个简单的例子，我们想在1亿条数据中取出前10名，用SQL写出来是这样的：
select top 10 x,y from T order by x desc
这个语句中有个order by，严格按它执行就会涉及大排序，而排序非常慢。其实我们可以想出一个不用大排序的算法，但用SQL却无法描述，只能指望数据库优化器了。对于这句SQL描述的简单情况，很多商用数据库确实都能优化，使用不必大排序的算法，性能通常很好。但情况复杂一些，比如在每个分组中取前10名，要用窗口函数和子查询把SQL写成这样：
select * from
(select y,*,row_number() over (partition by y order by x desc) rn from T)
where rn<=10
这时候，数据库优化器就会犯晕了，猜不出这句SQL的目的，只能老老实实地执行排序的逻辑（这个语句中还是有order by的字样），结果性能陡降。
而SPL不一样，离散数据集中有普遍集合的概念，TopN这种运算被认为是和SUM和COUNT一样的聚合运算，只不过返回值是个集合而已。这时候写出来的取前10名的语句中并没有排序动作：
T.groups(;top(-5;x))
分组后的写法也很简单，都不需要执行大排序：
T.groups(y;top(-5;x))
这里 性能优化技巧：TopN 还有关于这个问题的更详细测试对比。
所以，我们做性能优化时要重写代码，不能继续使用SQL保持兼容。要读懂原来的逻辑重新实现，这个工作量还是很大的，不过能换来数倍数十倍的性能提升，常常还是值得的。
另外，存储也非常重要，好算法要有合适的存储机制配合才能生效，所以不能继续把数据继续存在数据库里获得高性能，需要搬出来换种办法组织存放。改变存储后，有可能把原来需要缓存的计算过程变成不需要了，原来要遍历多遍的运算变成只遍历一次甚至不用遍历了，减少硬盘访问量对性能的提升非常有效。
从上面这个原理上看，如果我们不能针对计算目标设计出更好的算法，那就做不到提速了。比如一个很简单的大表求和，用SQL要做1亿次，用SPL也要做1亿次，那就不可能做得更快，一般还会更慢一点（Java赶不上C/C++）。但是，当运算任务足够复杂时，碰到几百上千行的嵌套N层SQL（慢的SQL通常也不会太简单），几乎总能找到足够多可优化的环节，所以我们经历过的案子还没有失手过。结果，在实践上用Java写出来集算器大幅度超越了C/C++写的数据库，这都是算法造就的。
我们甚至曾经发过一个广告 慢得受不了的查询跑批
寻找用SQL写的慢过程，我们负责提速一个数量级。
换个角度再看这个提速原理：高性能靠的不是代码，而是代数，代码只是个实现手段而已。其中最关键的是掌握和运用这些算法，而不是SPL语法。SPL语法很简单，比Java容易多了，两小时就能基本上手，两三周就能比较熟练了。但算法却没那么简单，需要认真学习反复练习才能掌握。这些案例直接由没有经验的用户自己做常常效果并不好，主要原因也是对算法没有吃透。
反过来，而只要掌握了算法，用什么语法就是个相对次要的问题了（当然用SQL这种太粗线条的语言还是不行）。这就像给病人看病，找出病理原因后，能分析出什么成分的药能管用。无论直接购买成药（使用封装过的SPL），还是上山采药（使用Java/C++硬写），都可以治好病，无非就是麻烦程度和支付成本不同。
可能有读者对SPL提供了哪些与SQL不同的高性能算法感兴趣，推荐一下乾学院上的性能优化图书 【性能优化】 前言及目录 和视频课程 《性能优化》课程
我们已经把这些算法都整理成有体系的知识了。有些算法是业界首创的，其它教科书和论文中都找不到。
跟着这些图书课程学习，掌握这些算法后，就可以自己写到快出数量级的高性能代码。即使自己不写代码，也能理解原理，不会再被很多大数据产品喊什么“万亿秒查”的说法忽悠了。
**本文首发于CSDN，为博主原创文章，如果需要转载，请注明出处，谢谢！**
我试图在一个项目中使用rake，如果我把所有东西都放到Rakefile中，它会很大并且很难读取/找到东西，所以我试着将每个命名空间放在lib/rake中它自己的文件中，我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题，但没有任务。我现在只有一个.rake文件作为测试，名为“servers.rake”，它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时
我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚
如果我使用ruby版本2.5.1和Rails版本2.3.18会怎样？我有基于rails2.3.18和ruby1.9.2p320构建的rails应用程序，我只想升级ruby的版本，而不是rails，这可能吗？我必须面对哪些挑战？ 最佳答案 GitHub维护apublicfork它有针对旧Rails版本的分支，有各种变化，它们一直在运行。有一段时间，他们在较新的Ruby版本上运行较旧的Rails版本，而不是最初支持的版本，因此您可能会发现一些关于需要向后移植的有用提示。不过，他们现在已经有几年没有使用2.3了，所以充其量只能让更
我需要一些关于TDD概念的帮助。假设我有以下代码defexecute(command)casecommandwhen"c"create_new_characterwhen"i"display_inventoryendenddefcreate_new_character#dostufftocreatenewcharacterenddefdisplay_inventory#dostufftodisplayinventoryend现在我不确定要为什么编写单元测试。如果我为execute方法编写单元测试，那不是几乎涵盖了我对create_new_character和display_invent
我只想对我一直在思考的这个问题有其他意见，例如我有classuser_controller和classuserclassUserattr_accessor:name,:usernameendclassUserController//dosomethingaboutanythingaboutusersend问题是我的User类中是否应该有逻辑user=User.newuser.do_something(user1)oritshouldbeuser_controller=UserController.newuser_controller.do_something(user1,user2)我
其实做自媒体的成本并不高，入门只需要一部手机即可！在手机上找视频素材、使用手机剪辑视频、最后使用手机发布视频作品获得收益！方法并不难，今天这期内容就来给粉丝们分享一种小方法，每天稳定收益100-300，抓紧点赞收藏！1、找素材（1）使用手机拍摄自己喜欢的经典段落，使用程序把文案内容提取出来（2）也可以在豆瓣、知乎、微博等网站中找一些自己需要的文案素材（3）把文案进行润色修改，可以加入一些自己的观点（4）视频素材可以使用软件中自带的素材，也可以在素材网站中下载完整版的素材2、文案配音（1）把复制好的文案直接导入小程序中（2）调整音色、音调后一键合成音频即可（3）可以选择自己朗读配音，需要花一点时
Region是HBase数据管理的基本单位,region有一点像关系型数据的分区。region中存储这用户的真实数据，而为了管理这些数据，HBase使用了RegionSever来管理region。Region的结构hbaseregion的大小设置默认情况下，每个Table起初只有一个Region，随着数据的不断写入，Region会自动进行拆分。刚拆分时，两个子Region都位于当前的RegionServer，但处于负载均衡的考虑，HMaster有可能会将某个Region转移给其他的RegionServer。RegionSplit时机：当1个region中的某个Store下所有StoreFile
-if!request.path_info.include?'A'%{:id=>'A'}"Text"-else"Text"“文本”写了两次。我怎样才能只写一次并同时检查path_info是否包含“A”？ 最佳答案 有两种方法可以做到这一点。使用部分，或使用content_forblock:如果“文本”较长，或者是一个重要的子树，您可以将其提取到一个部分。这会使您的代码变干一点。在给出的示例中，这似乎有点矫枉过正。在这种情况下更好的方法是使用content_forblock，如下所示:-if!request.path_info.inc
我有这个代码:context"Visitingtheusers#indexpage."dobefore(:each){visitusers_path}subject{page}pending('iii'){shouldhave_no_css('table#users')}pending{shouldhavecontent('Youhavereachedthispageduetoapermissionic错误')}它会导致几个待处理，例如ManagingUsersGivenapractitionerloggedin.Visitingtheusers#indexpage.#Noreason
我正在使用Ruby解决一些ProjectEuler问题，特别是这里我要讨论的问题25(Fibonacci数列中包含1000位数字的第一项的索引是多少？)。起初，我使用的是Ruby2.2.3，我将问题编码为:number=3a=1b=2whileb.to_s.length但后来我发现2.4.2版本有一个名为digits的方法，这正是我需要的。我转换为代码:whileb.digits.length当我比较这两种方法时，digits慢得多。时间./025/problem025.rb0.13s用户0.02s系统80%cpu0.190总计./025/problem025.rb2.19s用户0.0