介绍 有一个系统，有如下特征，偶尔会触发FGC（1小时几次，每次持续4~5分钟）：机器规格48C96G，规格已经很大了，不宜再扩大内存分配：Young20GB(1:1:8),Old 70GB,堆外4GB,预留2GB给OS使用ParNewGC+ CMSGC启动后需要加载大量元数据、缓存，大概占据30GB~40GB内存，这些元数据、缓存常驻内存业务繁忙，堆内存分配速度很快，低峰期1GB/s+，高峰期5GB/s+单机大部分时间不会FGC，Old区使用率也符合预期 （比例在30GB~40GB除以70GB）；但即将发生FGC时，Old区的利用率是在短时间（2~3分钟以内）猛涨上去的，不是慢慢涨上去
gitrebase与gitmerge图文详解大家在工作中团队开发的时候对于拉取分支和合并代码时就会涉及到两种选择，gitrebase与gitmerge：rebase：变基，会有一个干净的分支，但是对于记录来源不够清晰merge：合并，git分支看起来比较混乱，但是清楚各个记录的来源与时间节点推荐：全部使用merge拉公共分支使用最新代码：merge；有些公司会要求使用rebase，也就是gitpull-r或gitpull--rebase。这样的好处很明显，提交记录会比较简洁。但有个缺点就是rebase以后我就不知道我的当前分支最早是从哪个分支拉出来的了，因为基底变了嘛，所以看个人需求了。总体来
1、数据倾斜优化1.1由分组聚合导致的数据倾斜（1）优化说明（2）优化案例1.2join导致的数据倾斜（1）优化说明（2）优化案例2、HQL语法优化之任务并行度2.1Map端并行度2.2Reduce端并行度3、HQL语法优化之小文件合并3.1Map端输入文件合并3.2Reduce输出文件合并4、其他优化4.1CBO优化4.2谓词下推4.3矢量化查询4.4Fetch抓取4.5本地模式4.6并行执行4.7严格模式1、数据倾斜优化数据倾斜问题，通常是指参与计算的数据分布不均，即某个key或者某些key的数据量远超其他key，导致在shuffle阶段，大量相同key的数据被发往同一个Reduce，进而
Git合并出现MERGING有效解决方法错误描述解决办法参考链接错误描述我在操作git合并时候意外出现了MERGING，很懵逼，如图所示：遇到这个问题也是很头疼了，百度了很多方法有说是：“在命令行输入：gitreset--hardHEAD就可以了，其实这种方法是错的，这是撤销合并，不能随便撤销，得根据实际情况，要是一个小白看了，直接照敲进去，可能自己辛辛苦苦写的代码就没了。（我就是小白，解决冲突文件输入gitreset--hardHEAD后，我解决冲突的代码突然就不见了，心塞。--hard删除工作空间改动代码，撤销commit，撤销gitadd.；gitreset--hardHEAD表示回退到
作者：托尼学长链接：https://www.zhihu.com/question/580724176/answer/3175338086来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 1）每天凌晨的业务低峰期，定时对索引做force_merge操作，以释放空间；（2）采取冷热分离机制，热数据存储到SSD，提高检索效率；冷数据定期进行shrink操作，以缩减存储；（3）仅针对需要分词的字段，合理的设置分词器；（4）大批量数据初始化写入前，副本数设置为0，写入后恢复副本数；（5）大批量数据初始化写入前，refresh_interval设置为-1，禁用刷新机制，写入后
目录一、实验1.环境2.mount3.free4.top5.vmstat6.sar7.slabtop8.strace9.opensnoop10.filetop11.cachestat二、问题1.Ftrace实例如何实现2.Functiontrace如何跟踪实例3.function_graphTrace如何跟踪实例4.traceevent如何跟踪实例5.未找到命令6.fatrace有何功能一、实验1.环境（1）主机表1-1主机主机架构组件IP备注prometheus监测系统prometheus、node_exporter 192.168.204.18grafana监测GUIgrafana192.
SparkSQL性能调优官网权威资料点击这里也可看全文文章目录在内存中缓存数据其他配置选项SQL查询的连接策略Hints提示SQL查询的合并提示自适应查询执行合并后洗牌分区拆分倾斜的洗牌分区将排序合并join连接转换为广播连接将排序合并join连接转换为随机哈希连接优化倾斜join连接其他Hints描述语法分区提示分区提示类型示例连接提示连接提示类型示例参考链接对于某些工作负载，可以通过将数据缓存在内存中或打开一些实验选项来提高性能。在内存中缓存数据SparkSQL可以使用内存中的列式格式缓存表格，通过调用spark.catalog.cacheTable("tableName")或dataFr
Git出现MERGING：这个以前解决了很多次了，分享一下如图所示，几个小时前拉的新分支，因为线上的代码肯定是有很多人提交的，所以需要pull下来，但是成功pull下来后，出现了如下情况：开始的分支显示的是(feature/tfzk/fdd-report-20231216)但是重新拉下代码后分支名后面多了MERGING 解释：出现MERGING状态，其实是是出现文件的冲突了，当几个人改了同一个代码，就需要解决冲突。MERGING 是Git中的一种状态，在合并过程中出现。它表示当前分支正在合并其他分支的修改。合并操作通常发生在两个分支的历史记录有冲突的情况下，或者在进行手动合并时。当要合并分支的
1调优基本原则1.1基本概念和原则首先，要搞清楚Spark的几个基本概念和原则，否则系统的性能调优无从谈起：每一台host上面可以并行N个worker，每一个worker下面可以并行M个executor，task们会被分配到executor上面去执行。Stage指的是一组并行运行的task，stage内部是不能出现shuffle的，因为shuffle的就像篱笆一样阻止了并行task的运行，遇到shuffle就意味着到了stage的边界。CPU的core数量，每个executor可以占用一个或多个core，可以通过观察CPU的使用率变化来了解计算资源的使用情况，例如，很常见的一种浪费是一个exe
前面文章讲到画像的应用的几个方面，其中画像的在线服务应用主要是在推荐场景、策略引擎场景，这两部分场景都是面向线上的c端服务。推荐场景：根据不同的用户推荐不同的内容，做到个性化推荐，需要读取画像的一些偏好数据，推荐感兴趣的内容。策略引擎：根据用户的属性进入到不同的页面或者给出不同的策略，比如：普通用户访问不了淘宝的奢侈品入口，北京的活动只能北京用户参加。所以能看到画像的在线服务的业务要求，流量大、对于耗时敏感（上万或者几十万的QPS、要求在毫秒内返回结果）。目前业界对于这种c端大流量的服务基本上是采用Redis对数据进行存储，提供对外访问。下面是画像服务在实际线上遇到的一些问题以及问题定位和处理
