JVM整体结构本文主要说的是HotSpot虚拟机，JVM全称是JavaVirtualMachine，中文译名：Java虚拟机简化一下：Java字节码文件Class文件本质上是一个以8位字节为基础单位的二进制流，各个数据项目严格按照顺序紧凑的排列在Class文件中，JVM根据其特定的规则解析该二进制数据，从而得到相关信息Class文件采用一种伪结构来存储数据，它有两种类型：无符号数和表首先从整体上看一下Java字节码文件所包含的内容：初识Class文件、基础信息packagecom.zixieqing;publicclassKnowClass{staticinta=0;publicstaticv
1、数据倾斜优化1.1由分组聚合导致的数据倾斜（1）优化说明（2）优化案例1.2join导致的数据倾斜（1）优化说明（2）优化案例2、HQL语法优化之任务并行度2.1Map端并行度2.2Reduce端并行度3、HQL语法优化之小文件合并3.1Map端输入文件合并3.2Reduce输出文件合并4、其他优化4.1CBO优化4.2谓词下推4.3矢量化查询4.4Fetch抓取4.5本地模式4.6并行执行4.7严格模式1、数据倾斜优化数据倾斜问题，通常是指参与计算的数据分布不均，即某个key或者某些key的数据量远超其他key，导致在shuffle阶段，大量相同key的数据被发往同一个Reduce，进而
通过这一个多月的努力，将FullGC从40次/天优化到近10天才触发一次，而且YoungGC的时间也减少了一半以上，这么大的优化，有必要记录一下中间的调优过程。对于JVM垃圾回收，之前一直都是处于理论阶段，就知道新生代，老年代的晋升关系，这些知识仅够应付面试使用的。前一段时间，线上服务器的FullGC非常频繁，平均一天40多次，而且隔几天就有服务器自动重启了，这表明服务器的状态已经非常不正常了，得到这么好的机会，当然要主动请求进行调优了。未调优前的服务器GC数据，FullGC非常频繁。图片首先服务器的配置非常一般（2核4G），总共4台服务器集群。每台服务器的FullGC次数和时间基本差不多。其
作者：托尼学长链接：https://www.zhihu.com/question/580724176/answer/3175338086来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 1）每天凌晨的业务低峰期，定时对索引做force_merge操作，以释放空间；（2）采取冷热分离机制，热数据存储到SSD，提高检索效率；冷数据定期进行shrink操作，以缩减存储；（3）仅针对需要分词的字段，合理的设置分词器；（4）大批量数据初始化写入前，副本数设置为0，写入后恢复副本数；（5）大批量数据初始化写入前，refresh_interval设置为-1，禁用刷新机制，写入后
目录一、实验1.环境2.mount3.free4.top5.vmstat6.sar7.slabtop8.strace9.opensnoop10.filetop11.cachestat二、问题1.Ftrace实例如何实现2.Functiontrace如何跟踪实例3.function_graphTrace如何跟踪实例4.traceevent如何跟踪实例5.未找到命令6.fatrace有何功能一、实验1.环境（1）主机表1-1主机主机架构组件IP备注prometheus监测系统prometheus、node_exporter 192.168.204.18grafana监测GUIgrafana192.
SparkSQL性能调优官网权威资料点击这里也可看全文文章目录在内存中缓存数据其他配置选项SQL查询的连接策略Hints提示SQL查询的合并提示自适应查询执行合并后洗牌分区拆分倾斜的洗牌分区将排序合并join连接转换为广播连接将排序合并join连接转换为随机哈希连接优化倾斜join连接其他Hints描述语法分区提示分区提示类型示例连接提示连接提示类型示例参考链接对于某些工作负载，可以通过将数据缓存在内存中或打开一些实验选项来提高性能。在内存中缓存数据SparkSQL可以使用内存中的列式格式缓存表格，通过调用spark.catalog.cacheTable("tableName")或dataFr
🌈🌈🌈🌈🌈🌈🌈🌈欢迎关注公众号（通过文章导读关注：【11来了】），及时收到AI前沿项目工具及新技术的推送发送资料可领取深入理解Redis系列文章结合电商场景讲解Redis使用场景、中间件系列笔记和编程高频电子书！文章导读地址：点击查看文章导读！感谢你的关注！🍁🍁🍁🍁🍁🍁🍁🍁下边这些文章的pdf文档，我也都整理好了，点击领取文档大厂面试深度解析专栏（持续更新中！）针对大厂面试真题，深度剖析面试底层逻辑！大厂面试深度解析专栏深入理解Redis专栏文章该专栏是基于电商场景，先是通过内核级了解Redis运行原理，之后结合电商场景，实现了分页缓存、购物车缓存、高并发读写分片优化等解决方案！深入理解Red
1调优基本原则1.1基本概念和原则首先，要搞清楚Spark的几个基本概念和原则，否则系统的性能调优无从谈起：每一台host上面可以并行N个worker，每一个worker下面可以并行M个executor，task们会被分配到executor上面去执行。Stage指的是一组并行运行的task，stage内部是不能出现shuffle的，因为shuffle的就像篱笆一样阻止了并行task的运行，遇到shuffle就意味着到了stage的边界。CPU的core数量，每个executor可以占用一个或多个core，可以通过观察CPU的使用率变化来了解计算资源的使用情况，例如，很常见的一种浪费是一个exe
前面文章讲到画像的应用的几个方面，其中画像的在线服务应用主要是在推荐场景、策略引擎场景，这两部分场景都是面向线上的c端服务。推荐场景：根据不同的用户推荐不同的内容，做到个性化推荐，需要读取画像的一些偏好数据，推荐感兴趣的内容。策略引擎：根据用户的属性进入到不同的页面或者给出不同的策略，比如：普通用户访问不了淘宝的奢侈品入口，北京的活动只能北京用户参加。所以能看到画像的在线服务的业务要求，流量大、对于耗时敏感（上万或者几十万的QPS、要求在毫秒内返回结果）。目前业界对于这种c端大流量的服务基本上是采用Redis对数据进行存储，提供对外访问。下面是画像服务在实际线上遇到的一些问题以及问题定位和处理
一、介绍jstatjstat命令可以查看堆内存各部分的使用量，以及加载类的数量。命令的格式如下：jstat[-命令选项][vmid][间隔时间/毫秒][查询次数]1、命令格式jstat命令命令格式：jstat[Options]vmid[interval][count]参数说明：Options，选项，我们一般使用-gcutil查看gc情况vmid，VM的进程号，即当前运行的java进程号interval，间隔时间，单位为秒或者毫秒count，打印次数，如果缺省则打印无数次2、示例通常运行命令如下：直接使用ps-ef|grepjava查看java进程jstat-gc240765000即会每5秒一次
