目录一、实验1.环境2.mount3.free4.top5.vmstat6.sar7.slabtop8.strace9.opensnoop10.filetop11.cachestat二、问题1.Ftrace实例如何实现2.Functiontrace如何跟踪实例3.function_graphTrace如何跟踪实例4.traceevent如何跟踪实例5.未找到命令6.fatrace有何功能一、实验1.环境（1）主机表1-1主机主机架构组件IP备注prometheus监测系统prometheus、node_exporter 192.168.204.18grafana监测GUIgrafana192.

SparkSQL性能调优官网权威资料点击这里也可看全文文章目录在内存中缓存数据其他配置选项SQL查询的连接策略Hints提示SQL查询的合并提示自适应查询执行合并后洗牌分区拆分倾斜的洗牌分区将排序合并join连接转换为广播连接将排序合并join连接转换为随机哈希连接优化倾斜join连接其他Hints描述语法分区提示分区提示类型示例连接提示连接提示类型示例参考链接对于某些工作负载，可以通过将数据缓存在内存中或打开一些实验选项来提高性能。在内存中缓存数据SparkSQL可以使用内存中的列式格式缓存表格，通过调用spark.catalog.cacheTable("tableName")或dataFr

1调优基本原则1.1基本概念和原则首先，要搞清楚Spark的几个基本概念和原则，否则系统的性能调优无从谈起：每一台host上面可以并行N个worker，每一个worker下面可以并行M个executor，task们会被分配到executor上面去执行。Stage指的是一组并行运行的task，stage内部是不能出现shuffle的，因为shuffle的就像篱笆一样阻止了并行task的运行，遇到shuffle就意味着到了stage的边界。CPU的core数量，每个executor可以占用一个或多个core，可以通过观察CPU的使用率变化来了解计算资源的使用情况，例如，很常见的一种浪费是一个exe

前面文章讲到画像的应用的几个方面，其中画像的在线服务应用主要是在推荐场景、策略引擎场景，这两部分场景都是面向线上的c端服务。推荐场景：根据不同的用户推荐不同的内容，做到个性化推荐，需要读取画像的一些偏好数据，推荐感兴趣的内容。策略引擎：根据用户的属性进入到不同的页面或者给出不同的策略，比如：普通用户访问不了淘宝的奢侈品入口，北京的活动只能北京用户参加。所以能看到画像的在线服务的业务要求，流量大、对于耗时敏感（上万或者几十万的QPS、要求在毫秒内返回结果）。目前业界对于这种c端大流量的服务基本上是采用Redis对数据进行存储，提供对外访问。下面是画像服务在实际线上遇到的一些问题以及问题定位和处理

本文已收录至Github，推荐阅读👉Java随想录微信公众号：Java随想录文章目录写入调优基本原则优化手段增加flush时间间隔增加refresh_interval参数的值增加Buffer大小关闭副本禁用swap使用多个工作线程max_result_window参数查询调优读写性能不可兼得优化手段避免单次召回大量数据避免单个文档过大单次查询10条文档好于10次查询每次一条数据建模给系统留足够的内存预索引使用filter代替query避免深度分页使用Keyword类型避免使用脚本当涉及到大规模数据存储和检索时，Elasticsearch以其快速、高效和强大的搜索能力而闻名，并被广泛应用于各种场

JVM调优一、JVM调优是什么二、何时需要进行jvm调优三、常见的JVM调优内容四、JVM调优的基本原则1、在代码层面：2、在架构方面：3、系统参数方面：五、JVM调优目标六、JVM调优量化目标七、JVM调优步骤八、JVM参数及配置1、参数说明2、调优时的配置一、JVM调优是什么JVM调优是指对Java虚拟机（JVM）的配置和参数进行优化，以提升Java应用程序的性能和效率。Java应用程序在JVM上运行，JVM负责解释和执行Java字节码，并提供内存管理、垃圾回收、线程管理等功能。JVM调优的目标是通过合理配置和调整JVM的各种参数和设置，使得应用程序在运行时能够更高效地利用系统资源，提高执

Flink中的双流ioin操作（双流连接）通常涉及大状态的处理，这可能导致一些性能和状态管理的挑战。以下是解决和调优Flink中双流ioin大状态的一些建议：解决方案：增大任务管理器的堆内存：对于处理大状态的任务，增加Flink任务管理器的堆内存可以提供更多的内存空间来存储状态，减缓状态溢出的可能性。使用RocksDB状态后端：将Flink配置为使用RocksDB作为状态后端，RocksDB可以更有效地处理大状态，并提供本地磁盘上的状态后端，减轻内存的压力。javaCopycodeStreamExecutionEnvironmentenv=StreamExecutionEnvironment.

Join:1、小表join大表将key相对分散，并且数据量小的表放在join的左边，这样可以有效减少内存溢出错误发生的几率，再进一步可以使用group让小的维表(1000条以下的记录条数)先进内存，在map端完成reduce。selectcount(distincts_id)fromscore;selectcount(s_id)fromscoregroupbys_id;--在map端进行聚合,效率更高2、多个表关联多个表关联时，最好拆分成小段，避免大sql（无法控制中间Job）3、大表Join大表3.1、空key过滤有时join超时是因为某些key对应的数据太多，而相同key对应的数据都会发送

–explain语法查询**–explain解析执行计划–以下优化为hive层面优化,常开****–读取零拷贝sethive.exec.orc.zerocopy=true;–默认false–关联优化器sethive.optimize.correlation=true;–默认false–fetch本地抓取sethive.fetch.task.conversion=minimal;–新版本默认more,老版本默认minimal–针对小文件开启本地模式sethive.exec.mode.local.auto=true;–默认false–并行执行任务sethive.exec.parallel=true

【Kafka-3.x-教程】专栏：【Kafka-3.x-教程】-【一】Kafka概述、Kafka快速入门【Kafka-3.x-教程】-【二】Kafka-生产者-Producer【Kafka-3.x-教程】-【三】Kafka-Broker、Kafka-Kraft【Kafka-3.x-教程】-【四】Kafka-消费者-Consumer【Kafka-3.x-教程】-【五】Kafka-监控-Eagle【Kafka-3.x-教程】-【六】Kafka外部系统集成【Flume、Flink、SpringBoot、Spark】【Kafka-3.x-教程】-【七】Kafka生产调优、Kafka压力测试【Kafka