1、避免在循环中进行查询操作：避免在循环中进行查询操作，可以将查询结果缓存到内存中，然后对内存中的数据进行操作，可以提高性能。这种方式适合集合数据量少的数据，否则利大于弊。//不建议的方式：在循环中进行查询操作foreach(variteminitemList){varresult=context.Items.FirstOrDefault(i=>i.Id==item.Id);//执行逻辑}//推荐的方式：将查询结果缓存到内存中，然后对内存中的数据进行操作varitemIds=itemList.Select(i=>i.Id).ToList();varresults=context.Items.W
1、避免在循环中进行查询操作：避免在循环中进行查询操作，可以将查询结果缓存到内存中，然后对内存中的数据进行操作，可以提高性能。这种方式适合集合数据量少的数据，否则利大于弊。//不建议的方式：在循环中进行查询操作foreach(variteminitemList){varresult=context.Items.FirstOrDefault(i=>i.Id==item.Id);//执行逻辑}//推荐的方式：将查询结果缓存到内存中，然后对内存中的数据进行操作varitemIds=itemList.Select(i=>i.Id).ToList();varresults=context.Items.W
目录1、HBase关键参数配置1.1写参数调整1.1.1客户端调优1.1.2使用PutList方式提交请求1.2Memstore相关1.2.1根据memstore大小flushhfile1.2.3Flush前进行Compaction1.3内存相关1.3.1GC参数1.4HFile相关1.4.1文件同步sync1.5Compaction相关1.5.1Compact文件大小阈值1.5.2Compact文件个数阈值1.5.3Compact文件数目1.5.4Compact文件大小选择1.5.5MajorCompaction执行周期1.6HLog相关 1.6.1文件同步sync1.6.2HlogFlus
目录1、HBase关键参数配置1.1写参数调整1.1.1客户端调优1.1.2使用PutList方式提交请求1.2Memstore相关1.2.1根据memstore大小flushhfile1.2.3Flush前进行Compaction1.3内存相关1.3.1GC参数1.4HFile相关1.4.1文件同步sync1.5Compaction相关1.5.1Compact文件大小阈值1.5.2Compact文件个数阈值1.5.3Compact文件数目1.5.4Compact文件大小选择1.5.5MajorCompaction执行周期1.6HLog相关 1.6.1文件同步sync1.6.2HlogFlus
0.目录1）MySQL总体架构介绍2）MySQL存储引擎调优3）常用慢查询分析工具4）如何定位不合理的SQL5）SQL优化的一些建议1MySQL总体架构介绍1.1MySQL总体架构介绍引言MySQL是一个关系型数据库应用十分广泛在学习任何一门知识之前对其架构有一个概括性的了解是非常重要的比如索引、sql是在哪个地方执行的流程是什么样的今天我们就先来学习一下MySQL的总体架构总的来说：MySQL架构是一个客户端-服务器系统。MySQL主要包括以下几部分:Server层：主要包括连接器、查询缓存、分析器、优化器、执行器等，所有跨存储引擎的功能都在这一层实现，比如存储过程、触发器、视图，函数等，还
0.目录1）MySQL总体架构介绍2）MySQL存储引擎调优3）常用慢查询分析工具4）如何定位不合理的SQL5）SQL优化的一些建议1MySQL总体架构介绍1.1MySQL总体架构介绍引言MySQL是一个关系型数据库应用十分广泛在学习任何一门知识之前对其架构有一个概括性的了解是非常重要的比如索引、sql是在哪个地方执行的流程是什么样的今天我们就先来学习一下MySQL的总体架构总的来说：MySQL架构是一个客户端-服务器系统。MySQL主要包括以下几部分:Server层：主要包括连接器、查询缓存、分析器、优化器、执行器等，所有跨存储引擎的功能都在这一层实现，比如存储过程、触发器、视图，函数等，还
目录1运行行为1.1动态生成分区1.2broadcastjoin使用hint强制做broadcastjoin：1.3动态资源分配1.4Shuflle相关1.5读ORC表优化2executor能力2.1内存2.2executor并发度2.3executor读取hive表时单task处理数据量/无shuffle作业小文件合并2.4GC优化（使用较少，当尝试其他调优方法均无效时可尝试此方法）3driver指标：3.1内存3.2GC优化一、常用参数--map端小文件合并sethive.merge.mapfiles=true;--reduce端小文件合并sethive.merge.mapredfiles
目录1运行行为1.1动态生成分区1.2broadcastjoin使用hint强制做broadcastjoin：1.3动态资源分配1.4Shuflle相关1.5读ORC表优化2executor能力2.1内存2.2executor并发度2.3executor读取hive表时单task处理数据量/无shuffle作业小文件合并2.4GC优化（使用较少，当尝试其他调优方法均无效时可尝试此方法）3driver指标：3.1内存3.2GC优化一、常用参数--map端小文件合并sethive.merge.mapfiles=true;--reduce端小文件合并sethive.merge.mapredfiles
kafka消费速度慢可以尝试以下方法进行调优1.根据topic分区数来调整消费者实例数众所周知，kafka为了保证消息消费顺序topic的每个分区只能被消费者组中一个实例消费。如果你的topic分区数为36，则可以尝试调整消费者实例数为36，当然这个是消费者ConsumerFactory.concurrency=1的情况。如果你调整了线程数为n，则你的消费者实例数最优为Math.ceil(36/n)。2.开启消费者批量消费可以把ConcurrentKafkaListenerContainerFactory.setBatchListener(true)开启批量消费，并配置批量消费数Consume
kafka消费速度慢可以尝试以下方法进行调优1.根据topic分区数来调整消费者实例数众所周知，kafka为了保证消息消费顺序topic的每个分区只能被消费者组中一个实例消费。如果你的topic分区数为36，则可以尝试调整消费者实例数为36，当然这个是消费者ConsumerFactory.concurrency=1的情况。如果你调整了线程数为n，则你的消费者实例数最优为Math.ceil(36/n)。2.开启消费者批量消费可以把ConcurrentKafkaListenerContainerFactory.setBatchListener(true)开启批量消费，并配置批量消费数Consume
