Flink实时groupby聚合场景操作时，由于使用的是rocksdb状态后端，发现CPU的高负载卡在rocksdb的读写上，导致上游算子背压特别大。通过调优使用hashmap状态后端代替rocksdb状态后端，使吞吐量有了质的飞跃（20倍的性能提升），并分析整理。实例代码--SETtable.exec.state.ttl=86400s;--24hour,默认:0msSETtable.exec.state.ttl=2592000s;--30days,默认:0msCREATETABLEkafka_table(midbigint,dbstring,schstring,tabstring,optst
1、计算资源配置1.1Yarn资源配置1.2MapReduce资源配置2、Explain查看执行计划（重点）2.1Explain执行计划概述2.2基本语法2.3案例实操3、分组聚合优化3.1优化说明（1）map-side聚合相关的参数3.2优化案例4、join优化4.1Join算法概述（1）CommonJoin（2）MapJoin（3）BucketMapJoin（4）SortMergeBucketMapJoin4.2使用说明（1）mapjoin（2）mapjoin案例（3）BucketMapJoin（4）BucketMapJoin案例（5）SortMergeBucketMapJoin关于调优，
一、分布式消息队列的水平扩展随着业务的快速发展和数据的不断增长，单一的消息队列服务器往往难以满足高并发、高可用和高吞吐量的需求，因此，如何实现消息队列的水平扩展成为了一个重要的问题。这部分我将从分区、副本、负载均衡等关键概念出发，一起探讨如何实现分布式消息队列的水平扩展。1、分区（Partitioning）分区是实现消息队列水平扩展的关键技术致以，它将消息队列划分为多个逻辑分区，每个分区可以独立处理消息，从而实现并行处理和水平扩展，以下是关于分区的几个关键点：01逻辑隔离每个分区在逻辑上是隔离的，拥有自己的消息队列和消费者组，这样可以避免消息的处理受到其他分区的影响。02并行处理由于每个分区可
背景项目上是用ES做数据库，存储的告警数据，量级在千万级别左右。测试在压测之后，系统频繁出现告警记录查询报错，系统不可用。基于此排查分析项目上Elasticsearch的使用是否合理。版本及硬件环境：10.xx.xxx.xxjdk：1.8.0elasticsearch：6.5.4es集群：1个client(预处理节点)，1个data(即做主节点，又做数据节点)os：centos764核128G垃圾回收器：-XX:+UseConcMarkSweepGC-XX:CMSInitiatingOccupancyFraction=75-XX:+UseCMSInitiatingOccupancyOnly-X
前提现在依然有很多人在观望跳槽的时机，因为在没找到下一家公司的时候谁都不敢轻易说出离职两个字。而一旦到了去面试的时候，又会自我怀疑：比如说觉得自己学历不够高；没有大厂履历；之前待的公司用的都是一些老技术栈......这次面试真的能顺利吗？说实话，这些都是一些外在干扰因素，在求职者身上，最重要的还是要看到工作能力的高低上下。这样，薪资等其他方面才能水到渠成。高频技术考点究竟哪些技术点可以在面试官筛选简历和面试时能留下深刻印象呢？这里不得不提到性能调优，几乎每个JAVA后端开发程序员，都会在面试时碰到性能调优的问题。回答好了这个问题，才能说对JVM、Mysql、Redis等的理解到了一个新的高度。
Linux调优相关命令汇总TIPS本文基于CentOS7编写，理论支持所有所有版本Linux发行版，部分命令的个别参数在不同版本中可能存在细微的差异。入门级#切换目录cd#示例#切换到上一层目录cd..#切换到/opt/softwarecd/opt/software#显示工作目录pwd#显示指定工作目录下之内容ls#示例#列出当前目录中文件及目录的详情ls-l#列出当前目录及其子目录中文件及目录的详情ls-lR#创建目录mkdir#示例#创建目录aaamkdiraaa#在bbb目录下创建目录aaa，如果bbb目录不存在，就创建一个mkdir-pbbb/aaa#删除目录rmdir#示例#删除目录
CPU/堆/类/线程根据服务部署和项目架构，从如下几个方面排查：（1）运用服务器：排查内存，cpu,请求数等；（2）文件图片服务器：排查内存，cpu,请求数等；（3）计时器服务器：排查内存，cpu,请求数等；（4）redis服务器：排查内存，cpu,连接数等；（5）db服务器：排查内存，cpu,连接数等；在秒杀后30分钟内，1.运用程序服务器cpu暴增，内存暴增，造成cpu和内存暴增的根本原因是请求数过高，单台运用服务器达到3000多；2.redis请求超时3.jdbc连接超时4.通过gc查看，发现24小时内，FullGC发生了152次5.再看看堆栈，发现有一些线程阻塞和死锁jstat-lpi
内存模型因为TaskManager是负责执行用户代码的角色，一般配置TaskManager内存的情况会比较多，所以本文当作重点讲解。根据实际需求为TaskManager配置内存将有助于减少Flink的资源占用，增强作业运行的稳定性。TaskManager内存模型如下。如上图所示，下表中列出了FlinkTaskManager内存模型的所有组成部分，以及影响其大小的相关配置参数。我们可以看到，有些内存部分的大小可以直接通过一个配置参数进行设置，有些则需要根据多个参数进行调整。接下来，我们详细来看一下各个内存区域的含义、技术原理，以及Flink对它的默认值在什么场景下需要调整。内存配置下图的左边标注
Hive内核调优(二)1.3Hive日志说明SQL调优过程中需要结合Hive日志分析性能瓶颈，如下是对关键日志进行说明。1.3.1运行日志运行态日志主要包括HiveServer日志、MetaStore日志、Yarn日志。HiveServer日志：HiveServer负责接收客户端请求（SQL语句），然后编译、执行（提交到YARN或运行localMR）、与MetaStore交互获取元数据信息等。HiveServer运行日志记录了一个SQL完整的执行过程。通常情况下，当我们遇到SQL语句运行失败，我们首先要看的就是HiveServer运行日志。日志文件路径：/var/log/Bigdata/hiv
读了啥周志明的深入理解Java虚拟机中的调优案例。第一个案例背景一个网站部署在JVM上，而Java堆大小固定在了12G，但是总会出现长时间无法响应的情况。使用了吞吐量优先收集器：可能是ParallelScavenge和ParallelOld收集器。问题网站直接从磁盘拷贝文档到堆内存中，文档过大导致进入老年代，频繁操作很快占满Java堆，导致FullGC被触发。网站以前部署在小内存的机器上，反而FullGC造成的停顿不明显了。所以，如今机器升级意义也不大。经验老年代的占用值得关注，不然FullGC会造成延迟。最起码程序中的绝大多数对象生存时间不能太长。因为64位JVM使用到了压缩指针(像32位J
