先说一下为什么要分表当一张的数据达到几百万时，你查询一次所花的时间会变多，如果有联合查询的话，我想有可能会死在那儿了。分表的目的就在于此，减小数据库的负担，缩短查询时间。根据个人经验，mysql执行一个sql的过程如下：1,接收到sql;2,把sql放到排队队列中;3,执行sql;4,返回执行结果。在这个执行过程中最花时间在什么地方呢？第一，是排队等待的时间，第二，sql的执行时间。其实这二个是一回事，等待的同时，肯定有sql在执行。所以我们要缩短sql的执行时间。mysql中有一种机制是表锁定和行锁定，为什么要出现这种机制，是为了保证数据的完整性，我举个例子来说吧，如果有二个sql都要修改同
文章目录@[toc]创建一个演示topic生产一些数据使用消费者组消费数据增加分区无新数据产生，有旧数据未消费有新数据产生，有旧数据未消费增加副本创建json文件使用指定的json文件增加topic的副本数使用指定的json文件查看topic的副本数增加的进度查看topic情况文档内出现的${KAFKA_BROKERS}表示kafka的连接地址，${ZOOKEEPER_CONNECT}表示zk的连接地址，需要替换成自己的实际ip地址创建一个演示topickafka-topics.sh--create--zookeeper${ZOOKEEPER_CONNECT}--replication-fac
1、kafka生产者1.1生产者消息发送流程1.1.1发送原理在消息发生的过程中，设计到了两个线程——main线程和Sender线程。在main线程中创建了一个双端队列RecordAccumulator。main线程将消息发给RecordAccumulator，Sender线程不断从RecordAccumulator中拉取消息发送到KafkaBroker。batch.size:只有数据积累到batch.size之后，sender才会发送数据。默认16klinger.ms:如果数据迟迟未达到batch.size,sender等待linger.ms设置的时间到了之后就会发送数据。单位ms，默认值数
介绍Mysql5.5只支持水平分区，还不支持垂直分区。MySQL分区不能与使用MERGE，CSV或FEDERATED存储引擎。分区适用于表的所有数据和索引;您不能只分区数据而不分区索引，反之亦然，也不能只分区表的一部分。通过分区，可以在一个表中存储比在单个磁盘或文件系统分区上保存的数据更多的数据。查看当前数据库是否支持分区功能查看当前数据库版本：mysql>status--------------mysqlVer14.14Distrib5.7.24,forLinux(x86_64)usingEditLinewrapperConnectionid:25Currentdatabase:Curren
情况说明：在VMwarevsphere的虚拟化平台下，为了快速部署虚拟服务器，我们常常使用模板部署虚拟机。但真实业务有时要求的文件系统分区和大小常常与模板不同，这时便需要自定义硬件资源和使用LVM方式扩容。在定义硬盘的时候我们可以在原有的硬盘上直接增加，然后虚拟机创建完成后再进入系统进行扩容，这时就需要用到fdisk命令将新增的硬盘容量建立为LVM分区，然后扩容到现有的LV组里，这次我们来扩容swap分区。 1、查看磁盘信息，我们可以看到sda是500G，但sda1和sda2两个分区加起来才使用了100G；这是因为建立模板机时的分区导致的，接下来我们就对新增的400G容量使用fdisk分区。[
作者：京东科技 康志兴1前言随着Java的进化过程，涌现出各种不同的垃圾回收器，从串行执行到并行执行，从高吞吐到低延迟，终极目标就是让开发人员专注于程序的代码书写而无需关注内存管理。JDK早期出现的垃圾回收器通常单独作用于不同分代，到后期出现的G1开始，才可以进行全区域收集。关于垃圾回收器的基础知识请翻看前一篇：从原理聊JVM（一）：染色标记和垃圾回收算法2串行收集器（Serial）比较老的收集器，单线程，所收集时必须暂停应用的工作线程，直到收集结束。但和其他收集器的单线程相比更加简单、高效。作用于新生代的收集器叫Serial，采用标记复制算法；作用于年老代的收集器叫SerialOld，采用标
admin@RT-AX56U_V2-4F08:/jffs#df-hFilesystemSizeUsedAvailableUse%Mountedon/dev/root25.6M25.6M0100%/devtmpfs122.3M0122.3M0%/devtmpfs122.4M380.0K122.1M0%/vartmpfs122.4M7.0M115.5M6%/tmp/mntubi1:data1.0M64.0K880.0K7%/datatmpfs122.4M7.0M115.5M6%/tmp/mnttmpfs122.4M7.0M115.5M6%/tmp/dev/mtdblock915.0M15.0M01
前言之前总在聊微服务，微服务本身也是分布式系统，其实微服务的核心思想是分而治之，把一个复杂的单体系统，按照业务的交付，分成不同的自服务，以降低资深复杂度，同时可以提升系统的扩展性。今天想聊一下分库分表，因为对于快速增长的业务来说，这个是无法回避的一环。之前我在做商城相关的SAAS系统，商品池是一个存储瓶颈，商品池数量会基于租户增长和运营变得指数级增长，短短几个月就能涨到几千万的数据，而运营半年后就可能过亿。而对于订单这种数据，也会跟着业务的成长，也会变得愈发巨大。存储层来说，提升大数据量下的存储和查询性能，就涉及到了另一个层面的问题，但思想还是一样的，分而治之。我们面临什么样的问题关系型数据库
1.分配策略的作用我们在分析生产者的时候有专门写过文章分析生产者的分区分配策略Kafka生产者的3种分区策略生成者的分配策略是把我们产生的消息选择一个合适的分区去发送，那么今天我们要讲解一下消费者的分区分配策略他要做的事情是同一个消费组中给不同消费者分配能够消费的分区数;同一个消费组中,一个分区只会被一个消费者消费。2.分配策略的选择2.1分配策略配置每个消费组客户端都可以配置一个partition.assignment.strategy属性并且可以配置多个自己支持的分配策略，例如：partition.assignment.strategy=org.apache.kafka.clients.c
acks=0，生产者发送过来数据就不管了，可靠性差，效率高；acks=1，生产者发送过来数据Leader应答，可靠性中等，效率中等；acks=-1，生产者发送过来数据Leader和ISR队列里面所有Follwer应答，可靠性高，效率低；在生产环境中，acks=0很少使用；acks=1，一般用于传输普通日志，允许丢个别数据；acks=-1，一般用于传输和钱相关的数据，对可靠性要求比较高的场景。至少一次（AtLeastOnce）=ACK级别设置为-1+分区副本大于等于2+ISR里应答的最小副本数量大于等于2最多一次（AtMostOnce）=ACK级别设置为0总结：AtLeastOnce可以保证数据
