broker的数量最好大于等于partition数量一个partition最好对应一个硬盘，这样能最大限度发挥顺序写的优势。一个broker如果对应多个partition，需要随机分发，顺序IO会退化成随机IO。实验条件：3个Broker，1个Topic，无Replication，异步模式，3个Producer，消息Payload为100字节：第一阶段：当Partition数量小于Broker个数时，Partition数量越大，吞吐率越高，且呈线性提升。Kafka会将所有Partition均匀分布到所有Broker上，所以当只有2个Partition时，会有2个Broker为该Topic服务。
broker的数量最好大于等于partition数量一个partition最好对应一个硬盘，这样能最大限度发挥顺序写的优势。一个broker如果对应多个partition，需要随机分发，顺序IO会退化成随机IO。实验条件：3个Broker，1个Topic，无Replication，异步模式，3个Producer，消息Payload为100字节：第一阶段：当Partition数量小于Broker个数时，Partition数量越大，吞吐率越高，且呈线性提升。Kafka会将所有Partition均匀分布到所有Broker上，所以当只有2个Partition时，会有2个Broker为该Topic服务。
最近在数据处理中用到了窗函数,把使用方法记录一下,暂时只有分组排序和滑动时间窗口的例子,以后再逐步添加场景在SQL查询时,会遇到有两类需要分组统计的场景,在之前的SQL语法中是不方便实现的场景1:顾客维修设备的记录表,每次维修产生一条记录,每个记录包含时间,顾客ID和维修金额,要取出每个顾客的维修次数和最后一次维修时的金额场景2:还是上面的维修记录表,要取出每个顾客的每次维修之间的时间间隔场景3:一个用户账户的交易流水表,要求每个小时的交易笔数和平均收支金额,这个平均数的统计范围是两个小时(整点时间的前后一个小时)使用窗函数直接SQL中使用窗函数就能解决这些问题,否则需要使用临时表,函数或存储
最近在数据处理中用到了窗函数,把使用方法记录一下,暂时只有分组排序和滑动时间窗口的例子,以后再逐步添加场景在SQL查询时,会遇到有两类需要分组统计的场景,在之前的SQL语法中是不方便实现的场景1:顾客维修设备的记录表,每次维修产生一条记录,每个记录包含时间,顾客ID和维修金额,要取出每个顾客的维修次数和最后一次维修时的金额场景2:还是上面的维修记录表,要取出每个顾客的每次维修之间的时间间隔场景3:一个用户账户的交易流水表,要求每个小时的交易笔数和平均收支金额,这个平均数的统计范围是两个小时(整点时间的前后一个小时)使用窗函数直接SQL中使用窗函数就能解决这些问题,否则需要使用临时表,函数或存储
什么是TopicTopic翻译过来是主题的意思，一个Topic就像数据库中的一张表。Producer发布的消息可以带有主题，主题相同的消息记录放在一个集合里。什么是PartitionPartition是最小的存储单元，每个Partition都是一个单独的log文件，每条记录都以追加的形式写入。Topic在Partition里如何体现如下图，一份topic的数据有三部分组成，下图设置的分片数是2。在下图中一份topic的数据=replica0_1+replica1_1+replica2_1,但是为了保证容错率每一部分的数据需要在另外一台机器（broker）进行备份，比如在Borker1这台机器上
什么是TopicTopic翻译过来是主题的意思，一个Topic就像数据库中的一张表。Producer发布的消息可以带有主题，主题相同的消息记录放在一个集合里。什么是PartitionPartition是最小的存储单元，每个Partition都是一个单独的log文件，每条记录都以追加的形式写入。Topic在Partition里如何体现如下图，一份topic的数据有三部分组成，下图设置的分片数是2。在下图中一份topic的数据=replica0_1+replica1_1+replica2_1,但是为了保证容错率每一部分的数据需要在另外一台机器（broker）进行备份，比如在Borker1这台机器上
ExtractingvalueusingWindowandPartition我在pyspark中有一个数据框12345678910id|value1 01 11 02 12 03 03 03 1我想提取同一id组中value列中第一次出现1之后的所有行。我创建了带有Id分区的窗口，但不知道如何获取值1之后存在的行。我期待结果是1234567 id|value 1 1 1 0 2 1 2 0 3 1你有定义窗口内排序的东西吗？否则我认为结果将是不确定的我只能按id列订购。底层数据模型是一个集合，而不是一个列表，例如对于id=1，值0、1和0可以按任何顺序处理。
ExtractingvalueusingWindowandPartition我在pyspark中有一个数据框12345678910id|value1 01 11 02 12 03 03 03 1我想提取同一id组中value列中第一次出现1之后的所有行。我创建了带有Id分区的窗口，但不知道如何获取值1之后存在的行。我期待结果是1234567 id|value 1 1 1 0 2 1 2 0 3 1你有定义窗口内排序的东西吗？否则我认为结果将是不确定的我只能按id列订购。底层数据模型是一个集合，而不是一个列表，例如对于id=1，值0、1和0可以按任何顺序处理。
