草庐IT

kafka-stream

全部标签

【Kotlin】Kotlin的stream流编程浅析

  Kotlin是一门由JetBrains公司开发的静态类型JVM语言,其可以与Java无缝集成。与Java相比,Kotlin的语法更简洁、更具表达性,而且提供了更多的特性,比如,高阶函数、操作符重载、字符串模板。今天要浅析的stream流操作就来源于java8当中的特性。一、kotlin的stream流具有的部分操作函数和操作符操作类型操作名称操作解释转换操作filter根据给定的条件过滤流中的元素map将流中的每个元素应用给定的转换函数flatMap将流中的每个元素转换为一个流,并将所有流中的元素合并为一个流distinct去除流中的重复元素sorted根据给定的比较器对流中的元素进行排序

Kafka可视化利器 KafkaTool 发送kafka消息

kafak是我们工作中常用的消息组件,今天在跟合作方联调的时候被告知上游没有准备好消息数据,没有办法从依赖方拿到消息但是我们还又想测试自己写的消息消费的代码,怎么办呢?常规的做法就是把消息消费的代码抽离出来包装成一个公共方法,提供一个Controller直接构造好参数调用一下验证。或者写单元测试,都可以达到咱们的目的。但是总感觉想通过Kafka进行验证代码逻辑,有么有好的办法呢,答案肯定是有的,就是使用KafkaTool模拟生产者发送消息,进行消费。今天在操作的时候走了一些弯路在网上也查了一下相关文档,结果有很多不是很好,遂记录下来供大家参考。第一步:安装KafkaTool这里就不对描述了。我

Kafka干货之「零拷贝」

一、背景周所周知,Kafka是一个非常成熟的消息产品,开源社区也已经经历了多年的不断迭代,特性列表更是能装下好几马车,比如:幂等消息、事务支持、多副本高可用、ACL、AutoRebalance、HW、LeaderEpoch、TimeIndex、ProducerSnapshot、Stream、Connector、多级存储、MirrorMaker、消息压缩、FetchSession、Metrics、Quota等等,Kafka的特性列表真要往出列的话,可能会占满半个屏幕然后我们今天不去探讨这些“炫酷”的feature,只将目光聚焦在消息的生产、存储、消费上,同时这3个功能也是大部分用户接触最多、最基

RabbitMQ 和 Kafka 对比

本文对RabbitMQ和Kafka进行下比较文章目录前言RabbitMQ架构队列消费队列生产Kafka本文小结前言开源社区有好多优秀的队列中间件,比如RabbitMQ和Kafka,每个队列都貌似有其特性,在进行工程选择时,往往眼花缭乱,不知所措。对于RabbitMQ和Kafka,到底应该选哪个?RabbitMQ架构RabbitMQ是一个分布式系统,这里面有几个抽象概念。broker:每个节点运行的服务程序,功能为维护该节点的队列的增删以及转发队列操作请求。masterqueue:每个队列都分为一个主队列和若干个镜像队列。mirrorqueue:镜像队列,作为masterqueue的备份。在ma

【flink番外篇】3、flink的source(内置、mysql、kafka、redis、clickhouse)介绍及示例(3)- kafka

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点,并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分,比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基本用法,比如TableAPI和SQL创建库、表用法、查询、窗口函数、catalog等等内容。4、FlikTableAPI和SQL提高与应用系列本部分是tableapi和sql的应用部分,和实际的生产应

php - 连接到本地主机时 Laravel 5 '..failed to open stream: Permission denied' 异常

这个问题在这里已经有了答案:Laravel5permissiondeniedwhenwritinginlogfile(5个答案)关闭7年前。已经设置了一个项目,当尝试连接到本地主机时,我在控制台中收到此错误:[WedAug1221:26:462015]127.0.0.1:50079[500]:/-Uncaughtexception'UnexpectedValueException'withmessage'Thestreamorfile"/CT/storage/logs/laravel.log"couldnotbeopened:failedtoopenstream:Permissiond

Kafka干货之「零拷贝」

一、背景周所周知,Kafka是一个非常成熟的消息产品,开源社区也已经经历了多年的不断迭代,特性列表更是能装下好几马车,比如:幂等消息、事务支持、多副本高可用、ACL、AutoRebalance、HW、LeaderEpoch、TimeIndex、ProducerSnapshot、Stream、Connector、多级存储、MirrorMaker、消息压缩、FetchSession、Metrics、Quota等等,Kafka的特性列表真要往出列的话,可能会占满半个屏幕然后我们今天不去探讨这些“炫酷”的feature,只将目光聚焦在消息的生产、存储、消费上,同时这3个功能也是大部分用户接触最多、最基

php - 为什么 mime_content_type 上的一些 mp3 返回 application/octet-stream

为什么在某些mp3文件上,当我调用mime_content_type($mp3_file_path)时它返回application/octet-stream?这是我的代码:if(!empty($_FILES)){$tempFile=$_FILES['Filedata']['tmp_name'];$image=getimagesize($tempFile);$mp3_mimes=array('audio/mpeg','audio/x-mpeg','audio/mp3','audio/x-mp3','audio/mpeg3','audio/x-mpeg3','audio/mpg','aud

kafka max.poll.records用法介绍

一、max.poll.records是什么max.poll.records是Kafkaconsumer的一个配置参数,表示consumer一次从Kafkabroker中拉取的最大消息数目。默认值为500条。在Kafka中,一个consumergroup可以有多个consumer实例,每个consumer实例负责消费一个或多个partition的消息。每个consumer实例从broker中拉取消息可以拉取一个或多个消息。max.poll.records参数的作用就是控制每次拉取消息的最大数目,以实现消费弱化和控制内存资源的需求。二、max.poll.records的配置方法在Kafkacons

PHP: get_headers 设置临时 stream_context

我猜想PHP的get_headers不允许使用上下文,所以我必须更改默认流上下文以仅获取请求的HEAD。这会导致页面上的其他请求出现一些问题。我似乎无法弄清楚如何重置默认流上下文。我正在尝试类似的东西:$default=stream_context_get_default();//Getdefaultstreamcontextsowecanresetitstream_context_set_default(//OnlyfetchtheHEADarray('http'=>array('method'=>'HEAD')));$headers=get_headers($url,1);//Ur