草庐IT

操作Kafka集群的Topic

全部标签

pointers - 如何在 Go 中存储对操作结果的引用?

好吧,很难用语言来描述它,但假设我有一个存储int指针的映射,并且想将操作的结果存储为我的散列中的另一个键:m:=make(map[string]*int)m["d"]=&(*m["x"]+*m["y"])这不起作用并给我错误:cannottaketheaddressof*m["x"]&*m["y"]想法? 最佳答案 指针是内存地址。例如,一个变量在内存中有一个地址。像3+4这样的操作的结果没有地址,因为没有为它分配特定的内存。结果可能只存在于处理器寄存器中。您必须分配可以将其地址放入map的内存。最简单直接的方法是为它创建一个局部

amazon-web-services - 使用 "and"运算符使用具有多个条件的 FilterExpression 进行扫描操作

我正在用Go编写一个lambda函数并使用DynamoDB作为我的数据库。我需要编写一个具有多个条件的扫描操作(例如field1=value1andfield2=value2andfield3=value3)。我正在根据用户提供的参数/条件数量创建一个FilterExpression字符串。我的过滤表达式如下:(#field1=:field1Val)and(#field2=:field2Val)我还在扫描操作输入的映射中提供了ExpressionAttributeNames和ExpressionAttributeValues。但是,我没有得到任何结果(计数=0)。如果我只指定一个条件,

go - 使用 kafka go 读取 __consumer_offsets

我想使用这个库阅读主题__consumer_offsets:https://github.com/segmentio/kafka-go我的问题是,除非我指定一个分区,否则似乎什么都不会发生。默认情况下,这个主题有100个分区,向kafka查询分区列表然后循环读取它们似乎是不合理的,我希望库中有一个预先存在的方法来读取所有分区的消息在主题中。在我用kafkacat验证__consumer_offsets主题的分区15中有消息后,目前有以下工作:r:=kafka.NewReader(kafka.ReaderConfig{Brokers:[]string{"kafka:9092"},Topi

go - 使用 Jaeger 在分布式应用程序中跟踪 Kafka 总线

我分发了包含多个Go服务的应用程序。其中一些使用Kafka作为数据总线。我能够使用Jaeger的opentracing追踪服务之间的调用。我在图表上绘制Kafka跨度时遇到问题,它们显示为间隙。这是我能做的。初始跨度由gRPC中间件创建。生产方:...kafkaMsg:=kafka.Message{Key:[]byte(key),Value:msgBytes}headers:=make(map[string]string)ifspan:=opentracing.SpanFromContext(ctx);span!=nil{opentracing.GlobalTracer().Injec

go - 重消费Kafka消息的可能原因

昨天从日志中发现,kafkagroupcoordinator发起grouprebalance后,kafka重新消费了一些消息。这些消息已在两天前使用(从日志中确认)。日志中报告了另外两个重新平衡,但它们不再重新使用消息。那么为什么第一次reblancing会导致重新消费消息呢?有什么问题?我使用的是golangkafka客户端。这是代码config:=sarama.NewConfig()config.Version=versionconfig.Consumer.Offsets.Initial=sarama.OffsetOldest而且我们在声明消息之前处理消息,因此我们似乎正在为kaf

go - 如何修复 `kafka: client has run out of available brokers to talk to (Is your cluster reachable?)` 错误

我正在开发一个应用程序,该应用程序从sqs队列中读取一条消息,对该数据执行一些操作,然后获取结果并将其发布到kafka主题。为了在本地进行测试,我想在我的docker构建中设置一个kafka图像。我目前能够使用docker-compose在本地启动aws-cli、localstack和我的应用程序的容器。另外,我也可以毫无问题地启动kafka和zookeper。我无法让我的应用程序与kafka通信。我试过使用两个单独的撰写文件,也尝试过网络。最后,我引用了:https://rmoff.net/2018/08/02/kafka-listeners-explained/。这是我的docke

Go 支持 Scatter-Gather IO 操作

我想在Go中开发基于Unix域套接字的高性能客户端-服务器通信协议(protocol)。具体来说,我正在考虑采用Vector-IO操作(writev/readv系统调用)以避免结构化数据序列化的开销。但是,我认为Go并不完全支持使用scatter-gatherio操作。我发现了一些为writev操作提供Go支持但不支持readv的尝试。有没有一种方法可以在Go中实现它和/或在性能方面有什么替代方案? 最佳答案 使用net.Buffers使用writev或类似的优化批量写入。对于读取,将数据放入单个缓冲区和slice根据需要缓冲。

go - 使用 kafka-go 计划在 Kafka 中创建消费者

我是kafka的新手,目前正在研究它。我在golang中使用kafka-go来创建生产者和消费者。目前我能够创建一个生产者,但我希望一旦创建了一个主题的生产者而不是每次都创建消费者。意味着对于每个主题,只创建一次消费者。此外,当需要为主题创建更多消费者以平衡负载时,它会被创建。有没有办法通过goroutines或Faktory来安排它? 最佳答案 你不应该有耦合的生产者/消费者,Kafka让你有完全解耦的生产者/消费者。即使主题不存在,您也可以运行您的消费者(Kafka将创建它,您只会收到一个领导者不可用警告),并在您需要时运行您的

服务搭建篇(七) Elasticsearch单节点部署以及多节点集群部署

感兴趣的话大家可以关注一下公众号:猿人刘先生,欢迎大家一起学习,一起进步,一起来交流吧!1.ElasticsearchElasticsearch(简称ES)是一个分布式,RESTful风格的搜索和数据分析引擎,使用java开发并且是当前最流行的开源的企业级搜索引擎,能够达到近实时搜索,稳定,可靠,快速,安装使用方便。客户端支持Java、.NET(C#)、PHP、Python、Ruby等多种语言。官方网站:https://www.elastic.co/下载地址:https://www.elastic.co/cn/downloads/past-releases#elasticsearch2.单节点

K8S集群中Node节点资源不足导致Pod无法运行的故障排查思路

K8S集群中Node节点资源不足导致Pod无法运行的故障排查思路文章目录K8S集群中Node节点资源不足导致Pod无法运行的故障排查思路1.Node节点资源不足可能会产生的故障2.Node节点资源不足故障排查案例一3.Node节点资源不足故障排查案例二1.Node节点资源不足可能会产生的故障故障一:Pod数量太多超出物理节点的限制每一台Node节点中默认限制最多运行110个Pod资源,当一个应用程序有成百上千的Pod资源时,如果不扩容Node节点或者修改最大Pod数量限制,那么就会导致部分Pod资源无法正常运行,因为节点已经没有资源可以被调度了。解决思路就是扩容Node节点数量或者修改Pod的