草庐IT

Kafka基础原理

全部标签

docker - 当部署到 Docker 时,在 Golang 中实现的 Apache Kafka 消费者会出现 panic

这是我尝试实现一个简单的微服务,它应该从kafka服务器读取消息并通过HTTP发送它。当我从终端运行它时它工作正常,但是当部署到docker上时它会出现panicpanic:runtimeerror:invalidmemoryaddressornilpointerdereference[signalSIGSEGV:segmentationviolationcode=0x1addr=0x40pc=0x7b6345]goroutine12[running]:main.kafkaRoutine.func1(0xc420174060,0x0,0x0)/go/src/github.com/dea

go - 是否可以在项目基础上开发 Go? (没有gopath)

假设我想将一个go项目集成到另一个repo中,或者想在我的桌面上开发一个临时项目。我目前的理解是,为了开发任何东西,它必须在我的gopath之内。这是Go独有的吗?有没有办法,例如,goinit一个文件夹并将其用作独立的项目文件夹? 最佳答案 正如我在AutomaticallydefiningGOPATHonaperprojectbasis中所说明的那样,这取决于您的IDE。VisualStudioCode将自动检测一个Go项目结构(myProject/src)并为该项目设置一个GOPATH。参见“GOPATHintheVSCode

docker - 无法使用Sarama Golang软件包创建Kafka生产者客户端-“客户端/元数据在获取元数据时从代理处出错:EOF”

版本:GoLang1.10.2卡夫卡4.4.1Docker18.03.1我正在尝试使用Shopify的Sarama软件包来测试我的Kafka实例。我使用Dockercompose来站起Kafka/Zookeeper,并且一切都成功运行。当我尝试使用Sarama创建Producer客户端时,会引发错误。当我运行以下packagemainimport("fmt""log""os""os/signal""time""strconv""github.com/Shopify/sarama")funcmain(){//Setupconfigurationconfig:=sarama.NewConf

go - 在kafka中为同一主题创建多个消费者

我是新手,可以在下面的github存储库中看到一个只有一个消费者的示例,但是有什么想法可以在golang中为同一主题创建多个消费者吗?https://github.com/confluentinc/confluent-kafka-go/tree/master/examplesconfluent-kafka中是否有任何消费者工厂(生成N个消费者)可以读取相同的主题(带分区)? 最佳答案 Confluentgithubrepo中有一个示例:https://github.com/confluentinc/confluent-kafka-g

Makefile基础教程

前期准备在真正使用Makefile之前,我们首先先写四个c文件和相应的h文件,分别是fun0.c,fun1.c,fun2.c,fun0.h,fun1.h,fun2.h以及main.c//fun0.c#include"fun0.h"voidprint0(){ printf("helloworld0");}//fun0.h#includevoidprint0(void);//fun1.c#include"fun1.h"voidprint1(){ printf("helloworld1");}//fun1.h#includevoidprint1(void);//fun2.c#include"fun2

go - Golang Consumer连接Kafka后延迟接收Kafka消息

我是Golang和Kafa的新手,所以这似乎是一个愚蠢的问题。在我的Kafka消费者首次连接到Kafka服务器后,为什么在与Kafka服务器建立连接和接收第一条消息之间存在延迟(约20秒)?它在consumer.Messages()之前打印一条消息,并为收到的每条消息打印另一条消息。大约20秒的延迟在第一个fmt.Println和第二个fmt.Println之间。packagemainimport("fmt""github.com/Shopify/sarama"cluster"github.com/bsm/sarama-cluster")funcmain(){//Createtheco

Golang segmentio/kafka-go 消费者不工作

我正在使用segmentio/kafka-go连接到卡夫卡。//toproducemessagestopic:="my-topic"partition:=0conn,_:=kafka.DialLeader(context.Background(),"tcp","localhost:9092",topic,partition)conn.SetWriteDeadline(time.Now().Add(10*time.Second))conn.WriteMessages(kafka.Message{Value:[]byte("one!")},kafka.Message{Value:[]byt

go - golang protobuf编译中指定基础包

我有golang包github.com/user/protoapp,在这个包中我有包含protobuf文件的文件夹proto。github.com/user/protoapp|-proto|-proto/app1|-proto/app2app1和app2中的proto文件都有对应的包app1和app;来自proto/app1的Proto文件正在从proto/app2导入文件,如import"app2/messages.proto";aftercompillationinapp1.pb.go变成了importapp2并且protoapp编译失败。如何使*.pb.go文件中的导入成为imp

go - 使用 kafka go 读取 __consumer_offsets

我想使用这个库阅读主题__consumer_offsets:https://github.com/segmentio/kafka-go我的问题是,除非我指定一个分区,否则似乎什么都不会发生。默认情况下,这个主题有100个分区,向kafka查询分区列表然后循环读取它们似乎是不合理的,我希望库中有一个预先存在的方法来读取所有分区的消息在主题中。在我用kafkacat验证__consumer_offsets主题的分区15中有消息后,目前有以下工作:r:=kafka.NewReader(kafka.ReaderConfig{Brokers:[]string{"kafka:9092"},Topi

go - 使用 Jaeger 在分布式应用程序中跟踪 Kafka 总线

我分发了包含多个Go服务的应用程序。其中一些使用Kafka作为数据总线。我能够使用Jaeger的opentracing追踪服务之间的调用。我在图表上绘制Kafka跨度时遇到问题,它们显示为间隙。这是我能做的。初始跨度由gRPC中间件创建。生产方:...kafkaMsg:=kafka.Message{Key:[]byte(key),Value:msgBytes}headers:=make(map[string]string)ifspan:=opentracing.SpanFromContext(ctx);span!=nil{opentracing.GlobalTracer().Injec