草庐IT

kafka-consumer-groups

全部标签

regex - 去正则表达式 : how I can replace named groups by concrete values in source pattern?

也许,你可以帮我。例如,我有像(?P\w+)(?P\w+)这样的正则表达式.我如何使用map[string]string{"name":"Alice","surname":"Cool"}替换组以获得字符串AliceCool?这可能吗?谢谢。 最佳答案 好的,我找到了制作方法。希望它会对某人有所帮助。https://play.golang.org/p/Xz9PtE_bIt 关于regex-去正则表达式:howIcanreplacenamedgroupsbyconcretevaluesins

go - 只有一个消费者获得 5 个分区的 kafka 消息

我们使用Go的confluentkafka包测试了具有2和3个消费者的消费者组(知道我们将来可能会有更多消费者)。每个主题有10个分区,消息在所有消费者之间拆分。每个主题有5个分区,但不知何故只有一个消费者获取消息。知道为什么会出现这种行为吗? 最佳答案 您可以尝试使用此命令查看分区分配情况,并将结果添加到此处吗?bin/kafka-consumer-groups.sh--bootstrap-server:9092--describe--group--members--verbose默认情况下,Kafka使用范围分区方案,因此有时会

go - Kafka Golang 客户端无法连接到 Message Hub 服务

这是我正在运行的代码片段:err:=godotenv.Load()iferr!=nil{log.Fatal("Errorloading.envfile")}broker:=os.Getenv("BROKER")topic:=os.Getenv("TOPIC")username:=os.Getenv("USERNAME")password:=os.Getenv("PASSWORD")calocation:=os.Getenv("CALOCATION")p,err:=kafka.NewProducer(&kafka.ConfigMap{"metadata.broker.list":brok

docker - 当部署到 Docker 时,在 Golang 中实现的 Apache Kafka 消费者会出现 panic

这是我尝试实现一个简单的微服务,它应该从kafka服务器读取消息并通过HTTP发送它。当我从终端运行它时它工作正常,但是当部署到docker上时它会出现panicpanic:runtimeerror:invalidmemoryaddressornilpointerdereference[signalSIGSEGV:segmentationviolationcode=0x1addr=0x40pc=0x7b6345]goroutine12[running]:main.kafkaRoutine.func1(0xc420174060,0x0,0x0)/go/src/github.com/dea

mongodb - Golang MGO Group By multiple params 并按日期时间抓取最后一个

我正在使用Golang和MGO库我有一些测试记录,我想按序列号、阶段、阶段顺序进行分组,并按日期时间字段获取最后一条记录。大多数情况下,每个序列/阶段/阶段订单有1条记录,但也可能有多个测试的情况,我想获取最后完成的测试,而不是该组合的所有测试。所以,简而言之,我的表中有些记录具有相同的序列、阶段和阶段顺序,但时间戳不同,我想获取整个数据集的最后一条或唯一一条记录,以便我有一个记录每个(系列、阶段、阶段顺序)组合,如果有重复测试,我总是抓取该组中的最后一条记录。在上面的示例中,我只想取回该系列的第二条记录。我的代码:我试图创建一个管道,但似乎无法正确设置它:pipeline:=[]bs

docker - 无法使用Sarama Golang软件包创建Kafka生产者客户端-“客户端/元数据在获取元数据时从代理处出错:EOF”

版本:GoLang1.10.2卡夫卡4.4.1Docker18.03.1我正在尝试使用Shopify的Sarama软件包来测试我的Kafka实例。我使用Dockercompose来站起Kafka/Zookeeper,并且一切都成功运行。当我尝试使用Sarama创建Producer客户端时,会引发错误。当我运行以下packagemainimport("fmt""log""os""os/signal""time""strconv""github.com/Shopify/sarama")funcmain(){//Setupconfigurationconfig:=sarama.NewConf

go - 在kafka中为同一主题创建多个消费者

我是新手,可以在下面的github存储库中看到一个只有一个消费者的示例,但是有什么想法可以在golang中为同一主题创建多个消费者吗?https://github.com/confluentinc/confluent-kafka-go/tree/master/examplesconfluent-kafka中是否有任何消费者工厂(生成N个消费者)可以读取相同的主题(带分区)? 最佳答案 Confluentgithubrepo中有一个示例:https://github.com/confluentinc/confluent-kafka-g

go - 多Consumer场景下Go接口(interface)应该在哪里定义?生产者中的界面如何显示通用性?

有人可以给我这个建议的具体例子吗?https://github.com/golang/go/wiki/CodeReviewComments#interfaces这就是我遵循的方式吗?packageworkertypeinterfaceDB{getAllTable()}typeworkerstruct{dbDB}func(wworker)doSomething(){w.db.getAllTable()}packagelistenertypeinterfaceDB{getAllTable()}typelistenerstruct{dbDB}func(llistener)doSomethin

go - Golang Consumer连接Kafka后延迟接收Kafka消息

我是Golang和Kafa的新手,所以这似乎是一个愚蠢的问题。在我的Kafka消费者首次连接到Kafka服务器后,为什么在与Kafka服务器建立连接和接收第一条消息之间存在延迟(约20秒)?它在consumer.Messages()之前打印一条消息,并为收到的每条消息打印另一条消息。大约20秒的延迟在第一个fmt.Println和第二个fmt.Println之间。packagemainimport("fmt""github.com/Shopify/sarama"cluster"github.com/bsm/sarama-cluster")funcmain(){//Createtheco

Golang segmentio/kafka-go 消费者不工作

我正在使用segmentio/kafka-go连接到卡夫卡。//toproducemessagestopic:="my-topic"partition:=0conn,_:=kafka.DialLeader(context.Background(),"tcp","localhost:9092",topic,partition)conn.SetWriteDeadline(time.Now().Add(10*time.Second))conn.WriteMessages(kafka.Message{Value:[]byte("one!")},kafka.Message{Value:[]byt