草庐IT

kafka-server-start

全部标签

go - 为什么 os/exec.StderrPipe 的编写器在 Start() 中关闭?

谁能帮我理解为什么pw(thewriter)计划于Start()结束?我希望pw与pr(thereader)一起关闭在Wait(). 最佳答案 closeAfterStart和closeAfterwait是io.Closers的两片分别称为insStart和Wait的cmd结构。现在,这是为什么?这两个基本上都是缓冲区(slice),需要写入读出。根据它们当前是否正在使用,它们将被关闭。例如StdInPipe需要先读取再写入,因此pr包含在closeAfterStart中和pw在closeAfterWait.对StdOutPipe执

go - Golang Consumer连接Kafka后延迟接收Kafka消息

我是Golang和Kafa的新手,所以这似乎是一个愚蠢的问题。在我的Kafka消费者首次连接到Kafka服务器后,为什么在与Kafka服务器建立连接和接收第一条消息之间存在延迟(约20秒)?它在consumer.Messages()之前打印一条消息,并为收到的每条消息打印另一条消息。大约20秒的延迟在第一个fmt.Println和第二个fmt.Println之间。packagemainimport("fmt""github.com/Shopify/sarama"cluster"github.com/bsm/sarama-cluster")funcmain(){//Createtheco

Golang segmentio/kafka-go 消费者不工作

我正在使用segmentio/kafka-go连接到卡夫卡。//toproducemessagestopic:="my-topic"partition:=0conn,_:=kafka.DialLeader(context.Background(),"tcp","localhost:9092",topic,partition)conn.SetWriteDeadline(time.Now().Add(10*time.Second))conn.WriteMessages(kafka.Message{Value:[]byte("one!")},kafka.Message{Value:[]byt

sql-server - sql : Scan error on column index 0, name "": unsupported Scan, 将 driver.Value 类型 int64 存储到类型 *main.SMSBlast 中?

我现在正在尝试restfulapi,其中列SequenceID不是自动增量,因为故意的,当我像这样计数时,我的问题是库gormcountSequenceId:=db.Debug().Table("SMSBlast2").Count(&smsblast1),结果是sql:列索引0上的扫描错误,名称“”:不支持的扫描,将driver.Value类型int64存储到类型*main.SMSBlastpackagemainimport("encoding/json""fmt""github.com/gorilla/mux""github.com/jinzhu/gorm"_"github.com/

java - 在 Eureka Server 中,发现和注册服务/应用程序不是在 Spring 中开发的

如何在EurekaServer中发现和注册没有使用Spring(例如,在Java-JEE和Go上)构建的Web应用程序?在Spring-Boot应用程序中,很容易添加这些注释:@EnableDiscoveryClient@SpringBootApplication之前publicclassEurekaClientApp{publicstaticvoidmain(String[]args){SpringApplication.run(EurekaClientApp.class,args);}}在配置中,application.propertieseureka.client.registe

go - golang 中 server.GracefulStop() 的行为

我有一个gRPC服务器,我已经实现了像这样正常关闭我的gRPC服务器funmain(){//Somecodeterm:=make(chanos.Signal)gofunc(){iferr:=grpcServer.Serve(lis);err!=nil{term这很好用。相反,如果我在主goroutine中编写grpcServer.Serve()逻辑并将关闭处理程序逻辑放入另一个goroutine,则server.GracefulStop()之后的语句通常不会执行.如果完全执行closeDbConnections(),一些DbConnections将关闭。server.GracefulS

go - 使用 kafka go 读取 __consumer_offsets

我想使用这个库阅读主题__consumer_offsets:https://github.com/segmentio/kafka-go我的问题是,除非我指定一个分区,否则似乎什么都不会发生。默认情况下,这个主题有100个分区,向kafka查询分区列表然后循环读取它们似乎是不合理的,我希望库中有一个预先存在的方法来读取所有分区的消息在主题中。在我用kafkacat验证__consumer_offsets主题的分区15中有消息后,目前有以下工作:r:=kafka.NewReader(kafka.ReaderConfig{Brokers:[]string{"kafka:9092"},Topi

go - 使用 Jaeger 在分布式应用程序中跟踪 Kafka 总线

我分发了包含多个Go服务的应用程序。其中一些使用Kafka作为数据总线。我能够使用Jaeger的opentracing追踪服务之间的调用。我在图表上绘制Kafka跨度时遇到问题,它们显示为间隙。这是我能做的。初始跨度由gRPC中间件创建。生产方:...kafkaMsg:=kafka.Message{Key:[]byte(key),Value:msgBytes}headers:=make(map[string]string)ifspan:=opentracing.SpanFromContext(ctx);span!=nil{opentracing.GlobalTracer().Injec

go - 重消费Kafka消息的可能原因

昨天从日志中发现,kafkagroupcoordinator发起grouprebalance后,kafka重新消费了一些消息。这些消息已在两天前使用(从日志中确认)。日志中报告了另外两个重新平衡,但它们不再重新使用消息。那么为什么第一次reblancing会导致重新消费消息呢?有什么问题?我使用的是golangkafka客户端。这是代码config:=sarama.NewConfig()config.Version=versionconfig.Consumer.Offsets.Initial=sarama.OffsetOldest而且我们在声明消息之前处理消息,因此我们似乎正在为kaf

go - 如何修复 `kafka: client has run out of available brokers to talk to (Is your cluster reachable?)` 错误

我正在开发一个应用程序,该应用程序从sqs队列中读取一条消息,对该数据执行一些操作,然后获取结果并将其发布到kafka主题。为了在本地进行测试,我想在我的docker构建中设置一个kafka图像。我目前能够使用docker-compose在本地启动aws-cli、localstack和我的应用程序的容器。另外,我也可以毫无问题地启动kafka和zookeper。我无法让我的应用程序与kafka通信。我试过使用两个单独的撰写文件,也尝试过网络。最后,我引用了:https://rmoff.net/2018/08/02/kafka-listeners-explained/。这是我的docke