草庐IT

Kafka常见topic命令

全部标签

go - 使用 Jaeger 在分布式应用程序中跟踪 Kafka 总线

我分发了包含多个Go服务的应用程序。其中一些使用Kafka作为数据总线。我能够使用Jaeger的opentracing追踪服务之间的调用。我在图表上绘制Kafka跨度时遇到问题,它们显示为间隙。这是我能做的。初始跨度由gRPC中间件创建。生产方:...kafkaMsg:=kafka.Message{Key:[]byte(key),Value:msgBytes}headers:=make(map[string]string)ifspan:=opentracing.SpanFromContext(ctx);span!=nil{opentracing.GlobalTracer().Injec

go - 重消费Kafka消息的可能原因

昨天从日志中发现,kafkagroupcoordinator发起grouprebalance后,kafka重新消费了一些消息。这些消息已在两天前使用(从日志中确认)。日志中报告了另外两个重新平衡,但它们不再重新使用消息。那么为什么第一次reblancing会导致重新消费消息呢?有什么问题?我使用的是golangkafka客户端。这是代码config:=sarama.NewConfig()config.Version=versionconfig.Consumer.Offsets.Initial=sarama.OffsetOldest而且我们在声明消息之前处理消息,因此我们似乎正在为kaf

google-app-engine - 为什么 gcloud 组件更新命令总是显示重新启动命令

当我想将我的Go应用程序部署到AppEngine时,我发现我必须安装app-engine-go。而且还说是在新窗口安装,没有弹出窗口。https://github.com/ChihchengHsieh/ProblemsScreenShot/blob/master/image-2.pngC:\go-work\src\orderFunc>gcloudappdeployThecomponent[app-engine-go]isrequiredforstagingthisapplication.Restartingcommand:$gcloudcomponentsinstallapp-engi

macos - 在 golang 中使用 exec.Command,如何打开一个新终端并执行命令?

当我在终端中直接输入命令时,我能够得到以下命令来打开一个新终端并执行命令,但是当我在go中使用exec.Commmand函数时,我无法让它工作。osascript-e'tellapplication"Terminal"todoscript"echohello"'我认为问题出在双引号和单引号中,但我不确定是什么导致了错误。c:=exec.Command("osascript","-e","'tell","application",`"Terminal"`,"to","do","script",`"echo`,`hello"'`)iferr:=c.Run();err!=nil{fmt.Pr

go - 如何修复 `kafka: client has run out of available brokers to talk to (Is your cluster reachable?)` 错误

我正在开发一个应用程序,该应用程序从sqs队列中读取一条消息,对该数据执行一些操作,然后获取结果并将其发布到kafka主题。为了在本地进行测试,我想在我的docker构建中设置一个kafka图像。我目前能够使用docker-compose在本地启动aws-cli、localstack和我的应用程序的容器。另外,我也可以毫无问题地启动kafka和zookeper。我无法让我的应用程序与kafka通信。我试过使用两个单独的撰写文件,也尝试过网络。最后,我引用了:https://rmoff.net/2018/08/02/kafka-listeners-explained/。这是我的docke

go - 构建命令行参数 : cannot load local package: cannot find module providing package

我无法使用gomod加载本地包。我有单独的go.mod文件用于repoA和repoB。我在任何地方都找不到解决方案。操作系统是windows。$>goversiongoversiongo1.12.7windows/amd64当我从repoA运行主文件时,我有两个带有存储库的模块。它将尝试查找repoB的模块/包,然后抛出一个错误提示cannotfindmoduleprovidingpackage我的repo结构:-����repoA�����proto������system�����sauth�����shandle�����smodel�����sresponse����repoB

go - 使用 kafka-go 计划在 Kafka 中创建消费者

我是kafka的新手,目前正在研究它。我在golang中使用kafka-go来创建生产者和消费者。目前我能够创建一个生产者,但我希望一旦创建了一个主题的生产者而不是每次都创建消费者。意味着对于每个主题,只创建一次消费者。此外,当需要为主题创建更多消费者以平衡负载时,它会被创建。有没有办法通过goroutines或Faktory来安排它? 最佳答案 你不应该有耦合的生产者/消费者,Kafka让你有完全解耦的生产者/消费者。即使主题不存在,您也可以运行您的消费者(Kafka将创建它,您只会收到一个领导者不可用警告),并在您需要时运行您的

multilingual - 如何使用 "hugo new"命令

我在多语言环境中使用Hugo(v0.58.1)。我的帖子存储在不同的文件夹中。例如:content/zh/...content/fr/…我不知道如何使用hugonew--kindpost命令按语言/文件夹创建.md文件(例如hugonew--kindpostfr/2019/09/…)?也许-c,--contentDir字符串或-d,--destination字符串标志?但我不明白如何使用它们。hugonew-kpost-c/Users/ns/projects/hugo/tests/hugo-template/content/fr/post/2019/09/07/test.md

unit-testing - 调试在命令行中工作,但在 UI 中未命中断点

我在我的Windows10机器上安装了以下内容:VS代码-版本1.38.1Golang-版本go1.13Delve-版本1.3.0我已经在环境变量中设置了GOROOT和GOPATH。我的GOPATH有以下三个文件夹:来源本包装在src下,我创建了一个基本的sam-app。它会自动创建main_test.go文件。当我进行“调试测试”时,UI中没有出现断点。但是,我可以在命令行中使用dlv进行调试。我在launch.json中尝试了不同的配置。他们都没有工作。在我friend的机器上,即使没有配置,UI调试也能正常工作在VSCode设置中-->节点调试-->自动附加-->我已经设置为'o

json - 使用 Go 的 restful Web 服务的 POST 方法(对于 JSON)的 Curl 命令的 500 内部服务器错误

有一个名为countries.go的文件它导入包github.com/ant0ine/go-json-rest/rest。引用代码来自https://gowalker.org/github.com/ant0ine/go-json-rest#countries国家部分:POSTDELETE等演示当我尝试使用命令时curl-i-d'{"Code":"FR","Name":"France"}'http_URL它给了{“错误”:“寻找值开头的无效字符‘\’”我已经使用了上面给出的包。似乎在request.go中给出的方法是DecodeJsonPayload(),它为JSON实现unmarsha