草庐IT

中间件之Kafka实用篇

全部标签

design-patterns - Go:如何使用中间件模式?

我有一个仅在特定条件下执行的函数(例如role=='Administrator')。现在,我使用'if'语句。但也可能是条件数量较多且定义较长的'if'看起来不太美观的情况。Go中的可用机制(或与Go框架相关的机制)是否允许实现中间件概念(操作过滤器)?例如,ASP.NETMVC允许这样做:[MyFilter]publicViewResultIndex(){//Filterwillbeappliedtothisspecificactionmethod}因此,在单独的类中实现的MyFilter()允许更好的代码组合和测试。更新:Revel(Go的Web框架)提供了与拦截器(框架在操作调用

go - 如何在gin-gonic/gin中间件中实现高效的IP白名单

我有一个应用程序需要限制为少数IP。如果请求IP不是来自允许列表,我可以编写一个中间件并返回,但是我希望这个过程尽可能高效。IE。我想尽早断开连接。我可以断开连接的最早阶段是什么,最好是使用HTTP响应。我无法控制主机防火墙或边界防火墙来过滤流量,而且,即使我控制了防火墙,我也无法提供HTTP响应。此外,如果我能在gin中获得HTTP请求的生命周期的描述,我会更愿意。 最佳答案 按照Lansana的描述添加一个中间件。尽可能早地在链中声明它很重要。r:=gin.New()whitelist:=make(map[string]bool

go - 如何在中间件中获取请求体

我需要在中间件中获取请求正文。像这样的东西:returnfunc(whttp.ResponseWriter,req*http.Request){data,err:=handler(w,req)iferr!=nil{buf:=new(bytes.Buffer)buf.ReadFrom(req.Body)s:=buf.String()但是我得到了带有正文的POST请求的s==""。为什么以及如何修复它? 最佳答案 您只能阅读一次请求正文,但您可以阅读一次并创建所阅读内容的副本。使用tee阅读器https://golang.org/pkg

go - serveHTTP 实用程序从哪里来的所谓的裸函数

我有这个工具:typeHandlerstruct{}func(hHandler)Mount(router*mux.Router,vPeopleInjection){router.HandleFunc("/api/v1/people",h.makeGetMany(v)).Methods("GET")}上面调用这个:func(hHandler)makeGetMany(vPeopleInjection)http.HandlerFunc{typeRespBodystruct{}typeReqBodystruct{Handlestring}returntc.ExtractType(tc.Type

go - 在 Go 中处理需要访问数据库的中间件

我在创建一个将链接到其他路由并需要访问数据库的中间件时遇到问题,我不确定如何解决这个问题。我将所有应用上下文(包括数据库)存储在名为AppContext的结构中。我想创建一个看起来像这样的函数处理程序:funcSomeHandler(appC*AppContext,nexthttp.Handler)http.Handler{fn:=func(whttp.ResponseWriter,r*http.Request){//AccessthedatabaseusingappC.db//Logicthatrequiresaccesstothedatabase.next.ServeHTTP(w,

asynchronous - 具有异步 goroutines 的 Kafka 消费者

我正在为我的消费者使用sarama(https://github.com/Shopify/sarama/)和Kafka0.8.0。这是我的代码的样子:consumerLoop:for{select{caseevent:=我正在使用缓冲channel(c.sem)来控制一次可以运行多少个processJobgoroutine。这就是我控制消费者的并发/速度的方式。我在使用这种方法时遇到的问题是,如果我需要更改并发性,我必须关闭使用者并重新启动它(channel缓冲区大小是一个命令行标志)。我记录了已处理的偏移量,我必须查看我的日志以确定处理了哪些偏移量以及我希望消费者从哪里恢复。我想要一

Go logging struct 实例化实用方法的 Goroutine 线程安全

我正在使用一个新的go服务,我有一个SetupLogger实用函数,它创建一个新的go-kit日志结构实例log.Logger。从在单独的go-routines中处理请求的代码调用此方法是否安全?packageutilsimport("fmt""github.com/go-kit/kit/log""io""os""path/filepath")//Iftheenvironment-specifieddirectoryforwritinglogfilesexists,opentheexistinglogfile//ifitalreadyexistsorcreatealogfileifno

go - 在中间件中修改请求头

希望这是赢得一些声望的简单方法。这看起来很简单,所以我一定是做错了什么,只是看不到。我有一个简单的中间件,它有一个事务ID,并将其添加到请求和响应header中。funcHandleTransactionID(fnhttp.HandlerFunc)http.HandlerFunc{returnfunc(whttp.ResponseWriter,req*http.Request){tid:=uuid.NewV4()req.Header.Set(TransIDHeader,TransIDPrefix+tid.String())w.Header().Set(TransIDHeader,Tra

go - 只有一个消费者获得 5 个分区的 kafka 消息

我们使用Go的confluentkafka包测试了具有2和3个消费者的消费者组(知道我们将来可能会有更多消费者)。每个主题有10个分区,消息在所有消费者之间拆分。每个主题有5个分区,但不知何故只有一个消费者获取消息。知道为什么会出现这种行为吗? 最佳答案 您可以尝试使用此命令查看分区分配情况,并将结果添加到此处吗?bin/kafka-consumer-groups.sh--bootstrap-server:9092--describe--group--members--verbose默认情况下,Kafka使用范围分区方案,因此有时会

go - 在 Gorilla mux 处理后运行中间件

我正在尝试使用Golang中间件在处理GorillaMux路由后运行,以便更改每个请求的响应。代码示例见下文。目前它返回“之前运行,运行测试”,目标是使用runsafter中间件返回“之前运行,运行测试,之后运行”。GorillaMux可以实现这样的功能吗?packagemainimport("fmt""github.com/gorilla/mux""net/http")funcrunsbefore(hhttp.Handler)http.Handler{fn:=func(whttp.ResponseWriter,r*http.Request){w.Write([]byte("runbe