草庐IT

kafka-tool

全部标签

Golang Kafka 不消耗所有消息 offsetnewest

第一批:-我正在尝试从100个平面文件中提取数据并将其加载到一个数组中,然后将它们作为字节数组一个一个地插入到kafka生产者中。第二批:-我从kafka消费者消费,然后将它们插入NoSQL数据库。我在Kafka的shopifysaramagolang包的配置文件中使用了Offsetnewset。我可以接收消息并将消息插入到kafka,但在消费时我只收到第一条消息。因为我在sarama配置中提供了最新的Offset。我怎样才能得到这里的所有数据。 最佳答案 如果没有任何代码或关于如何配置kafka的更深入的解释(即:主题、分区等),

docker - 错误 : hyperledger/fabric:make gotools: unrecognized import path "golang.org/x/tools/go/gcexportdata"

当makepeer时,它无法访问build/docker/gotools/bin/protoc-gen-go,所以我makegotools,但是失败了,这是日志:mkdir-pbuild/bincdgotools&&makeinstallBINDIR=/root/gocode/binmake[1]:Enteringdirectory'/root/gocode/src/github.com/hyperledger/fabric/gotools'make[2]:Enteringdirectory'/root/gocode/src/github.com/hyperledger/fabric/

go - Kafka 0.11/Golang Sarama 版本支持

我花了一些时间发现连接到Kafka0.11集群的Go应用程序使用的是旧的0.8.2版本的库,它在响应中缺少时间戳值。然后我发现不支持Kafka0.11.xAPI/版本(但他们正在努力)。我现在有两个解决方案。首先是在我的应用程序中明确设置所需的版本。其次是“调整”Sarama代码以使用版本0.10.x作为最低版本,使我能够使用所有0.10.xAPI/功能。我还在想为什么版本不是从我正在连接的Kafka代理中获取的?我无法从代码中理解它应该如何工作...我清楚地看到在sarama.Config.Version中设置或定义的版本,但我无法在连接后找到任何更新此值的内容给经纪人?我知道Pyt

go - Confluent Kafka Golang 客户端生产者 "Broker: Not enough in-sync replicas"

我正在尝试测试生产者使用Golang客户端向kafka集群上的主题写入消息。这可以很好地写入本地集群上的主题,我只是复制并粘贴了他们的示例代码githubrepo.packagemainimport("fmt""gopkg.in/confluentinc/confluent-kafka-go.v1/kafka")funcmain(){p,err:=kafka.NewProducer(&kafka.ConfigMap{"bootstrap.servers":"localhost"})iferr!=nil{panic(err)}deferp.Close()//Deliveryreporth

go - 如何使用 Sarama Go Kafka Consumer 从最新的偏移量中消费

我有三个问题:“最早的偏移量”是什么意思?最早的偏移量并不意味着偏移量为0?//OffsetOldeststandsfortheoldestoffsetavailableonthebrokerfora//partition.OffsetOldestint64=-2假设一个。三个代理在同一台机器上运行B、消费组只有一个消费线程C.消费者配置OffsetOldest标志。D.已经产生了100条消息,目前消费者线程已经消耗了90条消息。那么如果消费者线程重启了,那么这个消费者会从哪个offset开始消费呢?是91还是0?在我们下面的代码中,似乎每次启动消费者时都会重新消费消息。但实际上它确实

Golang : After installed revel command tool, 无法正常工作

这里我按照revelFW文档安装成功。但是尝试在Gitbash和cmd中使用revel命令,它不起作用请任何人对此提出一些建议... 最佳答案 运行:去获取github.com/revel/revel运行:gogetgithub.com/revel/cmd/revel现在应该可以从任何地方获得revel。如果没有,请确保您设置了$GOPATH/bin。附言如果在安装github.com/revel/cmd/revel时遇到问题,请尝试完全删除github.com/revel,然后重新安装这两个包。

docker - 如何使用主机上的golang访问安装在docker中的kafka

我需要使用golang来访问kafka,所以我在docker中安装了kafka和zookepper。1.这里是kafka安装脚本:#pullimagesdockerpullwurstmeister/zookeeperdockerpullwurstmeister/kafka#runkafka&zookepperdockerrun-d--namezookeeper-p2181-twurstmeister/zookeeperdockerrun--namekafka-eHOST_IP=localhost-eKAFKA_ADVERTISED_PORT=9092-eKAFKA_BROKER_ID=

go - 有没有支持交易的 Kafka Go 客户端?

我需要使用支持Kafka事务的客户端库。我知道Java有事务API来支持事务,但如果这些API在Go中可用,我会更喜欢。如果我们有任何稳定的库可用于原子写入多个分区,请告诉我。 最佳答案 我不认为这是目前可用的。librdkafka库目前正在更新以支持它,然后golang客户端也会从那里更新。 关于go-有没有支持交易的KafkaGo客户端?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/quest

xml - Win7/64位 : Notepad++ XML Tools Plugin does not load

我在Windows764位机器上使用Notepad++时遇到问题。我已经下载了XML工具插件,但无法运行它。我从64位文件夹下载了.7z扩展:2013年5月28日14:22669KBiconv-1.14-win32-x86_64.7z2013年5月28日14:283.4MBlibxml-2.9.1-win32-x86_64.7z2013年5月28日14:551.0MBlibxslt-1.1.28-win32-x86_64.7z2013年5月28日14:5558KBmingwrt-4.8.0-win32-x86_64.7z29/5/201313:382.3MBopenssl-1.0.1e

java - 无法读取架构文档 'http://www.springframework.org/schema/tool/spring-tool-4.1.xsd'

当加载我的应用程序spring上下文时,我收到以下错误(仅在Linux机器上,在Windows上似乎以某种方式工作):Failedtoreadschemadocument'http://www.springframework.org/schema/tool/spring-tool-4.1.xsd',because1)couldnotfindthedocument;2)thedocumentcouldnotberead;3)therootelementofthedocumentisnotxsd:schema.堆栈跟踪如下:org.springframework.beans.factory