草庐IT

操作Kafka的Topic

全部标签

go - 如何操作 Hyper-v WMI 类和方法

Hyper-v通过hyper-vwmi接口(interface)集成到openstack中。hyper-vwmi接口(interface)的调用方式与此链接中的代码所示相同:https://github.com/openstack/os-win/blob/master/os_win/utils/baseutils.py97vs_man_svc=self._compat_conn.Msvm_VirtualSystemManagementService()[0]Msvm_VirtualSystemManagementService是一个hyper-vwmi类:https://msdn.mi

go - 卡夫卡服务器 : Offset's topic has not yet been created

我正在使用Kafka服务器0.9+zookeper。我是卡夫卡的新手。它在virtualbox中运行,我可以使用公共(public)IP连接到它,所以它正在工作......或多或少:可以获取主题和消息。所以现在我有两个问题:我在__consumer_offsets(空)找不到任何东西,这就是为什么我遇到gosimpleconsumer脚本抛出错误的问题:kafka服务器:Offset的主题尚未创建;当我通过命令ls/brokers/topics/__consumer_offsets检查zookeeper-shell.sh控制台时,我出错了:Nodedoesnotexist:/broke

docker - 无法使用Sarama Golang软件包创建Kafka生产者客户端-“客户端/元数据在获取元数据时从代理处出错:EOF”

版本:GoLang1.10.2卡夫卡4.4.1Docker18.03.1我正在尝试使用Shopify的Sarama软件包来测试我的Kafka实例。我使用Dockercompose来站起Kafka/Zookeeper,并且一切都成功运行。当我尝试使用Sarama创建Producer客户端时,会引发错误。当我运行以下packagemainimport("fmt""log""os""os/signal""time""strconv""github.com/Shopify/sarama")funcmain(){//Setupconfigurationconfig:=sarama.NewConf

go - 在kafka中为同一主题创建多个消费者

我是新手,可以在下面的github存储库中看到一个只有一个消费者的示例,但是有什么想法可以在golang中为同一主题创建多个消费者吗?https://github.com/confluentinc/confluent-kafka-go/tree/master/examplesconfluent-kafka中是否有任何消费者工厂(生成N个消费者)可以读取相同的主题(带分区)? 最佳答案 Confluentgithubrepo中有一个示例:https://github.com/confluentinc/confluent-kafka-g

go - 后操作失败,出现 "CSRF token validation failed"错误

我正在尝试对SAPHybrisC4C实体执行POST操作。我看到很多博客提到我们需要在POST期间发送X-CSRF-Token,它可以首先使用GET操作检索。我使用Postman成功地做到了这一点。因为Postman存储cookie不会导致CSRFtoken验证失败。但是,我实际上想用golang来调用它。而且我每次都收到错误,因为“CSRFtoken验证失败”。然后在浏览了很多博客之后,我发现我们不仅要设置X-CSRF-Token,还要设置Cookie,这样HTTPPOST就不会被视为新session。否则我们发送的csrftoken与当前session不匹配导致错误。即使按照以上两

go - Golang Consumer连接Kafka后延迟接收Kafka消息

我是Golang和Kafa的新手,所以这似乎是一个愚蠢的问题。在我的Kafka消费者首次连接到Kafka服务器后,为什么在与Kafka服务器建立连接和接收第一条消息之间存在延迟(约20秒)?它在consumer.Messages()之前打印一条消息,并为收到的每条消息打印另一条消息。大约20秒的延迟在第一个fmt.Println和第二个fmt.Println之间。packagemainimport("fmt""github.com/Shopify/sarama"cluster"github.com/bsm/sarama-cluster")funcmain(){//Createtheco

Golang segmentio/kafka-go 消费者不工作

我正在使用segmentio/kafka-go连接到卡夫卡。//toproducemessagestopic:="my-topic"partition:=0conn,_:=kafka.DialLeader(context.Background(),"tcp","localhost:9092",topic,partition)conn.SetWriteDeadline(time.Now().Add(10*time.Second))conn.WriteMessages(kafka.Message{Value:[]byte("one!")},kafka.Message{Value:[]byt

pointers - 如何在 Go 中存储对操作结果的引用?

好吧,很难用语言来描述它,但假设我有一个存储int指针的映射,并且想将操作的结果存储为我的散列中的另一个键:m:=make(map[string]*int)m["d"]=&(*m["x"]+*m["y"])这不起作用并给我错误:cannottaketheaddressof*m["x"]&*m["y"]想法? 最佳答案 指针是内存地址。例如,一个变量在内存中有一个地址。像3+4这样的操作的结果没有地址,因为没有为它分配特定的内存。结果可能只存在于处理器寄存器中。您必须分配可以将其地址放入map的内存。最简单直接的方法是为它创建一个局部

amazon-web-services - 使用 "and"运算符使用具有多个条件的 FilterExpression 进行扫描操作

我正在用Go编写一个lambda函数并使用DynamoDB作为我的数据库。我需要编写一个具有多个条件的扫描操作(例如field1=value1andfield2=value2andfield3=value3)。我正在根据用户提供的参数/条件数量创建一个FilterExpression字符串。我的过滤表达式如下:(#field1=:field1Val)and(#field2=:field2Val)我还在扫描操作输入的映射中提供了ExpressionAttributeNames和ExpressionAttributeValues。但是,我没有得到任何结果(计数=0)。如果我只指定一个条件,

go - 使用 kafka go 读取 __consumer_offsets

我想使用这个库阅读主题__consumer_offsets:https://github.com/segmentio/kafka-go我的问题是,除非我指定一个分区,否则似乎什么都不会发生。默认情况下,这个主题有100个分区,向kafka查询分区列表然后循环读取它们似乎是不合理的,我希望库中有一个预先存在的方法来读取所有分区的消息在主题中。在我用kafkacat验证__consumer_offsets主题的分区15中有消息后,目前有以下工作:r:=kafka.NewReader(kafka.ReaderConfig{Brokers:[]string{"kafka:9092"},Topi