草庐IT

sarama-cluster

全部标签

docker - Kubernetes : Is it possible to hit multiple pods with a single request in Kubernetes cluster

我想清除Kubernetes命名空间中所有pod中的缓存。我想向端点发送一个请求,然后它将向命名空间中的所有pod发送HTTP调用以清除缓存。目前,我使用Kubernetes只能命中一个pod,而且我无法控制哪个pod会被命中。即使负载均衡器设置为RR,连续访问pod(n次,其中n是pod的总数)也无济于事,因为其他一些请求可能会悄悄进入。这里讨论了同样的问题,但我找不到实现的解决方案:https://github.com/kubernetes/kubernetes/issues/18755我正在尝试使用Hazelcast实现清除缓存部分,其中我将存储所有缓存,而Hazelcast会自

docker - Kubernetes : Is it possible to hit multiple pods with a single request in Kubernetes cluster

我想清除Kubernetes命名空间中所有pod中的缓存。我想向端点发送一个请求,然后它将向命名空间中的所有pod发送HTTP调用以清除缓存。目前,我使用Kubernetes只能命中一个pod,而且我无法控制哪个pod会被命中。即使负载均衡器设置为RR,连续访问pod(n次,其中n是pod的总数)也无济于事,因为其他一些请求可能会悄悄进入。这里讨论了同样的问题,但我找不到实现的解决方案:https://github.com/kubernetes/kubernetes/issues/18755我正在尝试使用Hazelcast实现清除缓存部分,其中我将存储所有缓存,而Hazelcast会自

go - 在非默认命名空间中部署时,Cluster Config 无法获取 Pod

当我将golang服务部署到除default命名空间之外的任何命名空间时,该服务无法检索任何命名空间上的pod。部署在default命名空间上的相同服务使用golangclient-goapi完美运行。这是安全问题吗?谢谢。 最佳答案 这个问题是权限问题。由于您正在使用rest.InClusterConfig(config)创建客户端。这意味着它使用pod的服务帐户作为凭证。因此,请检查该服务帐户是否具有在任何命名空间中获取pod的权限。ifserviceaccountinthepodisnotdefined,thenitwillu

go - 为什么 Shopify Sarama 消费者需要分区来消费消息

我很抱歉发布与Kafka图书馆相关的问题,因为没有多少人对图书馆的特定问题感兴趣。但是这个库是golang-Kafka实现中最常用的库之一。我想使用Sarama库创建一个简单的消费者来监听一个主题。据我所知,在高级KafkaAPI中,如果未指定特定分区,默认情况下消费者会监听所有主题分区。但是,在此库中,Consumer接口(interface)只有ConsumePartition函数,其中分区是必需的参数。函数的签名是:ConsumePartition(topicstring,partitionint32,offsetint64)(PartitionConsumer,error)这让

go - 如何通过 shopify sarama 抵消来处理消费者恢复

我读到kafka提供了一个消费者客户端库,它允许通过在zookeeper中保存最后一次读取的偏移量来恢复(不能100%确定它的存储位置)。是否可以对Sarama消费者做同样的事情?假设我正在读取直到偏移量550,我的消费者崩溃了5分钟,我们现在处于偏移量700,但我想从偏移量550恢复消费。这有可能不用我自己保存状态吗?我会假设它确实如此,但我不明白如何。我找到了sarama.OffsetNewest/Oldest,但这不是我要找的... 最佳答案 Kafka消费者过去将偏移量存储在Zookeeper中,但现在他们将它们直接存储在K

go - 如何使用 Sarama 在多个 goroutine 中消费 Kafka 主题?

我使用https://github.com/Shopify/sarama用于与Kafka交互。我有一个主题,例如,100个分区。我有一个部署在1台主机上的应用程序。所以,我想在多个goroutine中使用这个主题。我看到这个例子-https://github.com/Shopify/sarama/blob/master/examples/consumergroup/main.go,在其中我们可以看到,如何在特定的消费者组中创建消费者。所以,我的问题是,我应该创建多个这样的消费者,还是在Sarama中有一些设置,我可以在其中设置所需数量的消费者goroutine。附言我看到这个问题-ht

go - Sarama 无法与 Kafka 服务器通信

所以我正在尝试配置Sarama(kafka的原生go客户端)生产者客户端。我相应地配置了我的TLS,确保使用正确的密码生成客户端证书。我用来初始化客户端的Go代码如下所示:import("crypto/tls""crypto/x509""encoding/pem""io/ioutil""net""path/filepath""github.com/Shopify/sarama"log"github.com/sirupsen/logrus")const(certFile="client_ingestion_client.pem"keyFile="client_ingestion_clie

go - 使用 Shopify Sarama 的 Kafka 错误处理

所以我正在尝试将Kafka用于我的应用程序,它有一个生产者将操作记录到KafkaMQ中,而消费者则从MQ中读取它。由于我的应用程序是在Go中,我正在使用ShopifySarama来实现这一点.现在,我可以读取MQ并使用a打印消息内容fmt.Printf但是,我真的希望错误处理比控制台打印更好,而且我愿意付出更多努力。现在用于消费者连接的代码:mqCfg:=sarama.NewConfig()master,err:=sarama.NewConsumer([]string{brokerConnect},mqCfg)iferr!=nil{panic(err)//Don'twanttopani

cluster-computing - Go中的集群计算

Go有集群计算的框架吗?(我希望将多台PC放在一起进行自定义并行计算,并想知道Go是否是一种合适的语言)。 最佳答案 我不知道您计划在您的集群中建立的连接级别,但go的RPC包使节点之间的通信变得微不足道。它可能会作为你工作的支柱,你可以在它之上构建抽象(例如,如果你需要将请求多播到不同的节点)。文档中给出的示例假定您的节点将通过HTTP进行通信,但该位在net/rpc中被抽象出来以允许不同的传输。http://golang.org/pkg/net/rpc/ 关于cluster-comp

php - Elasticsearch PHP 客户端抛出异常 "No alive nodes found in your cluster"

我正在尝试对索引进行扫描和滚动操作,如example中所示:$client=ClientBuilder::create()->setHosts([MYESHOST])->build();$params=["search_type"=>"scan",//usesearch_type=scan"scroll"=>"30s",//howlongbetweenscrollrequests.shouldbesmall!"size"=>50,//howmanyresults*pershard*youwantback"index"=>"my_index","body"=>["query"=>["ma