草庐IT

【SpringBoot】整合Kafka集群

全部标签

go - 如何在 k8s 集群中使用 heapster 获取文件系统/使用情况

如何在k8s集群中使用heapster获取“文件系统/使用情况”?我使用heapstermonitork8s,但是我无法获取节点磁盘使用情况。有人帮忙吗? 最佳答案 curl-L10.233.8.12:/api/v1/model/nodes/node1/metrics/filesystem/usage?labels="resource_id:/"ws.Route(ws.GET("/nodes/{node-name}/metrics/{metric-name:*}").至(指标.InstrumentRouteFunc(“nodeMet

mongodb - 使用 golang 从已经运行的集群的主实例重播另一个 mongodb 实例中的 oplog

我正在以json格式存储来自正在运行的主要mongodb实例的操作日志[{"Timestamp":6477723955623886852,"HistoryID":166676398345289971,"MongoVersion":2,"Operation":"i","NameSpace":"test.tests","Object":{"__v":0,"_id":"59e57f9e8489535b1848d32d","num":9795},"QueryObject":null},{"Timestamp":6477723955623886853,"HistoryID":3344156456

docker - 当部署到 Docker 时,在 Golang 中实现的 Apache Kafka 消费者会出现 panic

这是我尝试实现一个简单的微服务,它应该从kafka服务器读取消息并通过HTTP发送它。当我从终端运行它时它工作正常,但是当部署到docker上时它会出现panicpanic:runtimeerror:invalidmemoryaddressornilpointerdereference[signalSIGSEGV:segmentationviolationcode=0x1addr=0x40pc=0x7b6345]goroutine12[running]:main.kafkaRoutine.func1(0xc420174060,0x0,0x0)/go/src/github.com/dea

docker - 无法使用Sarama Golang软件包创建Kafka生产者客户端-“客户端/元数据在获取元数据时从代理处出错:EOF”

版本:GoLang1.10.2卡夫卡4.4.1Docker18.03.1我正在尝试使用Shopify的Sarama软件包来测试我的Kafka实例。我使用Dockercompose来站起Kafka/Zookeeper,并且一切都成功运行。当我尝试使用Sarama创建Producer客户端时,会引发错误。当我运行以下packagemainimport("fmt""log""os""os/signal""time""strconv""github.com/Shopify/sarama")funcmain(){//Setupconfigurationconfig:=sarama.NewConf

amazon-web-services - AWS ECS SDK.使用 SDK 为 ECS 集群注册新的容器实例 (EC2)

我在使用AWSSDK时遇到过这个问题。目前我正在使用golang的SDK,但也欢迎其他语言的解决方案!我通过SDK创建了ECS集群现在我需要为这个集群添加EC2容器。我的问题是我无法使用AmazonECS代理通过配置指定集群名称:#!/bin/bashechoECS_CLUSTER=your_cluster_name>>/etc/ecs/ecs.config或类似的东西。我只能使用SDK。我找到了名为RegisterContainerInstance的方法.但是它有注释:ThisactionisonlyusedbytheAmazonECSagent,anditisnotintended

go - 在kafka中为同一主题创建多个消费者

我是新手,可以在下面的github存储库中看到一个只有一个消费者的示例,但是有什么想法可以在golang中为同一主题创建多个消费者吗?https://github.com/confluentinc/confluent-kafka-go/tree/master/examplesconfluent-kafka中是否有任何消费者工厂(生成N个消费者)可以读取相同的主题(带分区)? 最佳答案 Confluentgithubrepo中有一个示例:https://github.com/confluentinc/confluent-kafka-g

搭建hadoop集群初次格式化namenode时不小心格式化了多次,主节点namenode或者从节点datanode进程不能启动,怎么办?

我们在搭建完hadoop集群时,初次启动HDFS集群,需要对主节点进行格式化操作,其本质是清理和做一些准备工作,因为此时的HDFS在物理上还是存在的。而且主节点格式化操作只能进行一次。那我们在格式化时,不小心格式化多次,就会导致主从节点之间互相不识别。然后导致启动hadoop集群时,主节点的namenode进程可能不会启动或者从节点的datanode可能不会启动。这里给出一种解决方法:我们在配置hadoop的配置文件core-site.xml时,其中有一组参数hadoop.tmp.dir,它的值指定的是配置hadoop的临时目录我们把tmp目录删除,再重新格式化即可。先进入/export/se

go - Golang Consumer连接Kafka后延迟接收Kafka消息

我是Golang和Kafa的新手,所以这似乎是一个愚蠢的问题。在我的Kafka消费者首次连接到Kafka服务器后,为什么在与Kafka服务器建立连接和接收第一条消息之间存在延迟(约20秒)?它在consumer.Messages()之前打印一条消息,并为收到的每条消息打印另一条消息。大约20秒的延迟在第一个fmt.Println和第二个fmt.Println之间。packagemainimport("fmt""github.com/Shopify/sarama"cluster"github.com/bsm/sarama-cluster")funcmain(){//Createtheco

Golang segmentio/kafka-go 消费者不工作

我正在使用segmentio/kafka-go连接到卡夫卡。//toproducemessagestopic:="my-topic"partition:=0conn,_:=kafka.DialLeader(context.Background(),"tcp","localhost:9092",topic,partition)conn.SetWriteDeadline(time.Now().Add(10*time.Second))conn.WriteMessages(kafka.Message{Value:[]byte("one!")},kafka.Message{Value:[]byt

ubuntu - 完成作业不稳定的 Kubernetes 集群;充满 "http2: no cached connection was available"的 kubelet 日志

总结我有各种单节点Kubernetes集群,这些集群在累积约300个已完成的作业后变得不稳定。例如,在一个集群中,有303个已完成的作业:root@xxxx:/home/xxxx#kubectlgetjobs|wc-l303观察我观察到的是kubelet日志中充满了这样的错误消息:kubelet[877]:E021909:06:14.637045877reflector.go:134]object-"default"/"job-162273560":无法列出*v1.ConfigMap:获取https://172.13.13.13:6443/api/v1/namespaces/defau