草庐IT

Ceph集群部署

全部标签

搭建hadoop集群初次格式化namenode时不小心格式化了多次,主节点namenode或者从节点datanode进程不能启动,怎么办?

我们在搭建完hadoop集群时,初次启动HDFS集群,需要对主节点进行格式化操作,其本质是清理和做一些准备工作,因为此时的HDFS在物理上还是存在的。而且主节点格式化操作只能进行一次。那我们在格式化时,不小心格式化多次,就会导致主从节点之间互相不识别。然后导致启动hadoop集群时,主节点的namenode进程可能不会启动或者从节点的datanode可能不会启动。这里给出一种解决方法:我们在配置hadoop的配置文件core-site.xml时,其中有一组参数hadoop.tmp.dir,它的值指定的是配置hadoop的临时目录我们把tmp目录删除,再重新格式化即可。先进入/export/se

go - 我如何将脚本部署到仅在预定时间运行的 heroku

我有一个用Golang编写的脚本,它执行一些http请求并将信息存储在外部数据库中。我希望这个脚本在我设置的时间每天运行一次。现在我正在处理如何部署它,我的第一个选择是Heroku,因为这是我最熟悉的平台。我的问题是我不希望在我第一次部署脚本或每次部署更新时运行脚本。相反,我正在考虑使用调度程序插件并设置执行脚本的时间。这是否可能,或者是否有更有效的配置让脚本仅在指定时间运行?预先感谢您的回答! 最佳答案 你应该使用gocronhttps://github.com/jasonlvhit/gocron并在heroku上永久运行你的di

amazon-web-services - 使用 AWS EC2 Golang GO 端点在 Docker 部署上获取 JSON 时出现问题

我在使用Docker文件向AWS上的/biz端点发出GET请求时遇到困难。我根据本类(class)制作了以下项目,很想听听您的见解。我在终端中运行了以下所有命令dockerbuild-tprojectnamedockertagprojectnameusername/projectnamedockerpushusername/projectnamessh-i~/.ssh/projectAWS.pemec2-user@[public-DNSAWSEC2的内部终端sudoyumupdate-ysudoyuminstall-ydockersudoservicedockerstartsudous

go - 如何部署 travis 自动构建,我的失败了,我不知道如何修复

我在构建travis文件时遇到了问题。弹出一个错误packageerrorX:unrecognizedimportpath"errorX"(importpathdoesnotbeginwithhostname),我不知道是哪一部分导致的。language:gogo:-1.9.x-1.10.x-1.11.xenv:-GOARCH=amd64-GOARCH=386sudo:truego_import_path:github.com/fwhezfwhez/errorxbefore_install:-gogetgithub.com/fwhezfwhez/errorx-gogetgithub.c

go - 通过 jenkins 部署 go 应用程序

我刚刚创建了两个EC2实例,一个使用Jenkins,一个用于go应用程序。我设法创建了一个节点和一个协同工作的作业,在开始构建go应用程序的作业后,我在工作区文件夹中获得了go文件。而且我不明白从现在开始我需要做什么。我无法运行gorunserver.go,因为它不在gosrc文件夹中,所以我收到命名空间不存在的错误。这是我得到的错误:server.go:7:2:cannotfindpackage"freelancers/daos"inanyof:/usr/lib/golang/src/freelancers/daos(from$GOROOT)/home/ec2-user/projec

ubuntu - 完成作业不稳定的 Kubernetes 集群;充满 "http2: no cached connection was available"的 kubelet 日志

总结我有各种单节点Kubernetes集群,这些集群在累积约300个已完成的作业后变得不稳定。例如,在一个集群中,有303个已完成的作业:root@xxxx:/home/xxxx#kubectlgetjobs|wc-l303观察我观察到的是kubelet日志中充满了这样的错误消息:kubelet[877]:E021909:06:14.637045877reflector.go:134]object-"default"/"job-162273560":无法列出*v1.ConfigMap:获取https://172.13.13.13:6443/api/v1/namespaces/defau

go - 将 golang 应用程序部署到 Heroku 时运行迁移

我一直在尝试为Heroku上的golang应用程序设置迁移。我正在使用nativeGo模块(vgo)和官方Heroku构建包。对于迁移,我使用migrate包。问题是,我可以在主函数运行时运行迁移,但感觉有点老套,这意味着每次应用重新启动时它都会运行迁移。我更愿意在部署时只运行模式迁移。我不确定这是如何实现的,当我登录到未安装go二进制文件的实例时,就像构建包只执行主要功能一样。我可以接受使用HerokuCLI命令来执行此操作,但我无法在文档中或通过Google找到如何执行此操作。 最佳答案 您的所有依赖项都应该定义好,以便Hero

go - 使用入口部署 Rest + gRPC 服务器部署到 k8s

我使用了示例gRPCHelloWorld应用程序https://github.com/grpc/grpc-go/tree/master/examples/helloworld.本示例在本地系统运行流畅。我想使用Ingress将它部署到kubernetes。下面是我的配置文件。service.yaml-作为NodePortapiVersion:v1kind:Servicemetadata:name:grpc-scratchlabels:run:grpc-scratchannotations:service.alpha.kubernetes.io/app-protocols:'{"grpc

amazon-web-services - 运行代码部署 Hook 时找不到 Go 命令

您好,我正在尝试为我的golang应用程序创建一个CodeDeploy部署。我有一个自动缩放组,它使用我创建的AMI,它安装了我需要的所有库。当我尝试运行CodeDeploy时,它在我的after_install中存在错误:LifecycleEvent-AfterInstallScript-scripts/after_install.sh[stderr]/opt/codedeploy-agent/deployment-root/a65d9a2e-fddd-471c-8ea1-c018792d00bd/d-4IKP3PP4Y/deployment-archive/scripts/afte

function - 云函数部署问题

当我部署云函数时,出现以下错误。我正在使用gomod,我能够从我的沙箱构建和运行所有集成测试,其中一个云函数依赖使用私有(private)githubrepo,当我部署云功能时Go:github.com/myrepo/ptrie@v0.1.:gitfetch-foriginrefs/heads/:refs/heads/refs/tags/:refs/tags/在/builder/pkg/mod/cache/vcs/41e03711c0ecff6d0de8588fa6de21a2c351c59fd4b0a1b685eaaa5868c5892e:退出状态128:致命:无法读取“https: