草庐IT

Kubernetes集群

全部标签

java - 如何在不使用 spark-submit 的情况下将 java 程序中的 spark 作业提交到独立的 spark 集群?

我正在使用spark执行一些计算,但希望它从java应用程序提交。使用spark-submit脚本提交时它可以正常使用。有人试过这样做吗?谢谢。 最佳答案 不要忘记将包含您的代码的胖JAR添加到上下文中。valconf=newSparkConf().setMaster(...).setAppName(...).setJars("/path/to/code.jar")valsc=newSparkContext(conf) 关于java-如何在不使用spark-submit的情况下将java

portainer管理远程docker和docker-swarm集群

使用前请先安装docker和docker-compose,同时完成docker-swarm集群初始化一、portainer-ce部署部署portainer-ce实时管理本机docker,使用docker-compose一键拉起docker-compose.ymlversion:'3'services:portainer:container_name:portainer#image:portainer/portainerimage:6053537/portainer-ce#image:portainer/portainer-cecommand:-Hunix:///var/run/docker.s

java - 有 Java 集群方面的经验吗?

想听听人们关于Java集群(即实现HA解决方案)的经验。又名。terracotta、JGroups等。它不一定是网络应用程序。拥有编写自定义独立服务器的经验也很棒。更新:我会更具体一些->对Web应用程序集群不那么感兴趣(除非它可以被拉出并独立运行)。我知道它有效。但我们需要的不仅仅是session集群。从编程的简易性、支持的拓扑结构(即单个数据中心与WAN上的数据中心)、支持的节点数量方面检查解决方案。面临的问题,解决方法。目前我正在Terracotta和JGroups上做一些POC(概念验证)工作,看看它是否值得为我们的应用程序(它是独立的,在Web容器之外)付出努力。

Kafka 社区KIP-382中文译文(MirrorMaker2/集群复制/高可用/灾难恢复)

原文地址:KIP-382:MirrorMaker2.0-ApacheKafka-ApacheSoftwareFoundation译者:对于Kafka高可用的课题,我想每个公司都有自己的方案及思考,这是一个仁者见仁智者见智的命题,而社区给出了一个较大的特性,即MirrorMaker2.0,不论是准备做高可用还是单纯的数据备份,都不能绕过这个重大特性。而关于MirrorMaker2.0的文章,网络上真是多如牛毛,质量也是参差不齐,而能够将这个特性完整描述出来的,非社区的此篇设计稿莫属,也因此有了翻译此文的初衷。ps:有任何kafka问题欢迎评论、私信交流。本人VX:likangning9背景/动机

Elasticsearch 8.X 集群 SSL 证书到期了,怎么更换?

1、SSL证书过期问题如上两个问题是近期社群讨论比较多的问题,涉及8.X、7.X等版本。在Elasticsearch集群中,使用SSL证书对数据传输进行加密是一种常见的安全措施。正如《一本书讲透Elasticsearch》所讲的一样,Elasticsearch8.0之后,安全设置已经成为默认配置,除非手动禁用。。但,随着时间的推移,这些SSL证书会到期,需要进行更换以保持集群的安全性。本文将详细介绍如何为Elasticsearch8.X集群更换自创建的SSL证书,确保数据传输的安全性不受影响。2、安全问题务必引起高度重视不用多讲,Kibana的默认端口(5601)未加密码保护而暴露在公网上,可

java - 如何在集群中为一个节点和所有节点运行计划方法?

我有一个在集群中运行的Glassfish3.1.2和一个EJB3.1应用程序。我的应用程序中需要两种预定方​​法:一种每天只运行一次(在单个节点上)和其他在所有节点上运行的类型(每1-2分钟)——它们不需要以同步方式运行!要求只是这种在每个节点上运行。我不知道如何从这个集群开始-问题是,这是否可以通过@Schedule(以及如何)实现,或者我是否需要其他东西? 最佳答案 我遇到了完全相同的问题(需要一个cluster计时器和一个pernode计时器)并遇到了这个问题。所以,对于任何感兴趣的人:如果你用@Schedule(...,pe

java - WebSphere 集群上带有 TimerManager 的单例

如何让WebSphere集群上的计时器任务执行一次且仅执行一次?我知道这在其他应用程序服务器上是可能的,但无法弄清楚如何在WebSphere中执行此操作。 最佳答案 您可以使用WebSphere的调度程序服务来执行您想要的操作。如果您在集群范围内定义调度程序服务,则每个集群成员都将运行一个调度程序守护程序,但任务数据库将共享,这意味着只有其中一个成员将执行您添加的任务。他们每30秒(可配置)轮询一次数据库,第一个看到任务的人将执行它。http://publib.boulder.ibm.com/infocenter/wasinfo/v

使用kubeadm快速部署一个k8s集群

前言此文所使用服务的环境为:docker版本:v25.0.3kubernetes版本:v1.25.01安装准备部署k8s集群的节点按照用途可以分为如下2类角色master:集群的master节点,集群的初始化节点slave:集群的slave节点,可以是多台主机各个节点部署的相关服务k8s-master:etcd、kube-apiserver、kube-controller-manager、kubectl、kubeadm、kubelet、flannel、dockerk8s-node-01:kubectl、kubelet、kube-proxy、flannel、dockerK8s-node-02:k

搭建Hadoop3.x完全分布式集群

零、资源准备虚拟机相关:VMwareworkstation16:虚拟机>vmware_177981.zipCentOSStream9:虚拟机>CentOS-Stream-9-latest-x86_64-dvd1.isoHadoop相关jdk1.8:JDK>jdk-8u261-linux-x64.tar.gzHadoop3.3.6:Hadoop>Hadoop3.3.6.tar.gz辅助工具putty:tools>putty.exemtputty:tools>mtputty.exewinscp:tools>WinSCP-6.3.1-Portable.zip本文相关资源可以在文末提供的百度网盘资源中

云计算项目十:ES集群安装|部署kibana

ES集群安装部署ES集群,用于ELK日志分析平台的构建es-0001主机更改/etc/hosts[root@es-0001~]#vim/etc/hosts192.168.1.71es-0001192.168.1.72es-0002192.168.1.73es-0003192.168.1.74kibana192.168.1.75logstash#将最新的/etc/hosts配置文件更新到所有的云主机上[root@es-0001~]#foriin192.168.1.{72..75};doscp/etc/hosts$i:etc;done#在跳板机ecs-proxy将ELK相关软件包做好yum仓库,若