草庐IT

docker-spark

全部标签

2023_Spark_实验二十二:Zookeeper的集群安装

Zookeeper的集群安装一、集群的规划二、Zookeeper配置三、Zookeeper启动一、集群的规划Zookeeper集群:192.168.137.110 (bigdata112)192.168.137.111 (bigdata113)192.168.137.112 (bigdata114)    二、Zookeeper配置在主节点(bigdata112)上配置ZooKeeper配置/opt/soft_installed/zookeeper-3.4.5/conf/zoo.cfg文件#配置内容如下dataDir=/opt/soft_installed/zookeeper-3.4.5/zk

docker-compose mongo 启动mongo容器后如何执行脚本创建用户数据库问题

系统版本:Dockerversion20.10.7,buildf0df350docker-composeversion1.29.2,build5becea4c1.docker-compose文件和start.sh环境变量:Linux下必须export声明两个环境变量,注意这个账户同时也是创建的数据库的连接用户密码exportMONGO_INITDB_ROOT_USERNAME=exportMONGO_INITDB_ROOT_PASSWORD=目录:/home/user/docker-compose.yml镜像:mongo:6.0.10容器名:mongobss挂载卷:data/db数据目录  s

使用Docker本地安装部署Draw.io绘图工具并实现远程访问协作办公

前言提到流程图,大家第一时间可能会想到Visio,不可否认,VIsio确实是功能强大,但是软件为收费,并且因为其功能强大,导致安装需要很多的系统内存,并且是不可跨平台使用。所以,今天给大家推荐一款更实用的流程图软件——Draw.io在线绘图工具。其实,除了写代码,画图也是每个程序员必备的技能之一,我们经常接触有流程图、架构图等等。而且Draw.io结合cpolar内网穿透工具还可以增加共享和协作功能,提升团队工作效率,那么本篇文章就来教大家如何在docker部署draw.io绘图工具并且实现公网远程访问。Docker本地部署在线绘图工具Draw.io并实现公网远程访问1.使用Docker本地部

Docker | 发布镜像到镜像仓库

✅作者简介:大家好,我是Leo,热爱Java后端开发者,一个想要与大家共同进步的男人😉😉🍎个人主页:Leo的博客💞当前专栏:Docker系列✨特色专栏:MySQL学习🥭本文内容:Docker|发布镜像到镜像仓库📚个人知识库:[Leo知识库]https://gaoziman.gitee.io/blogs/),欢迎大家访问1.前言大家好,我是Leo哥🫣🫣🫣,这篇文章中,我们学习如果快速通过Dockerfile进行自定义镜像。那我们如果把这些自定义的镜像上传到dockerhub公开出来,供大家使用呢,这篇文章就来学习一下如何发布镜像到镜像仓库。好了,话不多说让我们开始吧😎😎😎。2.注册DockerH

Linux本地docker一键部署traefik+cpolar实现远程访问dashboard界面

文章目录前言1.Docker部署Træfɪk2.本地访问traefik测试3.Linux安装cpolar4.配置Traefik公网访问地址5.公网远程访问Traefik6.固定Traefik公网地址前言Træfɪk是一个云原生的新型的HTTP反向代理、负载均衡软件,能轻易的部署微服务。它支持多种后端(Docker,Swarm,Mesos/Marathon,Consul,Etcd,Zookeeper,BoltDB,RestAPI,file…),可以对配置进行自动化、动态的管理.Træfɪk支持docker一键部署,内置WebUI,管理相对方便,下面介绍Linux本地docker一键部署traef

Docker+ Jenkins+Maven+git自动化部署

环境:Centos7          JDK1.8      Maven3.3.9      Git  2.40      Docker 20.10.17准备工作:安装Docker        Centos7默认的yum安装的docker是1.13,版本太低,很多镜像都要Docker版本要求,升级Docker版本。卸载已安装Docker:  yumremovedocker*yum工具及添加镜像源yum-yinstallyum-utilsyum-config-manager--add-repohttps://mirrors.aliyun.com/docker-ce/linux/centos/

Docker系列--在容器中安装JDK的方法(有示例)

原文网址:Docker系列--在容器中安装JDK的方法(有示例)_IT利刃出鞘的博客-CSDN博客简介说明本文介绍如何在容器中安装JDK。为什么要装JDK?JDK里有很多工具,比如jps、jstack、jmap等,可以排查问题。本文目标给Ubuntu系统里的docker容器安装JDK8,可以调用其jps命令。1.确定Linux架构可以通过此命令查询架构是x86还是arm的:uname-m结果: 2.下载JDK下载地址:https://www.oracle.com/java/technologies/javase/javase8u211-later-archive-downloads.html上

spark dynamicAllocation详解及使用

我们在提交Spark应用时,一般都会指定executor数量,但我们的任务中有大的任务、也会有小的任务。这时候,我们在处理ETL的时候,会有几种选择,例如:分配一个比较大的资源,例如:请求较多的executor,然后在这之上运行作业。另外一种,为了让ETL运行彼此隔离,每个应用都会分配资源。Spark应用中真正执行task的组件是Executor,可以通过spark.executor.instances指定Spark应用的Executor的数量。在运行过程中,无论Executor上是否有task在执行,都会被一直占有直到此Spark应用结束。在Spark集群中的一个常见场景是,随着业务的不断发

Docker中部署ElasticSearch 和Kibana,用脚本实现对数据库资源的未授权访问

图未保存,不过文章当中的某一步骤可能会帮助到您,那么:感恩!1、docker中拉取镜像#拉取镜像dockerpullelasticsearch:7.7.0#启动镜像dockerrun--nameelasticsearch-d-eES_JAVA_OPTS="-Xms512m-Xmx512m"-e"discovery.type=single-node"-p9200:9200-p9300:9300elasticsearch:7.7.02、熟悉目录bin启动文件config配置文件 log4j2日志配置文件jvm.optionsJAVA虚拟机相关配置文件ElasticSearch的配置文件!默认端口为

在Linux系统中实现容器化的大规模数据分析平台:Hadoop和Spark

在Linux系统中实现容器化的大规模数据分析平台,我们可以利用Hadoop和Spark这两个强大的开源工具。Hadoop是一个分布式计算框架,适用于处理大规模数据集。它提供了分布式文件系统(HDFS)和分布式计算模型(MapReduce),可以将任务划分为多个子任务,并运行在多个节点上,充分利用集群资源进行并行计算。Spark是一个快速且通用的分布式计算引擎,比HadoopMapReduce更快。它支持内存计算,可以在内存中缓存数据,从而大幅度加快计算速度。同时,Spark还提供了各种API和工具,方便进行数据处理、机器学习和图计算等操作。Docker化Hadoop1、准备Docker镜像:首