草庐IT

docker-spark

全部标签

【云原生Docker】09-Docker网络详解

【云原生|Docker】09-Docker网络详解文章目录【云原生|Docker】09-Docker网络详解前言网络详解bridge网络基于bridge网络的容器访问外部网络外部网络访问基于bridge网络的容器host网络none网络container网络自定义网络自定义bridge网络容器的互通两个相同的bridge网络容器互通(默认bridge)两个相同的bridge网络容器互通(自定义bridge)两个不同bridge网络互通Dockernetwork命令前言 当项目大规模使用Docker时,容器通信的问题也就产生了。要解决容器通信问题,必须先了解很多关于网络的知识。Docker作为目

ubuntu22.04使用docker-compose安装和破解confluence 8.0.2

使用docker-compose安装和破解confluence8.0.2confluence简介准备工作安装MySQL8.0编写MySQL的docker-compose修改MySQL数据库配置创建用户和数据库安装confluence编写confluence的docker-compose.yml文件下载破解jar包下载数据库驱动启动容器破解配置数据库查看授权附件中文乱码处理备注参考文章confluence简介Confluence是一个专业的企业知识管理与协同软件,也可以用于构建企业wiki。使用简单,但它强大的编辑和站点管理特征能够帮助团队成员之间共享信息、文档协作、集体讨论,信息推送。Conf

hadoop - Spark YARN 应用程序中 Kerberos 中的 HDFS 写入问题

我有一个spark应用程序,它从Kafka读取数据并将数据写入HDFS。我的应用程序在几分钟内工作正常,但一段时间后它开始出现以下错误并失败。2018-01-0217:59:20LeaseRenewer:username@nameservicename[WARN]UserGroupInformation-PriviledgedActionExceptionas:username@REALM_NAME(auth:KERBEROS)cause:javax.security.sasl.SaslException:GSSinitiatefailed[CausedbyGSSException:N

使用Maven插件将项目部署到Docker

使用Maven插件将项目部署到Docker一、开启docker远程访问二、开放docker默认端口2375三、idea安装docker插件连接测试四、pom文件添加maven-compiler-plugin插件五、编写Dockerfile文件六、部署镜像到容器并运行6.1、执行install6.2、使用自定义网络6.2、运行容器并测试一、开启docker远程访问#1、修改docker配置文件vim/lib/systemd/system/docker.service在ExecStart=后面加上:-Htcp://0.0.0.0:2375-Hunix:///var/run/docker.sock修

docker 安装并启动nacos2.2.0版本(成功解决报错nacos-logback.xml找不到)

文章目录1、docker拉取nacos镜像2、创建映射容器的文件目录3、创建application.properties文件4、mysql中创建nacos所需的表5、启动容器6、打印日志7、访问8、可能出现的问题最近想写毕设,拉了一个若依开源后端框架,nacos版本需要2.xx以上,因为以前用的是1.4.1版本的,所以需要卸载重装,网上找了很多教程,安装完之后查看nacos日志一直报错提示nacos-logback.xml找不到,在conf文件夹中配置了该文件还是不行,无奈只能卸载重装。这里记录一下成功安装nacos2.2.0版本的过程,供大家参考1、docker拉取nacos镜像docker

hadoop - Docker SSH 连接到运行中的本地主机权限被拒绝(公钥、密码、键盘交互)

我正在为单节点hadoop容器构建一个docker容器,我在为hadoop用户设置无密码ssh登录时遇到问题(我没有使用root来运行hadoop服务)。我一直在互联网上搜索可能的修复方法,authorized_keys、/.ssh等权限看起来都不错。以下是调试日志的相关部分:debug3:authmethod_is_enabledpublickeydebug1:Nextauthenticationmethod:publickeydebug1:OfferingRSApublickey:/home/hdadmin/.ssh/id_rsadebug3:send_pubkey_testdeb

hadoop - Spark - 如何在 HDFS 中重组目录

我有一个结构如下的目录:temp/Tweets/userId123/Tweets.csvtemp/Tweets/userId456/Tweets.csvtemp/Tweets/userId789/Tweets.csvtemp/Mentions/userId123/Mentions.csvtemp/Mentions/userId456/Mentions.csvtemp/Mentions/userId789/Mentions.csv...数据由数据实体的类型构成,我想由用户对其进行重组,如下所示:final/userId123/Tweets.csvfinal/userId123/Menti

【深入浅出Docker原理及实战】「原理实战体系」零基础+全方位带你学习探索Docker容器开发实战指南(Docker-compose使用全解 一)

Docker-compose使用全解Compose介绍Compose的作用和职能Compose和Docker兼容性安装docker-compose添加可执行权限DockerCompose常用配置imagebuildcontext上下文指定镜像名args构建环境变量commanddepends_onports特殊映射关系volumesenvironmentDockerCompose命令详解启动DockerCompose案例实战Compose介绍DockerCompose是一款用于定义和运行复杂应用程序的Docker工具。在使用Docker容器的应用中,通常由多个容器组成。使用DockerComp

hadoop - Apache Spark 在 Hadoop YARN 上工作的问题

我对大数据非常陌生,尤其是ApacheSpark/HadoopYARN。我将Hadoop单节点安装到我的虚拟机中以进行一些尝试,我也添加了Spark。我认为环境已经安装好,因为我可以访问:http://172.30.10.64:50070->Hadoop概述http://172.30.10.64:8080->星火概述然后我创建了一个pythonic文件来计算单词数:frompysparkimportSparkConf,SparkContextfromoperatorimportaddimportsys##ConstantsAPP_NAME="HelloWorldofBigData"##

hadoop - Spark : Execute python script with Spark based on Hadoop Multinode

我正在寻找基于HadoopMultinodes的Spark使用,我对我的集群模式pythonic脚本有疑问。我的配置:我进入了我的Hadoop集群:1个名称节点(主节点)2个数据节点(从节点)所以我想在Python中执行我的脚本以使用这个集群。我知道Spark可以用作独立模式,但我想使用我的节点。我的python脚本:这是一个非常简单的脚本,可以用来计算文本中的字数。importsysfrompysparkimportSparkContextsc=SparkContext()lines=sc.textFile(sys.argv[1])words=lines.flatMap(lambda