草庐IT

docker-spark

全部标签

Docker(02) Docker部署Nginx后出现403 forbidden解决办法

一、问题描述root@hongpon316:~#dockerpsCONTAINERIDIMAGECOMMANDCREATEDSTATUSPORTSNAMES3d267f39cdb4nginx_addpaths"/docker-entrypoint.…"5hoursagoUp4hours0.0.0.0:3345->80/tcp,:::3345->80/tcpnew_mynginx862ead87f829nginx:latest"/docker-entrypoint.…"19hoursagoUp6hours0.0.0.0:3340->80/tcp,:::3340->80/tcpmynginx_01

docker搭建php环境

docker搭建php环境前言本文主要参考:https://www.zhihao1.cn/91.html主要介绍docker搭建php,docker安装使用请自查docker拉取nginx和php镜像dockerpullnginx:latest这里我直接拉最新版的niginxlatest(最新版本)dockerpullphp:7.4-fpmphp我们就拉php7.4版本的fpm就好了使用dockerimages查看已安装的镜像创建容器先创建ngix文件夹存放等会php文件要挂载的目录,我创建在/docker/nginx/www/myphp目录的命令mkdir-p/docker/nginx/ww

【spark】spark内核调度(重点理解)

目录spark内核调度DAGDAG的宽窄依赖和阶段划分内存迭代计算面试题Spark是怎样做内存计算的?DAG的作用是什么?Stage阶段划分的作用?Spark为什么比MapReduce快spark并行度如何设置并行度:spark.default.parallelism集群中如何规划并行度spark的任务调度Spark运行中的概念名词大全spark内核调度DAGSpark的核心是根据RDD来实现的,SparkScheduler则为Spark核心实现的重要一环,其作用就是任务调度。Spark的任务调度就是如何组织任务去处理RDD中每个分区的数据,根据RDD的依赖关系构建DAG,基于DAG划分Sta

一文说清 Docker 是什么

本文目录1.什么是Docker2.Docker与虚拟技术的区别和联系3.为什么要用Docker4.几个基本概念4.1镜像4.2容器4.3镜像仓库4.3.1DockerRegistry公开服务4.3.2私有DockerRegistry4.4Dockerfile1.什么是DockerDocker是一种开源的容器化平台,旨在简化应用程序的开发、部署和运行过程。它提供了一种轻量级、可移植和自包含的容器化环境,使开发人员能够在不同的计算机上以一致的方式构建、打包和分发应用程序。以下是Docker的几个核心概念:容器(Container):容器是Docker的基本部署单元。它是一个轻量级的、独立的运行时环

Linux离线arm环境安装部署docker详细教程

1、下载通过官网下载docker安装包,找arm环境的安装包,如果是x86环境可以下载对应的安装包Indexoflinux/static/stable/aarch64/2、上传到服务器上,通过rz命令上传成功后解压 tar-xvfdocker-24.0.6.tgz 3.复制文件到/usr/bincp./docker/*/usr/bin4.创建docker.servicevim /etc/systemd/system/docker.service把这些复制到创建的文件中(注意需要修改insecure-registry=192.168.205.230,ip地址修改为当前机器的地址)[Unit]De

全网最精细的教程!!安装ElasticSearch + Kibana (Docker Compose)

最精细的教程!!安装ElasticSearch+Kibana(DockerCompose)作者:田浩然本文将采用Docker进行安装本文资源可访问:https://gitee.com/tian-haoran/mini-easy-es/tree/course_01_install_es1安装Docker1.1卸载老版本sudoyumremovedocker\docker-client\docker-client-latest\docker-common\docker-latest\docker-latest-logrotate\docker-logrotate\docker-engine1.2安

Spark SQL 时间格式处理

初始化SparkSqlpackagepbcp_2023.clear_dataimportorg.apache.spark.SparkConfimportorg.apache.spark.sql.SparkSessionimportorg.apache.spark.sql.functions.{current_date,current_timestamp}objecttwe_2{defmain(args:Array[String]):Unit={//新建SparkConfvalcon=newSparkConf().setMaster("local[*]").setAppName("one")//

【docker】bind: An attempt was made to access a socket in a way forbidden by its access permissions.

环境Win10DockerDesktop下班电脑关机,次日启动时候就出现:绑定:试图以其访问权限所禁止的方式访问套接字。意思:调用远程方法“dockerstartcontainer”时出错:错误:(HTTP代码500)服务器错误-端口不可用:暴露端口TCP0.0.0.0:8484->0.0.0.0:0:侦听TCP0.0.0.0:8848:绑定:试图以其访问权限所禁止的方式访问套接字。问题Errorinvokingremotemethod'docker-start-container':Error:(HTTPcode500)servererror-Portsarenotavailable:exp

Docker如何不输入sudo

执行docker命令时必须使用root权限,所以普通用户总是要输入sudo。每次你都输入sudo很麻烦,还经常会忘记。有两种方法可以不用输入sudo。1.一开始就以root账户登录或者使用sudosu命令切换至root账户sudosu2.将当前账户包含到docker组。(docker组与root权限是一样的,请只包含必需的账户。)sudousermod-aGdocker${USER}sudoservicedockerrestart退出当前账户,重新登录名。 

spark -- 数据计算框架

spark作为大数据组件中不可或缺的一大部分是我们学习和了解大数据的过程中必须要经历和学习的部分本人将自己当初学习大数据的一点点心得和体会作为笔记希望可以给同样在学习大数据同学提供一点点的帮助同时也希望可以得到大家的指正spark的特点--基于内存​--集群​--快:与Hadoop的MapReduce相比,Spark基于内存的运算要快100倍以上,基于硬盘的运算也要快10倍以上。Spark实现了高效的DAG执行引擎,可以通过基于内存来高效处理数据流。​--易用:Spark支持Java、Python、R和Scala的API,还支持超过80种高级算法,使用户可以快速构建不同的应用。而且Spark支