草庐IT

docker-spark

全部标签

windows linux子系统 docker无法启动

windows安装Linux子系统后,使用sudoservicedockerstart启动后,再使用sudoservicedockerstatus查看docker状态,docker无法启动,使用sudo dockerd查看错误信息如下:failedtostartdaemon:Errorinitializingnetworkcontroller:errorobtainingcontrollerinstance:failedtocreateNATchainDOCKER:iptablesfailed:iptables-tnat-NDOCKER:iptables/1.8.7Failedtoinitia

Spark搭建

Spark搭建(三种模式)Local模式主要用于本地开发测试本文档主要介绍如何在IDEA中配置Spark开发环境打开IDEA,创建Maven项目在IDEA设置中安装Scala插件在pom.xml文件中添加Scala依赖dependency>groupId>org.scala-langgroupId>artifactId>scala-libraryartifactId>version>2.12.10version>dependency>dependency>groupId>org.scala-langgroupId>artifactId>scala-compilerartifactId>vers

Docker单点部署[8.11.3] Elasticsearch + Kibana + ik分词器 + pinyin分词器

文章目录一、Elasticsearch二、Kibana三、访问四、其他五、ik分词器第一种:在线安装第二种:离线安装六、ik分词器的扩展和停用1.配置2.测试七、pinyin分词器离线安装注意事项Elasticsearch和Kibana版本一般需要保持一致才能一起使用,但是从8.x.x开始,安全验证不断加强,甚至8.x.x之间的版本安全验证方法都不一样,真的很恼火。这里记录一次成功简单登陆Kibana的实际经验。一、Elasticsearch运行Elasticsearch容器dockerrun-d\ --namees\ -e"ES_JAVA_OPTS=-Xms512m-Xmx512m"\ -e

docker小白第九天

docker小白第九天安装redis集群cluster(集群)模式-docker版本,哈希槽分区进行亿级数据存储。如果1~2亿条数据需要缓存,请问如何设计这个存储案例。单机存储是不可能的,需要分布式存储,如果使用redis又该如何部署。哈希取余分区优点:简单粗暴,直接有效,只需要预估好数据,规划好节点,例如3台、8台、10台,就能保证一段时间的数据支撑。使用Hash算法让固定的一部分请求落到同一台服务器上,这样每台服务器固定处理一部分请求(并维护这些请求的信息),起到负载均衡+分而治之的作用。缺点:原来规划好的节点,进行扩容或者缩容就比较麻烦,不管扩缩,每次数据变动导致节点有变动,映射关系需要

Docker部署Flask项目

Docker部署Flask项目一、准备项目代码二、编写Dockerfile三、服务器部署一、准备项目代码这里写了一个简单的Flask的demo,源代码如下:fromflaskimportFlaskapp=Flask(__name__)@app.route("/")defindex():return"HelloWorld"if__name__=='__main__':#运行启动web服务,持续监听用户端发起的请求app.run(host='0.0.0.0',port=7090,debug=False)安装项目依赖,这里我只用到了Flask:pipinstallFlask-ihttps://mir

橘子学K8S04之重新认识Docker容器

我们之前分别从LinuxNamespace的隔离能力、LinuxCgroups的限制能力,以及基于rootfs的文件系统三个角度来理解了一下关于容器的核心实现原理。这里一定注意说的是Linux环境,因为LinuxDocker(namespaces+cgroups+rootfs)!=DockeronMac(basedonvirtualization)!=WindowsDocker(basedonvirtualization,Hyper-V)。mac和win上面那都是虚拟化技术,不是容器技术。这次我们实际操作一下Docker来进一步理解一下其中的概念。一、创建一个java项目因为我大部分都是做的j

docker创建elasticsearch、elasticsearch-head部署及简单操作

elasticsearch部署1 拉取elasticsearch镜像   dockerpullelasticsearch:7.7.02 创建文件映射路径   mkdir/mydata/elasticsearch/data   mkdir/mydata/elasticsearch/plugins   mkdir/mydata/elasticsearch/config3 文件夹授权    chmod777/mydata/elasticsearch/data4 修改配置文件  cd/mydata/elasticsearch/config  vielasticsearch.yml  填入如下内容:  

Linux 卸载Docker

目录查看Docker状态停止Docker查看Docker安装包卸载Docker文件包删除Docker数据目录删除Docker配置文件查看Docker状态systemctlstatusdocker或者servicedockerstatus停止Docker如果Docker处于运行状态,即activing状态,则需要先停止Docker服务systemctlstatusdocker或者servicedockerstop查看Docker安装包如果是用yum工具安装的可以使用下面的语句进行查询#查看yum工具安装的docker包yumlistinstalled|grepdocker显示如下图:卸载Dock

Docker教程———安装(Ubuntu)+打包项目

一.安装Docker(ubuntu):前言Docker是一款开源的容器化平台,它可以让开发者将应用程序及其依赖项打包到一个可移植的容器中,从而实现轻松部署、运行和管理应用程序。Docker的容器技术可以将一个应用程序运行所需的所有软件、库和配置文件打包到一个容器中,然后将该容器发布到任何支持Docker的服务器上进行部署,无需担心中间环境的配置问题。使用Docker,开发者可以快速构建、测试和交付应用程序,大大缩短了开发周期和部署时间,提高了开发效率。同时,由于Docker的容器技术可以隔离不同的应用程序和服务,保证了它们之间的安全性和可靠性,降低了应用程序出错和崩溃的风险。因此,Docker

给ChuanhuChatGPT 配上讯飞星火spark大模型V2.0(一)

ChuanhuChatGPT拥有多端、比较好看的Gradio界面,开发比较完整;刚好讯飞星火非常大气,免费可以领取大概20w(!!!)的token,这波必须不亏,整上。重要参考:川虎Chat🐯ChuanhuChat讯飞星火认知大模型文章目录1讯飞星火大模型1.1webapi申请1.2webapi调用1.3webapi的参数1.4一些报错2川虎Chat🐯ChuanhuChat2.1川虎Chatdocker部署2.2常规本地部署2.3config.json详解2.4页面基础配置项:presets.py1讯飞星火大模型1.1webapi申请基本上实名认证后,可以申请个人免费包,然后来到控制台开启应用