1准备1.1本地虚拟机器准备使用本地搭建三台机器，搭建数仓，模拟实际平台数据仓库的搭建。具体的搭建框架如下安装软件角色主机1主机2主机3HadoopNameNode√SecondaryNameNode√DataNode√√√NodeManager√√√ResourceManager√√Zookeeperzkserver√√√Flumeflume√Kafkakafka√√√Hivehive√Mysqlmysql√√1.2项目技术选型类型技术数据采集Flum,Kafka,Sqoop,Logstash,DataX数据存储Mysql,HDFS,Hbase,Redis,MongoDB数据计算HIve,T
博主昵称：跳楼梯企鹅博主主页面链接：博主主页传送门博主专栏页面连接：专栏传送门--网路安全技术创作初心：本博客的初心为与技术朋友们相互交流，每个人的技术都存在短板，博主也是一样，虚心求教，希望各位技术友给予指导。博主座右铭：发现光，追随光，成为光，散发光;博主研究方向：渗透测试、机器学习;博主寄语：感谢各位技术友的支持，您的支持就是我前进的动力; 目录一、Docker1.服务docker化2.私有仓库管理3.Docker下的服务通讯二、服务编排1.Kubernetes2.Mesos3.Swarm三、CICD1.Gitlab触发构建2.Jenkinspipeline流水线3.Kubect操作k
1.ElasticSearch简介Elaticsearch，简称为es，es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。es也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTfulAPI来隐藏Lucene的复杂性，从而让全文搜索变得简单。根据DB-Engines的排名显示，Elasticsearch是最受欢迎的企业搜索引擎。2.Docker安装本文介绍的是，如何使用Docker在Ubuntu系统下安装ES，Docker的安装方法可以参考以下博客内容：u
Postman是用于构建和使用API的API平台。Postman简化了API生命周期的每一步，简化了协作，因此您可以更快地创建更好的API。1、新建Collection配置默认参数设置设置统计认证信息**，该集合下的所有接口将默认使用该配置；其中为自定义变量{{user_token}}**;如下图2、配置环境设置不同环境下的一些环境变量，方便切换开发、测试环境下不同配置，接口配置中可以直接用**{{NAME}}**获取环境变量值3、Pre-requestScripts设置Pre-requestScripts中的脚本将在每个请求之前执行，可以在这里定义一下公共参数，方便下面的接口直接使用和统一管
上传本地项目到GitLab主要分成两步：一、在Gitlab上新建仓库二、在本地创建项目，并关联gitlab上传首先第一步、在gitlab上新建仓库： 自定义项目名字后，选择Create即可： 获取该项目的地址：二、在本地新建项目：1.首先安装Git，下载链接如下：Git-Downloads下载安装完成后在本地任意磁盘中新建文件夹：TestDemo(名字可以任意起)然后进入该“TestDemo”文件夹，在该路径下鼠标右键选择“GitBashHere”：2.配置该git：执行以下命令：gitconfig--globaluser.name"你的用户名"gitconfig--globaluser.em
索引前言1.Spark部署1.1下载Spark1.2解压Spark1.3修改环境变量1.4修改主机Spark配置文件1.4.1slaves.template文件配置1.4.2spark-env.sh.template文件配置1.5分享主机Spark到从机1.6启动Spark集群(★重启后的操作)1.7通过jps查看是否启动成功1.8通过网页查看是否启动成功2.ScalaMaven项目访问Spark(local模式)100个随机数求最大值2.1下载ScalaIDE2.2解压ScalaIDE2.3下载Scala(主机+从机)2.4添加环境变量(主机+从机)2.5创建Scala项目2.6配置Scal
目录前言1.DockerSystem命令1.1dockersystemdf1.2dockersystemprune2.冗余容器或镜像3.限制容器日志前言补充docker知识点，可看我之前的文章：Docker零基础从入门到精通（全）docker镜像特别容易占空间，稍微不注意可能磁盘爆满通过df-h查看的时候，磁盘已经达到95%：1.DockerSystem命令先用dockersystemdf命令查看再用dockersystemprune清理（清理命令谨慎使用，注意作用以及波及范围！！！）不确定的记得备份，或者先食用该博文中的第二三章节！1.1dockersystemdf查看docker占用的存储
文章目录前言一、Dockerlogs常用命令1.查看docker容器:2.查看容器日志(全部):3.查看容器日志，只显示最后100行:4.查看容器最近三十分钟的日志:5.查看容器某个时间之后的日志:6.查看容器某个时间段的日志:7.查看容器日志并显示时间戳:8.查看容器日志某个时间最近的日志:9.将容器日志写入到文件:9.根据某个关键字查询日志：10.查询容器某个时间段的日志，并且根据关键字进行查询：前言查看docker日志通常会使用到dockerlog指令，可以通过指令dockerhelplogs来查看dockerlog提供的功能：Options(可选参数):–details显示更多详细的信
感兴趣的话大家可以关注一下公众号:猿人刘先生,欢迎大家一起学习,一起进步,一起来交流吧!一.Docker简介Docker是一个开源的容器引擎，它有助于更快地交付应用。Docker可将应用程序和基础设施层隔离，并且能将基础设施当作程序一样进行管理。使用Docker可更快地打包、测试以及部署应用程序，并可以缩短从编写到部署运行代码的周期。1.Docker的优点1.1简化程序Docker让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，便可以实现虚拟化。Docker改变了虚拟化的方式，使开发者可以直接将自己的成果放入Docker中进行管理。方便快捷已经是
搭建青龙面板首先有个服务器我这里看到华为云有活动就入手了一个1.系统选择centos7.9华为云购买地址：https://activity.huaweicloud.com/1212_promotion/index.html2.服务器上安装宝塔不想安装宝塔的也可以直接安装docker：https://blog.csdn.net/YXWik/article/details/128643662yuminstall-ywget&&wget-Oinstall.shhttp://download.bt.cn/install/install_6.0.sh&&shinstall.sh回复y安装即可yumins
