草庐IT

【Drone-初识篇】Drone借助GitLab构建CICD环境、以及编写 .drone.yaml 流水线

秋意零 2023-12-30 原文

文章目录

概述

drone是一个持续集成化工具,能够使用强大的云原生管道引擎自动化他们的构建、测试和发布工作流;
简单来说:类似写shell脚本,只是脚本内容不一样;
其他持续集成工具,如:jenkins、gitlab-cicd;

环境准备

  • linux系统
  • docker

动手操作

容器部署gitlab

gitlab详细安装步骤,点击这里;本次使用的gitlab-ce是docker hub仓库,2022年5月最新版:

  • 如果hostname没做DNS域名解析,请使用IP地址(不写端口,默认80)。例:192.168.200.30
    注意:hostname不能包含端口,否则gitlab启动不起来;
export GITLAB_HOME=/mydata/gitlab
docker run --detach \
  --hostname "192.168.200.30" \
  --publish 1443:443 --publish 80:80 --publish 1022:22 \
  --name gitlab \
  --restart always \
  --volume $GITLAB_HOME/config:/etc/gitlab \
  --volume $GITLAB_HOME/logs:/var/log/gitlab \
  --volume $GITLAB_HOME/data:/var/opt/gitlab \
  gitlab/gitlab-ce:latest
  • 报错信息(后面的步骤):下图因为gitlab的hostname填写的域名(gitlab.admin.com),结果Drone流水线clone(克隆)代码时连接报错:

上图的问题除了修改gitlab主机名(hostname)之外,还可以修改drone-runner默认clone(克隆)地址解决。如下代码(这里看不懂没关系,请继续往下看后面会解释):

kind: pipeline
type: docker
name: default
clone:
  disable: true  #禁用默认克隆
steps:
- name: clone-test
  image: alpine/git
  pull: if-not-exists  # 如果在本地缓存中找不到图像,则仅拉取图像
  commands:
  - git clone http://192.168.200.30/root/test.git  #自定义克隆地址
  - git version

- name: greeting
  image: alpine
  commands:
  - echo hello
  - echo world
[root@master drone]# docker exec -it gitlab bash
root@192:/# cat /etc/gitlab/initial_root_password |grep Password:
Password: RUb+s6cnRsJk7S7Mg785nHewbwzoL4Cblfk/nnGKWZA=
  • 创建 OAuth 应用程序( Application)
    创建一个 GitLab OAuth 应用程序。Consumer Key 和 Consumer Secret 用于授权Drone访问 GitLab 资源
    注意:这里我提前在gitlab创建好了test仓库(空仓库),用于我们下面的演示;

  • Application URL地址是Drone服务地址后必须跟一个/login。例:http://192.168.200.30:82/login

  • Application生成的Consumer ID和 Consumer Secret,下面我们会用于安装Drone,gitlab授权drone:

容器部署Drone

Drone部署需要安装docker-server(Drone 与流行的源代码控制管理提供商无缝集成) WEB界面和docker-runner守护进程执行器

  • 创建一个共享密钥,用于drone-runner和drone-server之间的通信:
[root@master drone]# openssl rand -hex 16
8172cd9155d16593d4f6a445b70e2d6e
  • 部署drone-server:
docker run \
  --volume=/var/lib/drone:/data \
  --env=DRONE_GITLAB_SERVER=http://192.168.200.30/ \ #GitLab 服务器 url,默认https://github.com
  --env=DRONE_GITLAB_CLIENT_ID=56ef91f20270b6f945f722e2b93e2e9eacad65f0b5edcad997d4842df47cc5a8 \ #GitLab oauth 客户端 ID(必填项)
  --env=DRONE_GITLAB_CLIENT_SECRET=159ab07250d7b02f171408a1a6e21f506295b33b5174c211b7dcb59b548e05a3 \ #GitLab oauth 客户端密码 (必填项)
  --env=DRONE_RPC_SECRET=8172cd9155d16593d4f6a445b70e2d6e\  #验证服务器和运行器之间的 rpc 连接(drone-server和drone-runner连接时必填项)
  --env=DRONE_SERVER_HOST=192.168.200.30:82 \ #供drone服务主机名或 IP 地址 (必填项)
  --env=DRONE_SERVER_PROTO=http \  #drone服务使用的协议 (必填项)
  --publish=82:80 \
  --publish=443:443 \
  --restart=always \
  --detach=true \
  --name=drone \
  --env=DRONE_USER_CREATE=username:root,admin:true \  #Drone管理员用户创建 
  drone/drone:2
 * drone启动参数很多,下面解释下:
	+ DRONE_GITLAB_SERVER: GitLab 服务器 url,默认https://github.com
	+ DRONE_GITLAB_CLIENT_ID: GitLab oauth 客户端 ID(必填项)
	+ DRONE_GITLAB_CLIENT_SECRET: GitLab oauth 客户端密码 (必填项)
	+ DRONE_RPC_SECRET: 验证服务器和运行器之间的 rpc 连接(drone-server和drone-runner连接时必填项)
	+ DRONE_SERVER_HOST: 提供drone服务主机名或 IP 地址 (必填项)
	+ DRONE_SERVER_PROTO: drone服务使用的协议 (必填项)
	+ DRONE_USER_CREATE: Drone管理员用户创建
  • 部署drone-runner
  docker run --detach \  
  --volume=/var/run/docker.sock:/var/run/docker.sock \
  --env=DRONE_RPC_PROTO=http \  #用于连接 Drone 服务器的协议
  --env=DRONE_RPC_HOST=192.168.200.30:82 \ #提供 Drone 服务器的主机名
  --env=DRONE_RPC_SECRET=8172cd9155d16593d4f6a445b70e2d6e \  #用于向 Drone 服务器进行身份验证的共享密钥
  --env=DRONE_RUNNER_CAPACITY=2 \   #限制运行器可以执行的并发管道的数量
  --env=DRONE_RUNNER_NAME=test-runner \   #设置runner的名字
  --publish=3000:3000 \
  --restart=always \
  --name=runner \
  drone/drone-runner-docker:1
 * drone-runner启动参数很多,下面解释下:
	+ DRONE_RPC_PROTO: 用于连接 Drone 服务器的协议
	+ DRONE_RPC_HOST: 提供 Drone 服务器的主机名
	+ DRONE_RPC_SECRET: 用于向 Drone 服务器进行身份验证的共享密钥
	+ DRONE_RUNNER_CAPACITY: 限制运行器可以执行的并发管道的数量
	+ DRONE_RUNNER_NAME: 设置runner的名字
  • 验证drone-runner是否连接上drone-server(successfully pinged the remote server):
[root@master drone]# docker logs -ft runner
2022-05-10T05:21:02.637256271Z time="2022-05-10T05:21:02Z" level=info msg="starting the server" addr=":3000"
2022-05-10T05:21:02.640121666Z time="2022-05-10T05:21:02Z" level=info msg="successfully pinged the remote server"
2022-05-10T05:21:02.640157924Z time="2022-05-10T05:21:02Z" level=info msg="polling the remote server" arch=amd64 capacity=2 endpoint="http://192.168.200.30:82" kind=pipeline os=linux type=docker
  • 浏览器访问drone-server Web界面(http://192.168.200.30:82),点击继续:

  • 点解继续后,会跳转到这个Application URL地址(http://192.168.200.30:82/login)gitlab给Drone(Application)授权:

  • 注册drone用户:

  • 点击Drone右上角SYNC(同步),进入我们的test仓库下激活存储库,发现错误(这个错误我们需要打开gitlab的出入站请求

  • 回到gitlab,点击Admin-->settings

  • 打开出站请求,并打开允许web hooks(挂钩) 和服务向本地网络发出请求

  • 回到drone,test仓库再一次激活(成功),并开启Trusted特权容器(docker-runner在使用docker执行器时,类似使用root权限)

注意:这里还有一个问题,如果出现没有Trusted选项的情况,需要在启动运行drone-server服务是添加:--env=DRONE_USER_CREATE=username:root,admin:true

流水线脚本编写.drone.yml

  • 在gitlab依次点击,创建.drone.yml文件:
  • .drone.yml文件内容(写的比较简单,主要了解流水线操作流程),如下:
kind: pipeline
type: docker
name: default

steps:
- name: greeting
  image: alpine
  commands:
  - echo hello
  - echo world

.drone.yml文件属性解释:

  • kind:定义了对象的种类,此示例定义了一个pipeline(管道)对象;
  • type:定义pipeline(管道)的类型,此示例定义了一个 Docker 管道,其中每个管道步骤都在 Docker 容器内执行;
  • name:定义了pipeline(管道)的名称;
  • steps:定义了一系列串行执行的pipeline(管道)步骤,出现一个步骤失败,立即退出;
    * name:定义管道步骤的名称;
    * image:定义了一个执行 shell 命令的 Docker 镜像;
    * commands:在docker容器内执行shell命令;

流水线触发

  • 在自己项目下(test)点击:settings-->webhooks:
  • 这里不需要再次创建webhooks(挂钩),Drone连接后会自动创建一个默认的webhooks
  • 回到drone会看到,我们编写的流水线文件被自动触发(之后gitlab仓库代码更新或上传新代码都会自动触发).drone.yml:
  • 点击我们的流水线,可以查看流水线详细步骤、步骤的状态和步骤的logs

总结+遇到的问题

我这里的.drone.yml文件写的比较简单,主要时了解过程入门。如果需要练习可以试着部署自己的项目;
最后请各位注意三个我在学习gitlab+drone遇到的问题

下列小括号‘()’中是解决方法;

  • clone克隆地址连接不上(修改默认clone克隆)
  • 没有Trusted选项,启动drone-server时添加(--env=DRONE_USER_CREATE=username:root,admin:true)
  • .drone.yml文件中sed命令报错:sed: -e expression #1, char 34: unknown option to s (改成感叹号!或者| 分割,如:sed -i ‘s! 源内容 ! 替换内容 !g’ )

参考资料

https://docs.drone.io/

有关【Drone-初识篇】Drone借助GitLab构建CICD环境、以及编写 .drone.yaml 流水线的更多相关文章

  1. ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby​​ 中生成它们? - 2

    我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%

  2. ruby - 在 Ruby 中编写命令行实用程序 - 2

    我想用ruby​​编写一个小的命令行实用程序并将其作为gem分发。我知道安装后,Guard、Sass和Thor等某些gem可以从命令行自行运行。为了让gem像二进制文件一样可用,我需要在我的gemspec中指定什么。 最佳答案 Gem::Specification.newdo|s|...s.executable='name_of_executable'...endhttp://docs.rubygems.org/read/chapter/20 关于ruby-在Ruby中编写命令行实用程序

  3. ruby - 如何使用文字标量样式在 YAML 中转储字符串? - 2

    我有一大串格式化数据(例如JSON),我想使用Psychinruby​​同时保留格式转储到YAML。基本上,我希望JSON使用literalstyle出现在YAML中:---json:|{"page":1,"results":["item","another"],"total_pages":0}但是,当我使用YAML.dump时,它不使用文字样式。我得到这样的东西:---json:!"{\n\"page\":1,\n\"results\":[\n\"item\",\"another\"\n],\n\"total_pages\":0\n}\n"我如何告诉Psych以想要的样式转储标量?解

  4. ruby - 用 Ruby 编写一个简单的网络服务器 - 2

    我想在Ruby中创建一个用于开发目的的极其简单的Web服务器(不,不想使用现成的解决方案)。代码如下:#!/usr/bin/rubyrequire'socket'server=TCPServer.new('127.0.0.1',8080)whileconnection=server.acceptheaders=[]length=0whileline=connection.getsheaders想法是从命令行运行这个脚本,提供另一个脚本,它将在其标准输入上获取请求,并在其标准输出上返回完整的响应。到目前为止一切顺利,但事实证明这真的很脆弱,因为它在第二个请求上中断并出现错误:/usr/b

  5. ruby - 一个 YAML 对象可以引用另一个吗? - 2

    我想让一个yaml对象引用另一个,如下所示:intro:"Hello,dearuser."registration:$introThanksforregistering!new_message:$introYouhaveanewmessage!上面的语法只是它如何工作的一个例子(这也是它在thiscpanmodule中的工作方式。)我正在使用标准的ruby​​yaml解析器。这可能吗? 最佳答案 一些yaml对象确实引用了其他对象:irb>require'yaml'#=>trueirb>str="hello"#=>"hello"ir

  6. ruby - 在 Ruby 中构建长字符串的简洁方法 - 2

    在编写Ruby(客户端脚本)时,我看到了三种构建更长字符串的方法,包括行尾,所有这些对我来说“闻起来”有点难看。有没有更干净、更好的方法?变量递增。ifrender_quote?quote="NowthatthereistheTec-9,acrappyspraygunfromSouthMiami."quote+="ThisgunisadvertisedasthemostpopularguninAmericancrime.Doyoubelievethatshit?"quote+="Itactuallysaysthatinthelittlebookthatcomeswithit:themo

  7. 【鸿蒙应用开发系列】- 获取系统设备信息以及版本API兼容调用方式 - 2

    在应用开发中,有时候我们需要获取系统的设备信息,用于数据上报和行为分析。那在鸿蒙系统中,我们应该怎么去获取设备的系统信息呢,比如说获取手机的系统版本号、手机的制造商、手机型号等数据。1、获取方式这里分为两种情况,一种是设备信息的获取,一种是系统信息的获取。1.1、获取设备信息获取设备信息,鸿蒙的SDK包为我们提供了DeviceInfo类,通过该类的一些静态方法,可以获取设备信息,DeviceInfo类的包路径为:ohos.system.DeviceInfo.具体的方法如下:ModifierandTypeMethodDescriptionstatic StringgetAbiList​()Obt

  8. 阿里云国际版免费试用:如何注册以及注意事项 - 2

    作为新的阿里云用户,您可以50免费试用多种优惠,价值高达1,700美元(或8,500美元)。这将让您了解和体验阿里云平台上提供的一系列产品和服务。如果您以个人身份注册免费试用,您将获得价值1,700美元的优惠。但是,如果您是注册公司,您可以选择企业免费试用,提交基本信息通过企业实名注册验证,即可开始价值$8,500的免费试用!本教程介绍了如何设置您的帐户并使用您的免费试用版。​关于免费试用在我们开始此试用之前,您还必须遵守以下条款和条件才能访问您的免费试用:只有在一年内创建的账户才有资格获得阿里云免费试用。通过此免费试用优惠,用户可以免费试用免费试用活动页面上列出的每种产品一次。如果您有多个帐

  9. python - 是否可以使用 Ruby 或 Python 禁用 anchor /引用来发出有效的 YAML? - 2

    是否可以在PyYAML或Ruby的Psych引擎中禁用创建anchor和引用(并有效地显式列出冗余数据)?也许我在网上搜索时遗漏了一些东西,但在Psych中似乎没有太多可用的选项,而且我也无法确定PyYAML是否允许这样做.基本原理是我必须序列化一些数据并将其以可读的形式传递给一个不是真正的技术同事进行手动验证。有些数据是多余的,但我需要以最明确的方式列出它们以提高可读性(anchor和引用是提高效率的好概念,但不是人类可读性)。Ruby和Python是我选择的工具,但如果有其他一些相当简单的方法来“展开”YAML文档,它可能就可以了。 最佳答案

  10. ruby - 用 YAML.load 解析 json 安全吗? - 2

    我正在使用ruby2.1.0我有一个json文件。例如:test.json{"item":[{"apple":1},{"banana":2}]}用YAML.load加载这个文件安全吗?YAML.load(File.read('test.json'))我正在尝试加载一个json或yaml格式的文件。 最佳答案 YAML可以加载JSONYAML.load('{"something":"test","other":4}')=>{"something"=>"test","other"=>4}JSON将无法加载YAML。JSON.load("

随机推荐