草庐IT

k8s 磁盘不够用,docker数据迁移 导致 /tmp Permission denied,docker优化日志 日志切割, 日志自动删除

Young丶 2023-04-09 原文

前言

K8s 集群 随着pod运行服务的越来越多,运行时间越来越大,docker目录占用磁盘空间也在逐渐变大,终于在最近磁盘彻底占满导致容器启动不起来并提示"no device space left"。为了防止以后出现docker占用磁盘容量不够的情况决定对docker数据目录迁移。

1. docker数据迁移

docker数据默认存储在/var/lib/docker目录下。实际存储目录可以参考docker info输出

Client:
 ...

Server:
 ...
 Docker Root Dir: var/docker/lib
 ...

迁移步骤

1.1.停止dockerd服务

systemctl stop docker

1.2.创建新目录迁移数据

使用其他挂载盘,使用 cp 命令复制数据

cp -a /var/lib/docker /mnt/data/

注意这里一定要加 -p 或 用 -a 不然复制过去文件权限不对,有些容器启动会报错。如果不加p参数可能会导致迁移后的目录的/tmp目录(其他人&&组)丢失w(写)权限。教训:mongo容器启动需要在/tmp目录下创建****.sock监听请求,由于cp没有加上p参数导致/tmp目录从drwxrwxrwt权限变为drwxr-xr-t权限,无法成功启动。t权限是x+SBIT形成的。

下面举个例子: 变更 docker工作目录后 ,harbor启动异常,报错如下

rsyslogd: run failed with error -3000 (see rsyslog.h or try https://www.rsyslog.com/e/3000 to learn what that number means) rsyslogd: error writing pid file (creation stage) : Permission denied

  • 解决方案

    需要删除所有的容器,已经镜像重新下载镜像运行(数据需要挂载到外面,数据不会丢)

1.3. 编辑docker配置文件

辑配置文件添加一行"data-root": "/mnt/data/docker",
vim /etc/docker/daemon.json

{
  "registry-mirrors": [],
  "data-root": "/mnt/data/docker"
}

或者软链接新目录到原来的目录(需要删除原目录或者ln命令加上f参数强行移除)
ln -s /mnt/data/docker /var/lib/docker

1.4. 重启dockerd服务

systemctl start docker

别急着重启,看下docker 日志优化

1.5. 查看是否成功

  • 使用docker info命令查看Docker Root Dir参数是否变为了新的目录
  • 查看容器是否全部启动,如果没有启动可以通过ps -a命令查看exit容器并执行docker start {container_id}或者docker start docker ps -a --filter 'status=exited' --format '{{.ID}}'重启所有退出的容器(该操作会重启已退出但未清除的临时容器,请根据实际情况过滤操作)

2. docker日志优化切割

再 Docker 不重建的情况下,日志文件会默认一直追加,时间长会慢慢的占满服务器硬盘空间。其实就是我们常用的docker logs命令打印的日志会打印到这个目录下的文件之中。

2.1 查看docker默认容器日志驱动

[root@xx-xx log]# docker info|grep 'Logging Driver'
 Logging Driver: json-file

2.2 查看一个运行中docker容器使用的日志驱动程序

[root@xx-xx log]# docker inspect -f '{{.HostConfig.LogConfig.Type}}' 96a7b67e2581
json-file

2.3 查看一个运行中docker容器使用的日志路径

[root@xx-xx log]# docker inspect -f '{{.LogPath}}' 4ba762e36fca
/mnt/data/docker/containers/4ba762e36fca30509f6052e3374f6975cf13d4066e8cdbe03f832302c80dd3d0/4ba762e36fca30509f6052e3374f6975cf13d4066e8cdbe03f832302c80dd3d0-json.log

可以看到这里的文件就是docker终端打印的日志,所有docker运行久了又不重启,这个日志就越来越大,不清理磁盘肯定炸。

2.4 容器启动时使用–log-driver指定其使用与Docker容器守护进程不同的日志驱动程序

docker run -it --log-driver none xxx

2.5 容器支持的驱动:

驱动名描述
none运行的容器没有日志,docker logs 没有任何输出
local日志以自定义格式存储,旨在实现最小开销
json-file日志格式为 json,docker 的默认日志记录驱动程序
syslog将日志消息写入 syslog。改 syslog 守护程序必须在主机上运行
journald将日志消息写入 journald。该 journald 守护程序必须在主机上运行
gelf将日志消息写入 Graylog 扩展日志格式(GELF)端点,例如 Graylog 或 Logstash。
fluentd将日志消息写入fluentd(转发输入)。该fluentd守护程序必须在主机上运行。
awslogs将日志消息写入 Amazon CloudWatch Logs。
splunk使用 HTTP 事件收集器将日志消息写入splunk
etwlogs将日志消息写为 Windows 事件跟踪(ETW)事件。仅适用于 Windows 平台。
gcplogs将日志消息写入 Google Cloud Platform(GCP)Logging。
logentries将日志消息写入 Rapid7 Logentries。
2.5.1 全局修改日志驱动

修改配置文件/etc/docker/daemon.json

{
  "log-driver": "none"
}
2.5.2 运行时控制,即在容器启动时添加参数的方式
# max-size 最大数值,必须大于0
# max-file 最大日志数,必须大于0
$ docker run -it --log-opt max-size=10m --log-opt max-file=3 容器名称

2.5.3 全局配置方式

创建或者修改文件/etc/docker/daemon.json,增加如下配置:

{
    "log-driver":"json-file",
    "log-opts":{
        "max-size" :"10m",
        "max-file":"20",
        "compress": "true"
    }
}

由于该配置只对已经生成的容器不生效,将原容器销毁后重新创建

重启Docker服务

sudo systemctl daemon-reload
sudo systemctl restart docker

有关k8s 磁盘不够用,docker数据迁移 导致 /tmp Permission denied,docker优化日志 日志切割, 日志自动删除的更多相关文章

  1. Get https://registry-1.docker.io/v2/: net/http: request canceled while waiting - 2

    1.错误信息:Errorresponsefromdaemon:Gethttps://registry-1.docker.io/v2/:net/http:requestcanceledwhilewaitingforconnection(Client.Timeoutexceededwhileawaitingheaders)或者:Errorresponsefromdaemon:Gethttps://registry-1.docker.io/v2/:net/http:TLShandshaketimeout2.报错原因:docker使用的镜像网址默认为国外,下载容易超时,需要修改成国内镜像地址(首先阿里

  2. ruby - Sinatra 中的全局救援和日志记录异常 - 2

    如何在出现异常时指定全局救援,如果您将Sinatra用于API或应用程序,您将如何处理日志记录? 最佳答案 404可以在not_found方法的帮助下处理,例如:not_founddo'Sitedoesnotexist.'end500s可以通过调用带有block的错误方法来处理,例如:errordo"Applicationerror.Plstrylater."end错误的详细信息可以通过request.env中的sinatra.error访问,如下所示:errordo'Anerroroccured:'+request.env['si

  3. ruby-on-rails - 使用 Ruby 标准 Logger 每天只创建一个日志 - 2

    我正在使用ruby​​标准记录器,我想要每天轮换一次,所以在我的代码中我有:Logger.new("#{$ROOT_PATH}/log/errors.log",'daily')它运行完美,但它创建了两个文件errors.log.20130217和errors.log.20130217.1。如何强制它每天只创建一个文件? 最佳答案 您的代码对于长时间运行的应用程序是正确的。发生的事情是您在给定的一天多次运行代码。第一次运行时,Ruby会创建一个日志文件“errors.log”。当日期改变时,Ruby将文件重命名为“errors.log

  4. ruby - Cucumber/Savon 省略或删除日志输出 - 2

    在运行Cucumber测试时,我得到(除了测试结果)大量调试/日志相关的输出形式:D,[2013-03-06T12:21:38.911829#49031]DEBUG--:SOAPrequest:D,[2013-03-06T12:21:38.911919#49031]DEBUG--:Pragma:no-cache,SOAPAction:"",Content-Type:text/xml;charset=UTF-8,Content-Length:1592W,[2013-03-06T12:21:38.912360#49031]WARN--:HTTPIexecutesHTTPPOSTusingt

  5. ruby-on-rails - faraday如何设置日志级别 - 2

    我最近将我的http客户端切换到faraday,一切都按预期工作。我有以下代码来创建连接:@connection=Faraday.new(:url=>base_url)do|faraday|faraday.useCustim::Middlewarefaraday.request:url_encoded#form-encodePOSTparamsfaraday.request:jsonfaraday.response:json,:content_type=>/\bjson$/faraday.response:loggerfaraday.adapterFaraday.default_ada

  6. 网站日志分析软件--让网站日志分析工作变得更简单 - 2

    网站的日志分析,是seo优化不可忽视的一门功课,但网站越大,每天产生的日志就越大,大站一天都可以产生几个G的网站日志,如果光靠肉眼去分析,那可能看到猴年马月都看不完,因此借助网站日志分析工具去分析网站日志,那将会使网站日志分析工作变得更简单。下面推荐两款网站日志分析软件。第一款:逆火网站日志分析器逆火网站日志分析器是一款功能全面的网站服务器日志分析软件。通过分析网站的日志文件,不仅能够精准的知道网站的访问量、网站的访问来源,网站的广告点击,访客的地区统计,搜索引擎关键字查询等,还能够一次性分析多个网站的日志文件,让你轻松管理网站。逆火网站日志分析器下载地址:https://pan.baidu.

  7. Linux磁盘分区中物理卷(PV)、卷组(VG)、逻辑卷(LV)创建和(LVM)管理 - 2

    文章目录一基础定义二创建逻辑卷2-1准备物理设备2-2创建物理卷2-3创建卷组2-4创建逻辑卷2-5创建文件系统并挂载文件三扩展卷组和缩减卷组3-1准备物理设备3-2创建物理卷3-3扩展卷组3-4查看卷组的详细信息以验证3-5缩减卷组四扩展逻辑卷4-1检查卷组是否有可用的空间4-2扩展逻辑卷4-3扩展文件系统五删除逻辑卷5-1备份数据5-2卸载文件系统5-3删除逻辑卷5-4删除卷组5-5删除物理卷六LVM逻辑卷缩容6-1缩容注意事项6-2标准缩容步骤一基础定义LVM,LogicalVolumeManger,逻辑卷管理,Linux磁盘分区管理的一种机制,建立在硬盘和分区上的一个逻辑层,提高磁盘分

  8. ruby - 如何更改 Sinatra 中的日志级别 - 2

    我正在使用此代码在我的Sinatra应用程序中启用日志记录:log_file=File.new('my_log_file.log',"a")$stdout.reopen(log_file)$stderr.reopen(log_file)$stdout.sync=true$stderr.sync=true实际的日志记录是使用:logger.debug("Startingcall.Params=#{params.inspect}")事实证明,只有INFO或更高级别的日志消息被记录,而DEBUG消息没有被记录。我正在寻找一种将日志级别设置为DEBUG的方法。 最佳

  9. ruby - 带有 grep 远程日志文件的 tail - 2

    我有这段代码来跟踪远程日志文件:defdo_tail(session,file)session.open_channeldo|channel|channel.on_datado|ch,data|puts"[#{file}]->#{data}"endchannel.exec"tail-f#{file}"endNet::SSH.start("host","user",:password=>"passwd")do|session|do_tailsession,"/path_to_log/file.log"session.loop我只想在file.log中检索带有ERROR字符串的行,我正在尝

  10. ruby-on-rails - 私有(private) gem 没有安装在 docker 中 - 2

    我正在尝试使用docker运行一个Rails应用程序。通过github的sshurl安装的gem很少,如下所示:Gemfilegem'swagger-docs',:git=>'git@github.com:xyz/swagger-docs.git',:branch=>'my_branch'我在docker中添加了keys,它能够克隆所需的repo并从git安装gem。DockerfileRUNmkdir-p/root/.sshCOPY./id_rsa/root/.ssh/id_rsaRUNchmod700/root/.ssh/id_rsaRUNssh-keygen-f/root/.ss

随机推荐