K8s 集群 随着pod运行服务的越来越多,运行时间越来越大,docker目录占用磁盘空间也在逐渐变大,终于在最近磁盘彻底占满导致容器启动不起来并提示"no device space left"。为了防止以后出现docker占用磁盘容量不够的情况决定对docker数据目录迁移。
docker数据默认存储在/var/lib/docker目录下。实际存储目录可以参考docker info输出
Client:
...
Server:
...
Docker Root Dir: var/docker/lib
...
systemctl stop docker
使用其他挂载盘,使用 cp 命令复制数据
cp -a /var/lib/docker /mnt/data/
注意这里一定要加 -p 或 用 -a 不然复制过去文件权限不对,有些容器启动会报错。如果不加p参数可能会导致迁移后的目录的/tmp目录(其他人&&组)丢失w(写)权限。教训:mongo容器启动需要在/tmp目录下创建****.sock监听请求,由于cp没有加上p参数导致/tmp目录从drwxrwxrwt权限变为drwxr-xr-t权限,无法成功启动。t权限是x+SBIT形成的。
下面举个例子: 变更 docker工作目录后 ,harbor启动异常,报错如下
rsyslogd: run failed with error -3000 (see rsyslog.h or try https://www.rsyslog.com/e/3000 to learn what that number means) rsyslogd: error writing pid file (creation stage) : Permission denied
解决方案
需要删除所有的容器,已经镜像重新下载镜像运行(数据需要挂载到外面,数据不会丢)
辑配置文件添加一行"data-root": "/mnt/data/docker",
vim /etc/docker/daemon.json
{
"registry-mirrors": [],
"data-root": "/mnt/data/docker"
}
或者软链接新目录到原来的目录(需要删除原目录或者ln命令加上f参数强行移除)
ln -s /mnt/data/docker /var/lib/docker
systemctl start docker
别急着重启,看下docker 日志优化
docker ps -a --filter 'status=exited' --format '{{.ID}}'重启所有退出的容器(该操作会重启已退出但未清除的临时容器,请根据实际情况过滤操作)再 Docker 不重建的情况下,日志文件会默认一直追加,时间长会慢慢的占满服务器硬盘空间。其实就是我们常用的docker logs命令打印的日志会打印到这个目录下的文件之中。
[root@xx-xx log]# docker info|grep 'Logging Driver'
Logging Driver: json-file
[root@xx-xx log]# docker inspect -f '{{.HostConfig.LogConfig.Type}}' 96a7b67e2581
json-file
[root@xx-xx log]# docker inspect -f '{{.LogPath}}' 4ba762e36fca
/mnt/data/docker/containers/4ba762e36fca30509f6052e3374f6975cf13d4066e8cdbe03f832302c80dd3d0/4ba762e36fca30509f6052e3374f6975cf13d4066e8cdbe03f832302c80dd3d0-json.log
可以看到这里的文件就是docker终端打印的日志,所有docker运行久了又不重启,这个日志就越来越大,不清理磁盘肯定炸。
docker run -it --log-driver none xxx
| 驱动名 | 描述 |
|---|---|
| none | 运行的容器没有日志,docker logs 没有任何输出 |
| local | 日志以自定义格式存储,旨在实现最小开销 |
| json-file | 日志格式为 json,docker 的默认日志记录驱动程序 |
| syslog | 将日志消息写入 syslog。改 syslog 守护程序必须在主机上运行 |
| journald | 将日志消息写入 journald。该 journald 守护程序必须在主机上运行 |
| gelf | 将日志消息写入 Graylog 扩展日志格式(GELF)端点,例如 Graylog 或 Logstash。 |
| fluentd | 将日志消息写入fluentd(转发输入)。该fluentd守护程序必须在主机上运行。 |
| awslogs | 将日志消息写入 Amazon CloudWatch Logs。 |
| splunk | 使用 HTTP 事件收集器将日志消息写入splunk。 |
| etwlogs | 将日志消息写为 Windows 事件跟踪(ETW)事件。仅适用于 Windows 平台。 |
| gcplogs | 将日志消息写入 Google Cloud Platform(GCP)Logging。 |
| logentries | 将日志消息写入 Rapid7 Logentries。 |
修改配置文件/etc/docker/daemon.json
{
"log-driver": "none"
}
# max-size 最大数值,必须大于0
# max-file 最大日志数,必须大于0
$ docker run -it --log-opt max-size=10m --log-opt max-file=3 容器名称
创建或者修改文件/etc/docker/daemon.json,增加如下配置:
{
"log-driver":"json-file",
"log-opts":{
"max-size" :"10m",
"max-file":"20",
"compress": "true"
}
}
由于该配置只对已经生成的容器不生效,将原容器销毁后重新创建
重启Docker服务
sudo systemctl daemon-reload
sudo systemctl restart docker
1.错误信息:Errorresponsefromdaemon:Gethttps://registry-1.docker.io/v2/:net/http:requestcanceledwhilewaitingforconnection(Client.Timeoutexceededwhileawaitingheaders)或者:Errorresponsefromdaemon:Gethttps://registry-1.docker.io/v2/:net/http:TLShandshaketimeout2.报错原因:docker使用的镜像网址默认为国外,下载容易超时,需要修改成国内镜像地址(首先阿里
如何在出现异常时指定全局救援,如果您将Sinatra用于API或应用程序,您将如何处理日志记录? 最佳答案 404可以在not_found方法的帮助下处理,例如:not_founddo'Sitedoesnotexist.'end500s可以通过调用带有block的错误方法来处理,例如:errordo"Applicationerror.Plstrylater."end错误的详细信息可以通过request.env中的sinatra.error访问,如下所示:errordo'Anerroroccured:'+request.env['si
我正在使用ruby标准记录器,我想要每天轮换一次,所以在我的代码中我有:Logger.new("#{$ROOT_PATH}/log/errors.log",'daily')它运行完美,但它创建了两个文件errors.log.20130217和errors.log.20130217.1。如何强制它每天只创建一个文件? 最佳答案 您的代码对于长时间运行的应用程序是正确的。发生的事情是您在给定的一天多次运行代码。第一次运行时,Ruby会创建一个日志文件“errors.log”。当日期改变时,Ruby将文件重命名为“errors.log
在运行Cucumber测试时,我得到(除了测试结果)大量调试/日志相关的输出形式:D,[2013-03-06T12:21:38.911829#49031]DEBUG--:SOAPrequest:D,[2013-03-06T12:21:38.911919#49031]DEBUG--:Pragma:no-cache,SOAPAction:"",Content-Type:text/xml;charset=UTF-8,Content-Length:1592W,[2013-03-06T12:21:38.912360#49031]WARN--:HTTPIexecutesHTTPPOSTusingt
我最近将我的http客户端切换到faraday,一切都按预期工作。我有以下代码来创建连接:@connection=Faraday.new(:url=>base_url)do|faraday|faraday.useCustim::Middlewarefaraday.request:url_encoded#form-encodePOSTparamsfaraday.request:jsonfaraday.response:json,:content_type=>/\bjson$/faraday.response:loggerfaraday.adapterFaraday.default_ada
网站的日志分析,是seo优化不可忽视的一门功课,但网站越大,每天产生的日志就越大,大站一天都可以产生几个G的网站日志,如果光靠肉眼去分析,那可能看到猴年马月都看不完,因此借助网站日志分析工具去分析网站日志,那将会使网站日志分析工作变得更简单。下面推荐两款网站日志分析软件。第一款:逆火网站日志分析器逆火网站日志分析器是一款功能全面的网站服务器日志分析软件。通过分析网站的日志文件,不仅能够精准的知道网站的访问量、网站的访问来源,网站的广告点击,访客的地区统计,搜索引擎关键字查询等,还能够一次性分析多个网站的日志文件,让你轻松管理网站。逆火网站日志分析器下载地址:https://pan.baidu.
文章目录一基础定义二创建逻辑卷2-1准备物理设备2-2创建物理卷2-3创建卷组2-4创建逻辑卷2-5创建文件系统并挂载文件三扩展卷组和缩减卷组3-1准备物理设备3-2创建物理卷3-3扩展卷组3-4查看卷组的详细信息以验证3-5缩减卷组四扩展逻辑卷4-1检查卷组是否有可用的空间4-2扩展逻辑卷4-3扩展文件系统五删除逻辑卷5-1备份数据5-2卸载文件系统5-3删除逻辑卷5-4删除卷组5-5删除物理卷六LVM逻辑卷缩容6-1缩容注意事项6-2标准缩容步骤一基础定义LVM,LogicalVolumeManger,逻辑卷管理,Linux磁盘分区管理的一种机制,建立在硬盘和分区上的一个逻辑层,提高磁盘分
我正在使用此代码在我的Sinatra应用程序中启用日志记录:log_file=File.new('my_log_file.log',"a")$stdout.reopen(log_file)$stderr.reopen(log_file)$stdout.sync=true$stderr.sync=true实际的日志记录是使用:logger.debug("Startingcall.Params=#{params.inspect}")事实证明,只有INFO或更高级别的日志消息被记录,而DEBUG消息没有被记录。我正在寻找一种将日志级别设置为DEBUG的方法。 最佳
我有这段代码来跟踪远程日志文件:defdo_tail(session,file)session.open_channeldo|channel|channel.on_datado|ch,data|puts"[#{file}]->#{data}"endchannel.exec"tail-f#{file}"endNet::SSH.start("host","user",:password=>"passwd")do|session|do_tailsession,"/path_to_log/file.log"session.loop我只想在file.log中检索带有ERROR字符串的行,我正在尝
我正在尝试使用docker运行一个Rails应用程序。通过github的sshurl安装的gem很少,如下所示:Gemfilegem'swagger-docs',:git=>'git@github.com:xyz/swagger-docs.git',:branch=>'my_branch'我在docker中添加了keys,它能够克隆所需的repo并从git安装gem。DockerfileRUNmkdir-p/root/.sshCOPY./id_rsa/root/.ssh/id_rsaRUNchmod700/root/.ssh/id_rsaRUNssh-keygen-f/root/.ss