草庐IT

ClickHouse数据盘满了问题处理

淡淡的小番茄 2023-03-28 原文

背景

尽管ClickHouse对Zookeeper依赖还是蛮严重的，对于非常大的集群，你可以把不同的 ZooKeeper 集群用于不同的分片。据官方介绍：即使 Yandex.Metrica 集群（大约300台服务器）也证明还不需要这么做。奈何我们的8C 16G虚拟机在业务毫无压力的情况下，Zookeeper还经常选举。这个要到哪里去说理去呢？生活中十有八九不如意，工作作为生活的一部分更是如此，难免会遇到一些棘手的事情。今天就给大家分享下，如果ClickHouse所在机器数据盘满了，我们要怎么来处理？

尝试解决

ClickHouse数据盘满了。由于系统盘未满，机器还是能正常登录的。但是ClickHouse无法连接。如何快速恢复业务？

我们做了如下的尝试：

1、清理磁盘上无关数据

但是此机器是ClickHouse独占的，数据盘里都是ClickHouse的数据，无其它数据。

2、清理ClickHouse中非业务数据。

首先想到的是系统日志表，比如：query_log、query_thread_log。正常情况下我们直接登录客户端，进行日志信息的删除即可。这两张表是可以直接删掉的，系统会自动生成。但是，目前ClickHouse服务异常，根本登录不上去，也就不能直接通过客户端命令来进行删除。我们打算通过文件系统来删除：

a）进入到query_log的数据目录

cd .../clickhouse/data/system/query_log

ls -al

query_log使用的merge引擎，未明确指定分区时间粒度，采用的是系统默认分区设置：一个月一个分区。

b）清理数据

由于是系统日志表，与业务无关的数据。为了快速恢复业务，我们采用的方式是直接清空。当然我们也可以删除指定的分区块，需要删除合并好的分区块，未合并的分区块不能轻易删除。我们执行删除操作后，可以通过OPTIMIZE命令来主动触发合并逻辑，检验操作是否可行。

操作一：直接删除文件夹（未合并的）：

rm -rf 202204_33635_34708_218

执行如下命令：

OPTIMIZE TABLE system.query_log  final;

错误信息如下：

SQL 错误 [1002]: ClickHouse exception, code: 1002, host: 172.30.225.10, port: 8123; std::exception. Code: 1001, type: std::__1::__fs::filesystem::filesystem_error, e.what() = filesystem error: in file_size: No such file or directory [/data1/clickhouse/store/4d2/4d2d74db-2341-4e19-9c79-312ffca0e21b/202204_33635_34708_218/data.mrk3]

Cannot print extra info for Poco::Exception (version 22.3.2.1)

查看ClickHouse狂报错，重启后错误消失。

操作二：直接删除文件夹（合并后的）：

rm -rf 202204_8600_33634_2409

执行如下命令：

OPTIMIZE TABLE system.query_log  final;

一切正常。另外需要注意的是：大家在删除之前做好备份，或者将数据移动到detached文件夹里。再次重申：生产操作，需要慎重再慎重！

ClickHouse数据sectionblockquote

有关ClickHouse数据盘满了问题处理的更多相关文章

  1. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

  2. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  3. ruby - 通过 rvm 升级 ruby​​gems 的问题 - 2

    尝试通过RVM将RubyGems升级到版本1.8.10并出现此错误:$rvmrubygemslatestRemovingoldRubygemsfiles...Installingrubygems-1.8.10forruby-1.9.2-p180...ERROR:Errorrunning'GEM_PATH="/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/ruby-1.9.2-p180@global:/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/rub

  4. ruby - 如何指定 Rack 处理程序 - 2

    Rackup通过Rack的默认处理程序成功运行任何Rack应用程序。例如:classRackAppdefcall(environment)['200',{'Content-Type'=>'text/html'},["Helloworld"]]endendrunRackApp.new但是当最后一行更改为使用Rack的内置CGI处理程序时，rackup给出“NoMethodErrorat/undefinedmethod`call'fornil:NilClass”:Rack::Handler::CGI.runRackApp.newRack的其他内置处理程序也提出了同样的反对意见。例如Rack

  5. ruby - 通过 RVM (OSX Mountain Lion) 安装 Ruby 2.0.0-p247 时遇到问题 - 2

    我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止，这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search

  6. ruby - Fast-stemmer 安装问题 - 2

    由于fast-stemmer的问题，我很难安装我想要的任何ruby​​gem。我把我得到的错误放在下面。Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingfast-stemmer:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcreatingMakefilemake"DESTDIR="cleanmake"DESTDIR=

  7. ruby - 安装 Ruby 时遇到问题(无法下载资源 "readline--patch") - 2

    当我尝试安装Ruby时遇到此错误。我试过查看this和this但无济于事➜~brewinstallrubyWarning:YouareusingOSX10.12.Wedonotprovidesupportforthispre-releaseversion.Youmayencounterbuildfailuresorotherbreakages.Pleasecreatepull-requestsinsteadoffilingissues.==>Installingdependenciesforruby:readline,libyaml,makedepend==>Installingrub

  8. ruby - Ruby 有 `Pair` 数据类型吗？ - 2

    有时我需要处理键/值数据。我不喜欢使用数组，因为它们在大小上没有限制(很容易不小心添加超过2个项目，而且您最终需要稍后验证大小)。此外，0和1的索引变成了魔数(MagicNumber)，并且在传达含义方面做得很差(“当我说0时，我的意思是head...”)。散列也不合适，因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题，但我很想知道:Ruby标准库是否已经带有这样一个类？ 最佳

  9. java - 从 JRuby 调用 Java 类的问题 - 2

    我正在尝试使用boilerpipe来自JRuby。我看过guide从JRuby调用Java，并成功地将它与另一个Java包一起使用，但无法弄清楚为什么同样的东西不能用于boilerpipe。我正在尝试基本上从JRuby中执行与此Java等效的操作:URLurl=newURL("http://www.example.com/some-location/index.html");Stringtext=ArticleExtractor.INSTANCE.getText(url);在JRuby中试过这个:require'java'url=java.net.URL.new("http://www

  10. ruby-on-rails - 简单的 Ruby on Rails 问题——如何将评论附加到用户和文章？ - 2

    我意识到这可能是一个非常基本的问题，但我现在已经花了几天时间回过头来解决这个问题，但出于某种原因，Google就是没有帮助我。(我认为部分问题在于我是一个初学者，我不知道该问什么......)我也看过O'Reilly的RubyCookbook和RailsAPI，但我仍然停留在这个问题上.我找到了一些关于多态关系的信息，但它似乎不是我需要的(尽管如果我错了请告诉我)。我正在尝试调整MichaelHartl'stutorial创建一个包含用户、文章和评论的博客应用程序(不使用脚手架)。我希望评论既属于用户又属于文章。我的主要问题是:我不知道如何将当前文章的ID放入评论Controller。

随机推荐