目录
使用clickhouse-keeper代替 zookeeper的步骤：
1.2- 在config.xml中的 zookeeper配置 clickhouse-keeper的地址，keeper的属性， 端口，存放地址等。
b. 设置 clickhouse-keeper的地址，每个节点内容一致
c. 设置clickhouse-keeper的server_id 和clickhouse-server通信端口 9444
2：备份 clickhouse-server的配置文件和数据，以及zookeeper的元数据。(预防升级失败需要回滚)
b. zookeeper的数据: 在zoo.cfg，数据目录。
4： 迁移zk的元数据到 clickhouse-keeper
b- 建议 启停zk的leader，以便强制 复制一份 一致性的快照。
c- 运行 clickhouse-keeper-converter ， 生成snapshot
6- 验证是否clickhouse-keeper是否正常运行
背景：clickhouse分布式表使用zookeeper作为元数据的存储，客户端每次读写分布式表都会读写zookeeper。 zookeeper是个小型的日志文件系统，在大范围读写时会进入只读模式。
clickhouse官方为了解决这个，自己开发了clickhouse-keeper来代替。在21.8版本开始引入，21.12 featrue开发完毕，22.05不依赖系统库。
据官网自己说，目前22.5版的写性能和zookeeper相当，读的性能比zookeeper好。
可以看到说socket和zookeeer连接不上 xxx.xxx.xxx.xxx:2181)
2022.04.01 17:11:01.452465 [ 428517 ] {} <Error> void Coordination::ZooKeeper::sendThread(): Code: 210, e.displayText() = DB::NetException: I/O error: 23: Can't create epoll queue, while writing to socket (20.20.20.34:2181), Stack trace (when copying this message, always include the lines below):
1. DB::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int, bool) @ 0x8f9b87a in /usr/lib/debug/.build-id/b1/6d23354750e4d6ff9887c2b4f856f045d62da0.debug
2. DB::WriteBufferFromPocoSocket::nextImpl() @ 0x100764a0 in /usr/lib/debug/.build-id/b1/6d23354750e4d6ff9887c2b4f856f045d62da0.debug
看到 zookeeper进入了只读模式(r-o mode)
2022-04-01 07:21:14,189 [myid:3] - INFO [PurgeTask:FileTxnSnapLog@124] - zookeeper.snapshot.trust.empty : false
2022-04-01 07:21:14,191 [myid:3] - INFO [PurgeTask:DatadirCleanupManager$PurgeTask@145] - Purge task completed.
2022-04-01 17:07:55,961 [myid:3] - INFO [SessionTracker:ZooKeeperServer@628] - Expiring session 0x31056da7a8a0000, timeout of 30000ms exceeded
2022-04-01 17:07:55,962 [myid:3] - INFO [RequestThrottler:QuorumZooKeeperServer@163] - Submitting global closeSession request for session 0x31056da7a8a0000
2022-04-01 17:10:23,523 [myid:3] - WARN [NIOWorkerThread-75:ZooKeeperServer@1411] - Connection request from old client /20.20.20.46:62879; will be dropped if server is in r-o mode
2022-04-01 17:10:23,534 [myid:3] - INFO [CommitProcessor:3:LeaderSessionTracker@104] - Committing global session 0x31056da7a8a0001
2022-04-01 17:11:01,453 [myid:3] - WARN [NIOWorkerThread-20:NIOServerCnxn@371] - Unexpected exception
EndOfStreamException: Unable to read additional data from client, it probably closed the socket: address = /20.20.20.46:62879, session = 0x31056da7a8a0001
at org.apache.zookeeper.server.NIOServerCnxn.handleFailedRead(NIOServerCnxn.java:170)
at org.apache.zookeeper.server.NIOServerCnxn.doIO(NIOServerCnxn.java:333)
at org.apache.zookeeper.server.NIOServerCnxnFactory$IOWorkRequest.doWork(NIOServerCnxnFactory.java:508)
at org.apache.zookeeper.server.WorkerService$ScheduledWorkRequest.run(WorkerService.java:154)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)1- 准备 clickhouse-keeper的配置文件 (config.xml)
2- 备份 clickhouse-server的配置文件和数据，以及zookeeper的元数据
3- 下载 clickhouse-keeper-converter (集成在clickhouse中了)
4- 迁移以前zookeeper元数据到clickhouse-keeper
a. 停止所有zk节点
b. 找到zk leader节点
c. 重启zk leader节点，并再次停止(这一步是为了让leader节点生成一份snapshot)
d. 运行clickhouse-keeper-converter，生成keeper的snapshot文件
e. 启动keeper, 使其加载上一步中的snapshot
5- 重启clickhouse-server
keeper在clickhousenode上的配置 config.xml
<listen_host>0.0.0.0</listen_host>假设keeper的端口是9181，与server通信接口为9444
netstat -anp | grep 9181
netstat -anp | grep 9444<zookeeper>
<node>
<host>clickhouse-node01</host>
<port>9181</port>
</node>
<node>
<host>clickhouse-node02</host>
<port>9181</port>
</node>
<node>
<host>clickhouse-node03</host>
<port>9181</port>
</node>
</zookeeper>每个节点的server_id要确保唯一，不能和其他节点重复 ， keeper_server中的server_id是要和配置raft协议集群时命名的一致。
例如：
在 clickhouse-node01上的配置， <server_id>1</server_id>
在clickhouse_node02上的配置， <server_id>2</server_id>
<keeper_server>
<tcp_port>9181</tcp_port>
<server_id>1</server_id>
<log_storage_path>/var/lib/clickhouse/coordination/log</log_storage_path>
<snapshot_storage_path>/var/lib/clickhouse/coordination/snapshots</snapshot_storage_path>
<coordination_settings>
<operation_timeout_ms>10000</operation_timeout_ms>
<session_timeout_ms>30000</session_timeout_ms>
<raft_logs_level>warning</raft_logs_level>
</coordination_settings>
<raft_configuration>
<server>
<id>1</id>
<hostname>clickhouse-node01</hostname>
<port>9444</port>
</server>
<server>
<id>2</id>
<hostname>clickhouse-node02</hostname>
<port>9444</port>
</server>
<server>
<id>3</id>
<hostname>clickhouse-node03</hostname>
<port>9444</port>
</server>
</raft_configuration>
</keeper_server><path>/data/1/clickhouse</path>
dataDir=/data/1/zookeeper/data (存储snap数据)
dataLogDir=/data/1/zookeeper/logs (存储 transation命令)
以先卸载，再安装的升级方法为例
## 卸载
yum remove -y clickhouse-client.noarch clickhouse-common-static.x86_64 clickhouse-common-static-dbg.x86_64 clickhouse-server.noarch
## 下载安装
yum install -y clickhouse-server-22.8.4.7-1.x86_64 clickhouse-client-22.8.4.7-1.x86_64 clickhouse-common-static-22.8.4.7-1.x86_64 clickhouse-common-static-dbg-22.8.4.7-1.x86_64在所有的zk节点上 执行
/usr/local/zookeeper/bin/zkServer.sh stop查找leader节点， 在所有的节点上执行
/usr/local/zookeeper/bin/zkServer.sh stop
在leader节点上 启停zookeeper
/usr/local/zookeeper/bin/zkServer.sh start
/usr/local/zookeeper/bin/zkServer.sh stop
clickhouse-keeper-converter --zookeeper-logs-dir /data/1/zookeeper/logs/version-2 --zookeeper-snapshots-dir /data/1/zookeeper/data/version-2 --output-dir /var/lib/clickhouse/coordination/snapshots如果server和keeper是安装在同一个节点，这步可以省略
sudo -su clickhouse
clickhouse-keeper --config /etc/clickhouse-server/config.xml/usr/bin/clickhouse-server stop
/usr/bin/clickhouse-server start --config=/etc/clickhouse-server/config.xml echo ruok | nc localhost 9181; echo期望看到：imok
连接客户端，创建一张分布式表，查看数据是否能正常操作分布式表(CRUD)。
select * from system.clusters;
1- 异常log
<Error> CertificateReloader: Cannot obtain modification time for certificate file /etc/clickhouse-server/server.crt, skipping update. errno: 2, strerror: No such file or directory解决方法：在所有的clickhouse-server节点上执行
openssl req -subj "/CN=localhost" -new -newkey rsa:2048 -days 365 -nodes -x509 -keyout /etc/clickhouse-server/server.key -out /etc/clickhouse-server/server.crt2- 异常log
Error opening Diffie-Hellman parameters file /etc/clickhouse-server/dhparam.pem解决方法： 在所有的clickhouse-server节点上执行
openssl dhparam -out /etc/clickhouse-server/dhparam.pem 4096
clickhouse既然已经支持多zk集群，是否可以让ck同时访问zk集群和keeper集群？
答： 不可以，官网明确说了
参考文档：
ClickHouse Keeper | ClickHouse Docs
Configuring ClickHouse Keeper (clickhouse-keeper) | ClickHouse Docs
我正在学习如何使用Nokogiri，根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div
我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看rubyzip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d
类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc
很好奇，就使用rubyonrails自动化单元测试而言，你们正在做什么？您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您？git中的预提交Hook？只是手动调用？我完全理解测试，但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的，并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您？ 最佳答案 不确定您到底想听什么，但是有几个级别的自动代码库控制:在处理某项功能时，您可以使用类似autotest的内容获得关于哪些有效，哪些无效的即时反馈。要确保您的提
假设我做了一个模块如下:m=Module.newdoclassCendend三个问题:除了对m的引用之外，还有什么方法可以访问C和m中的其他内容？我可以在创建匿名模块后为其命名吗(就像我输入“module...”一样)？如何在使用完匿名模块后将其删除，使其定义的常量不再存在？ 最佳答案 三个答案:是的，使用ObjectSpace.此代码使c引用你的类(class)C不引用m:c=nilObjectSpace.each_object{|obj|c=objif(Class===objandobj.name=~/::C$/)}当然这取决于
我正在尝试使用ruby和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封，在我看来soap请求没有正确的命名空间。任何人都可以建议我
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。
我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t
我想将html转换为纯文本。不过，我不想只删除标签，我想智能地保留尽可能多的格式。为插入换行符标签，检测段落并格式化它们等。输入非常简单，通常是格式良好的html(不是整个文档，只是一堆内容，通常没有anchor或图像)。我可以将几个正则表达式放在一起，让我达到80%，但我认为可能有一些现有的解决方案更智能。 最佳答案 首先，不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案，它会随着HTML的变化而崩溃，或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h
我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po