草庐IT

多数据库Citus集群的维护

李睿 2023-03-29 原文

译者 | 李睿

审校 | 孙淑娟

本指南适用于数据库管理员（DBA），他们使用Citus管理PostgreSQL节点的内部集群，Citus是PostgreSQL的扩展，可实现水平可扩展性和列式存储。 

当人工维护集群成为一项艰巨的工作时，每个数据库管理员（DBA）都会在某个时候达到一个阈值，并且一些自动化解决方案的必要性变得越来越明显。这里将讨论这种自动化解决方案的一个示例。

一、设置

使用以下Citus集群进行分析：

  • PostgreSQL 14.2，Citus 10.2。
  • Btrfs文件系统上的21个节点（包括一个协调节点），zstd压缩级别为10。
  • 集群内36个数据库，遵循“一个租户一个数据库”的原则。
  • pg_database_size报告的数据总量为151TB，btrfs fi使用报告的数据量为30TB。

集群中的每个数据库都包含自己独特的表和视图，包括物化、权限和配置参数。

二、特征

在自动化过程中，可以得出自动化解决方案应具备的以下一组特征：

简单：维护过程应该简单、明显、连贯和统一。尽量减少复杂的指令、从不支持的自定义shell脚本和部落知识。

审计：应记录在集群上执行的每个操作，其中包括操作的作者、操作的目的、日期和执行的确切命令。

历史性：当集群从备份中恢复时，应用到集群的一组更改应该很容易重新应用。

三、执行

1.基础

为了解决这些原则，决定使用Flyway数据库迁移工具。它允许通过版本化的迁移脚本对数据库模式进行增量演化。

迁移脚本存储在带有持续交付（CD）机制的Git存储库中，配置为在每次提交时运行迁移。这样，为了将更改应用到集群，数据库管理员（DBA）应该使用迁移SQL脚本创建提交并推送它。

这种设置非常常见，甚至适用于普通PostgreSQL，但对于Citus，有一些细微差别：一些命令应该在集群中的所有节点上执行，有时在特定节点上执行。幸运的是，PostgreSQL和Citus中有足够的机制来涵盖几乎所有用例。

2.单点维护

为了对集群中的数据库进行维护，最好创建一个专用数据库。在进一步的示例中，这将被称为维护。这是一个方便维护相关扩展和功能的地方，但最重要的是它保存了Flyway的历史表，反映了集群中所有数据库的演变，而不是在每个数据库中都有单独的历史表。

将在维护时执行的迁移脚本应该能够创建其他数据库，以及在它们上执行SQL。这就是dblink扩展发挥重要作用的地方：它允许连接到任何其他PostgreSQL服务器，包括localhost，并在那里执行任意SQL。考虑到这一点，创建带有Citus扩展的数据库的迁移脚本如下所示：

SQL

1 CREATE DATABASE new_citus_database;
2 SELECT DBLINK_EXEC('dbname=new_citus_database user=postgres', $remote$
3CREATE EXTENSION citus;
4 $remote$);


需要注意的一点：数据库不能在事务中创建，因此需要通过脚本配置文件禁用它进行迁移。

在新数据库上创建Citus扩展是不够的。根据文档，为了让Citus工作，有必要：

  • 在工作节点上创建同名数据库。
  • 在这些数据库上创建Citus扩展。
  • 使用集群中每个工作节点的地址调用citus_add_node()。

这很麻烦，因为它需要人工连接到工作人员或专用的Ansible剧本。幸运的是，维护数据库已经包含了从SQL脚本执行此操作所需的所有工具：

SQL

1-- Create database on every worker
2SELECT run_command_on_workers($cmd$CREATE DATABASE new_citus_database;$cmd$);
3
4-- Connect to the fresh database on worker nodes and create the Citus extension
5 WITH citus_workers AS (SELECT node_name FROM citus_get_active_worker_nodes())
6 SELECT DBLINK_EXEC(FORMAT('host=%s dbname=new_citus_database user=postgres', node_name), $remote$
7 CREATE EXTENSION citus;
8 $remote$)
9 FROM citus_workers;
10
11 -- Add workers to the fresh database on the coordinator
12 WITH citus_workers AS (SELECT node_name FROM citus_get_active_worker_nodes() ORDER BY node_name)
13 SELECT DBLINK_EXEC('dbname=new_citus_database user=postgres', format($remote$
14 START TRANSACTION;                                                                 
15 SELECT citus_add_node('%s', 5432);
16 COMMIT ;
17 $remote$, node_name))
18 FROM citus_workers;

在这里，DBLINK_EXEC用于连接集群中的所有工作节点，以及协调器。对于DBLINK_EXEC不支持的SELECT语句，有一个解决方法：START TRANSACTION; ... COMMIT;。

可以以类似的方式配置新创建的数据库：

SQL

1 ALTER DATABASE new_citus_database SET WORK_MEM = '256MB';
2 SELECT run_command_on_workers($cmd$
3 ALTER DATABASE new_citus_database SET WORK_MEM = '256MB';
4 $cmd$);

以及创建角色、授予权限和任何其他声明。

3.维护多个数据库

类似的方法用于在一个脚本中管理几个数据库。例如，假设已经创建了另一个数据库，另一个_citus_database，并且有必要在那里创建相同的表和视图。使用CTE可以轻松实现：

SQL

1 WITH databases AS (SELECT *
2 FROM (VALUES ('new_citus_database'),
3 ('another_citus_database')) AS t(db_name))
4 SELECT DBLINK_EXEC(FORMAT('dbname=%I user=postgres', db_name), $remote$
5 START TRANSACTION;
6 CREATE TABLE test_table
7 (user_id TEXT, data jsonb);
8 SELECT create_distributed_table('test_table', 'user_id');
9 CREATE VIEW test_table_view AS SELECT * FROM test_table;
10COMMIT;
11 $remote$)
12 FROM databases;

在实践中，视图的创建应该被提取到一个特殊的可重复脚本中。

而代替CTE，创建实用程序PL/SQL函数是可能的并且更可取。例如，当在同一个实例上存在安装和未安装Citus扩展的数据库时，拥有一个仅在安装了Citus的数据库上运行SQL语句的函数会很方便。此类函数的示例如下所示：

SQL

CREATE OR REPLACE PROCEDURE public.execute_on_databases_with_citus(statement TEXT)
LANGUAGE plpgsql AS
$$
DECLARE
db_name TEXT;
BEGIN
FOREACH db_name IN ARRAY (SELECT ARRAY_AGG(datname)
FROM pg_database
WHERE EXISTS(SELECT *
FROM DBLINK(FORMAT('dbname=%s', datname),
$cmd$SELECT TRUE FROM pg_extension WHERE extname = 'citus'$cmd$) AS t(citus_installed BOOLEAN))
AND datname NOT IN ('template0', 'template1'))
LOOP
RAISE NOTICE 'EXECUTING ON %', db_name;
EXECUTE FORMAT('SELECT * FROM dblink_exec(''dbname=%s'', $_CMD_$%s$_CMD_$);', db_name,
statement);
END LOOP;
END
$$;

有了这样的功能，运行ALTER EXTENSION citus UPDATE就很容易了。例如：

SQL

CALL execute_on_databases_with_citus($cmd$ALTER EXTENSION CITUS UPDATE$cmd$);

所描述的管理方式非常灵活，允许数据库管理员（DBA）实现流畅管理体验所需的每一个逻辑。

4.注意事项

根据设置，可能需要配置.pgpass文件以便能够通过dblink连接到工作节点。从历史上看，它是作为Citus安全配置的一部分完成的，但随着Citus11的发布，它发生了变化。

5.综合

以上将前面描述的所有步骤放入迁移脚本中。迁移脚本的顺序在磁盘上可能如下所示：

Shell
.
└── db
└── migration
├── R__test_table_view.sql
├── V1__init.sql
├── V2.0__create_new_citus_database.sql
├── V2.0__create_new_citus_database.sql.conf
├── V2.1__new_citus_database_configuration.sql
├── V3__another_citus_database.sql
├── V3__another_citus_database.sql.conf
├── V4__no_citus_database.sql
├── V5__common_table.sql
└── V6__update_citus_extension.sql

有了这样的结构，如果使用CLI工具，现在可以调用flywaymigrate，或者如果喜欢Gradle插件，可以调用./gradlewflywayMigrate-i。将其推送到Git并配置最喜欢的持续集成（CI）/持续交付（CD）工具，例如GitLab或GitHubActions，将获得具有所需特征的解决方案。 

四、局限性

以上所描述的方法有一个严重的局限性：由于DBLINK_EXEC的性质，多数据库语句是非事务性的。它要求迁移脚本以某种方式是幂等的：或者通过数据操作语言(DML)语句中的IFNOTEXISTS类子句，或者通过DROP重新创建对象。用Citus对象实现可能有点棘手，但几乎总是存在一种解决方法。例如，可以像这样使表的创建具有幂等性：

SQL

WITH databases AS (SELECT *
FROM (VALUES ('new_citus_database'),
('another_citus_database')) AS t(db_name))
SELECT DBLINK_EXEC(FORMAT('dbname=%I user=postgres', db_name), $remote$
START TRANSACTION;
CREATE TABLE IF NOT EXISTS test_table (user_id TEXT, data jsonb);
DO $$
BEGIN
EXECUTE $cmd$SELECT create_distributed_table('test_table', 'user_id');$cmd$;
EXCEPTION
WHEN SQLSTATE '42P16' THEN
RETURN;
END;$$;
COMMIT;
$remote$)
FROM databases;

五、结语

这一指南展示了使用Citus集群获得最佳管理体验的基本原则和工具。Flyway工具的功能与Citus、dblink和PL/pgSQL提供的功能相结合，使数据库管理员（DBA）可以轻松管理各种规模的集群。

原文链接：https://dzone.com/articles/maintenance-of-a-citus-cluster

多数Citusspancolorstyle数据库$其他数据库多数据库$Citus$集群

有关多数据库Citus集群的维护的更多相关文章

  1. ruby - 使用 ruby​​ 将 HTML 转换为纯文本并维护结构/格式 - 2

    我想将html转换为纯文本。不过，我不想只删除标签，我想智能地保留尽可能多的格式。为插入换行符标签，检测段落并格式化它们等。输入非常简单，通常是格式良好的html(不是整个文档，只是一堆内容，通常没有anchor或图像)。我可以将几个正则表达式放在一起，让我达到80%，但我认为可能有一些现有的解决方案更智能。 最佳答案 首先，不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案，它会随着HTML的变化而崩溃，或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h

  2. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  3. ruby - Ruby 有 `Pair` 数据类型吗？ - 2

    有时我需要处理键/值数据。我不喜欢使用数组，因为它们在大小上没有限制(很容易不小心添加超过2个项目，而且您最终需要稍后验证大小)。此外，0和1的索引变成了魔数(MagicNumber)，并且在传达含义方面做得很差(“当我说0时，我的意思是head...”)。散列也不合适，因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题，但我很想知道:Ruby标准库是否已经带有这样一个类？ 最佳

  4. ruby - 我如何添加二进制数据来遏制 POST - 2

    我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_

  5. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用，HOOPSPlatform组件都可以为您提供弹性的3D集成架构，同时，由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台（桌面/WEB/APP，而且某些客户端是“瘦”客户端）快速、方便地将数据接入到3D应用系统的解决方案，并且当访问数据时，在各个平台上的性能和用户体验保持一致，HOOPSPlatform将帮助您完成。利用HOOPSPlatform，您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品，HOOPSSDK包含的技术有：快速且准确的CAD

  6. FOHEART H1数据手套驱动Optitrack光学动捕双手运动(Unity3D) - 2

    本教程将在Unity3D中混合Optitrack与数据手套的数据流，在人体运动的基础上，添加双手手指部分的运动。双手手背的角度仍由Optitrack提供，数据手套提供双手手指的角度。 01  客户端软件分别安装MotiveBody与MotionVenus并校准人体与数据手套。MotiveBodyMotionVenus数据手套使用、校准流程参照：https://gitee.com/foheart_1/foheart-h1-data-summary.git02  数据转发打开MotiveBody软件的Streaming，开始向Unity3D广播数据；MotionVenus中设置->选项选择Unit

  7. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目，Java开发。基于数据库增量日志解析，提供增量数据订阅&消费。Git地址：https://github.co

  8. ruby-on-rails - 创建 ruby​​ 数据库时惰性符号绑定(bind)失败 - 2

    我正在尝试在Rails上安装ruby​​，到目前为止一切都已安装，但是当我尝试使用rakedb:create创建数据库时，我收到一个奇怪的错误:dyld:lazysymbolbindingfailed:Symbolnotfound:_mysql_get_client_infoReferencedfrom:/Library/Ruby/Gems/1.8/gems/mysql2-0.3.11/lib/mysql2/mysql2.bundleExpectedin:flatnamespacedyld:Symbolnotfound:_mysql_get_client_infoReferencedf

  9. STM32读取串口传感器数据（颗粒物传感器，主动上传） - 2

    文章目录1.开发板选择*用到的资源2.串口通信（个人理解）3.代码分析（注释比较详细）1.主函数2.串口1配置3.串口2配置以及中断函数4.注意问题5.源码链接1.开发板选择我用的是STM32F103RCT6的板子，不过代码大概在F103系列的板子上都可以运行，我试过在野火103的霸道板上也可以，主要看一下串口对应的引脚一不一样就行了，不一样的就更改一下。*用到的资源keil5软件这里用到了两个串口资源，采集数据一个，串口通信一个，板子对应引脚如下：串口1，TX：PA9，RX：PA10串口2，TX：PA2，RX：PA32.串口通信（个人理解）我就从串口采集传感器数据这个过程说一下我自己的理解，

  10. SPI接收数据异常问题总结 - 2

    SPI接收数据左移一位问题目录SPI接收数据左移一位问题一、问题描述二、问题分析三、探究原理四、经验总结最近在工作在学习调试SPI的过程中遇到一个问题——接收数据整体向左移了一位（1bit）。SPI数据收发是数据交换，因此接收数据时从第二个字节开始才是有效数据，也就是数据整体向右移一个字节（1byte）。请教前辈之后也没有得到解决，通过在网上查阅前人经验终于解决问题，所以写一个避坑经验总结。实际背景：MCU与一款芯片使用spi通信，MCU作为主机，芯片作为从机。这款芯片采用的是它规定的六线SPI，多了两根线：RDY和INT，这样从机就可以主动请求主机给主机发送数据了。一、问题描述根据从机芯片手

随机推荐