草庐IT

使用 Liquibase 管理数据库版本 - SpringBoot 2.7 .2 实战基础

程序员优雅哥 (youyacoder) 2023-04-19 原文

优雅哥 SpringBoot 2.7 .2 实战基础 - 05 -使用 Liquibase 管理数据库版本

在企业开发中,数据库版本管理好像是一个伪命题,大多项目都是通过 Power Designer 之类的工具建模、生成 SQL 语句,然后去数据库中执行。在开发过程中如果遇到修改表结构,再补充修改表结构的语句,大家依次去执行,在本地及各个环境中同步表结构。但这种模式,在我参与过的项目中或多或少都出现过问题:忘记同步表结构,导致在服务启动或运行时出错。

1 Liquibase 介绍

SpringBoot 官方文档中推荐了两款工具来管理数据库版本:FlywayLiquibase。前者我没有在项目中使用过,所以本文就只讨论 Liquibase。

使用 Liquibase 需要定义一堆 XML 文件,这些 XML 称为 changelog 文件。每个 changelog 文件中又包含多个变化集合 changeSet,每个 changeSet 记录了作者、改变的内容。changeSet 中要修改的内容,通过 createTableaddColumn 等标签进行操作。通过这种 XML 文件的方式,就可以将代码版本与数据库版本关联在一起。项目启动,会自动执行 changelog XML 文件。Liquibase 具有执行锁,已经执行过的内容不会重复执行。在执行 changeSet 时,由于改动的内容可以通过 Liquibase 提供的标签编写,所以无关具体的数据库产品(MySQL、Oracle 等),Liquibase 底层会根据实际使用的数据库类型转化为对应的 SQL。

通过上面的描述,可以看出 Liquibase 带来的几个好处:

  1. 支持多类型的数据库产品,无需维护 SQL 脚本;
  2. 项目启动可以自动升级数据库;
  3. 代码版本与数据库版本关联在一起。

2 在老项目中使用 Liquibase

在咱们的 demo hero-springboot-demo 中,之前已经手动通过 SQL 语句创建了数据库表 computer,现在想通过 Liquibase 来管理数据库版本和维护表结构,该怎么办呢?本节就通过这个案例来说明已存在的老项目中如何引用 Liquibase。

2.1 配置 Maven 插件

Liquibase 提供了 Maven 插件,使用该插件可以根据数据库逆向生成 changlog 文件。在 pom.xml 的 plugins 下添加 Liquibase 插件:

<plugin>
    <groupId>org.liquibase</groupId>
    <artifactId>liquibase-maven-plugin</artifactId>
    <version>4.9.1</version>
    <configuration>
        <propertyFileWillOverride>true</propertyFileWillOverride>
        <outputChangeLogFile>temp/temp-changelog.xml</outputChangeLogFile>
        <driver>com.mysql.cj.jdbc.Driver</driver>
        <url>jdbc:mysql://127.0.0.1:3306/hero_springboot_demo?useUnicode=true&amp;characterEncoding=utf8&amp;useSSL=true</url>
        <username>root</username>
        <password>Mysql.123</password>
        <outputFileEncoding>UTF-8</outputFileEncoding>
        <verbose>true</verbose>
        <diffTypes>tables, views, columns, indexs,foreignkeys, primarykeys, uniqueconstraints, data</diffTypes>
    </configuration>
</plugin>

上面配置 Liquibase 的 Maven 插件:数据库连接信息和Liquibase生成规则配置。生成的文件路径为 temp 目录下的 temp-changelog.xml,Liquibase 不会自动生成文件夹,需要手动在项目根目录下创建 temp 目录。

2.2 逆向生成 changelog

在控制台执行 mvn liquibase:generateChangeLog 或者在界面上执行 generateChangeLog:

执行后查看 temp/temp-changelog.xml 文件:

生成的这个文件就是 changelog 文件,该文件中包括两个 changeSet:第一个是创建表结构;第二个初始化数据。

在第一个 changeSet 的 createTable 中,对 id 字段配置了自增属性 autoIncrement:

<column autoIncrement="true" name="id" type="BIGINT">
    <constraints nullable="false" primaryKey="true"/>
</column>

不知道为啥,我这不生效。要使该字段自增,要用 addAutoIncrement 标签。第一个 changeSet 需要添加上该标签,添加后如下:

<changeSet id="T100-20220801-yyg-001" author="yyg">
    <createTable remarks="电脑" tableName="computer">
        <column autoIncrement="true" name="id" type="BIGINT">
            <constraints nullable="false" primaryKey="true"/>
        </column>
        <column name="size" remarks="尺寸" type="DECIMAL(4, 1)"/>
        <column name="operation" remarks="操作系统" type="VARCHAR(32)"/>
        <column name="year" remarks="年份" type="VARCHAR(4)"/>
    </createTable>
    <addAutoIncrement tableName="computer" columnName="id" columnDataType="BIGINT"/>
</changeSet>

获取到历史表结构及数据的 changelog 文件后,接下来的步骤与 SpringBoot 整合 Liquibase 一致。

3 在 SpringBoot 中使用 Liquibase

3.1 添加依赖

pom.xml 文件中添加 liquibase 依赖 liquibase-core,该依赖版本号在 spring-boot-dependencies中已定义,直接添加依赖即可。

<dependency>
    <groupId>org.liquibase</groupId>
    <artifactId>liquibase-core</artifactId>
</dependency>

3.2 添加 changelog

src/main/resources 创建目录 dbdb 目录用来存放 Liquibase 相关的 changelog 文件。

db 目录下还可以按模块创建其他目录,由于我们这里只有一个 computer 类,属于 demo 演示,故就在 db 目录下创建子目录 demodb/demo/ 目录就存放 demo 演示的所有 changelog 配置文件。将前面 Liquibase 逆向生成的 temp-changelog.xml 文件移动到 db/demo/ 目录下,并重命名为 demo-changelog-v1.xml

db 目录下创建 changelog-master.xml 文件,该文件为主配置文件,作用就是引入所有模块的 changelog 文件:

<?xml version="1.0" encoding="UTF-8"?>
<databaseChangeLog xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
                   xmlns="http://www.liquibase.org/xml/ns/dbchangelog"
                   xsi:schemaLocation="http://www.liquibase.org/xml/ns/dbchangelog
                        https://www.liquibase.org/xml/ns/dbchangelog/dbchangelog-3.1.xsd">

    <includeAll path="demo" relativeToChangelogFile="true"/>
</databaseChangeLog>

除了根节点,里面就一句话,表示将当前路径下 demo 目录中的 changelog 文件都引入。假设 db 目录下还有其他模块(目录),继续通过 <includeAll> 元素引入即可。

src/main/resources 中文件目录结构如下:

src/main/resources/
|- db/
	|- demo/
		|- demo-changelog-v1.xml
	|- changelog-master.xml

3.3 changeSet

回过头来看 demo-changelog-v1.xml 文件,里面的内容是之前生成的,前面讲过包括两个 changeSetchangeSet 用来定义对数据库的表更操作,包括:

表结构的操作:创建表、删除表、修改表结构(添加列、删除列等)

表数据的操作:表中数据的增删改查

视图的操作、索引的操作等

几乎只要是对数据库的操作,都可以写在 changeSet 中。当服务启动的时候,会自动执行主配置文件中包含的所有 changeSet。需要特别注意:changeSet 一经执行,就不能修改!! 虽然 changeSet 元素有一个属性 runOnChange ,非常不建议乱用。如果要修改 changeSet里面的内容怎么办呢?重新写一个 changeSet,在里面编写要修改的内容。例如在第一个 changeSet 中使用 <createTable> 创建表,表中有一个列名为 field,在该 changeSet 执行后(成功启动过服务),想将该列列名 field 修改为 f,这时候不能直接修改第一个 changeSet,而是要写第二个 changeSet,通过 <renameColumn> 来修改列名,然后重启服务。

changeSet元素有两个必填的属性 authoridauthor 表示作者,当前的是谁定义的这个changeSet,就填谁的名字,这样便于追溯。 id 要求唯一,我在项目开发中,id一般按照这个规则:[任务ID]-[日期]-[作者]-[序号],如 T100-20220801-yyg-001

通常小版本更新(如字段级别的变更),就在同一个文件中追加新的 changeSet 即可。一个 changelog 文件可以包括多个 changeSet,每个 changeSet 中可以包括多个语句,如多个 createTable、insert 等。

大版本更新,就重新编写 changeLog 文件,如 demo-changelog-v2.xml

按照上面所讲,我们修改一下 demo-changelog-v1.xml 中的两个 changeSet 的 id 和 author:

<?xml version="1.0" encoding="UTF-8"?>
<databaseChangeLog xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
                   xmlns="http://www.liquibase.org/xml/ns/dbchangelog"
                   xsi:schemaLocation="http://www.liquibase.org/xml/ns/dbchangelog
                    https://www.liquibase.org/xml/ns/dbchangelog/dbchangelog-3.1.xsd">
    <!--
    1. id使用[任务ID]-[日期]-[作者]-[序号],如 T100-20220801-yyg-001
    2. 必须填写author
    3. 所有 表、列 必须加remarks进行注释
    4. 已经执行过的ChangeSet严禁修改
    -->
    <changeSet id="T100-20220801-yyg-001" author="yyg">
        <createTable remarks="电脑" tableName="computer">
				...
				</createTable>
    </changeSet>
    <changeSet id="T100-20220801-yyg-002" author="yyg">
        ...
    </changeSet>
</databaseChangeLog>

3.4 添加配置

在 application.yml 中添加 liquibase 的配置:

spring:
  liquibase:
    enabled: true
    drop-first: false
    change-log: classpath:/db/changelog-master.xml

上述配置开启 liquibase,并指定主文件的路径。

3.5 启动服务测试

现在启动服务,会发现服务启动失败,而且控制台会出现如下提示:

Reason: liquibase.exception.DatabaseException: Table 'computer' already exists

此时需要删除数据库中的表,然后重新启动服务。

服务启动成功后,会自动创建两张 liquibase 相关的表:DATABASECHANGELOGDATABASECHANGELOGLOCK表。

现在尝试在 demo-changelog-v1.xml中编写第三个 changeSet:

<changeSet id="T100-20220801-yyg-003" author="yyg">
    <addColumn tableName="computer">
        <column name="color" type="VARCHAR(8)" defaultValue="red" remarks="颜色"/>
    </addColumn>
</changeSet>

这个 changeSet 为 computer 表新增列 color,默认值为 red。重启服务,服务启动后查看 computer 表:

  1. 已新增列 color
  2. color 默认值已设置为 red

这样便成功在 SpringBoot 中使用 liquibase。

4 常见问题

4.1 Waiting for changelog lock

如果启动服务时,控制台提示如下信息:

Liquibase - Waiting for changelog lock
Waiting for changelog lock....

通常是由于 Liquibase 在重构数据库时使数据库死锁。解决方法如下:

1 查看锁住数据库的id:

SELECT * FROM DATABASECHANGELOGLOCK where LOCKED = true;

2 解锁:

UPDATE DATABASECHANGELOGLOCK
SET locked=0, lockgranted=null, lockedby=null
WHERE id={id}

{id} 为第一步中查询出来对应记录的id。

4.2 主键自增无效

前面已经谈到,需要配置 addAutoIncrement 标签

<addAutoIncrement tableName="xxx" columnName="xx" columnDataType="BIGINT"/>

4.3 默认值无效

与主键自增无效类似,为 column 设置默认值 defaultValuedefaultValueNumeric也无效。

设置默认值需要使用标签 addDefaultValue

<addDefaultValue tableName="xxx" columnName="xx" defaultValueNumeric="0"/>

Liquibase 还有很多强大的功能,就留给大家在使用过程中一步一步探索吧。

今日程序员优雅哥(/ youyacoder;heroyyg@126.com)学习到此结束~~~

有关使用 Liquibase 管理数据库版本 - SpringBoot 2.7 .2 实战基础的更多相关文章

  1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

    我正在学习如何使用Nokogiri,根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

  2. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序,它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重,我想提高压缩级别,因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗?是否有另一个允许指定压缩级别的Ruby库? 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  3. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法? - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  4. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇,就使用ruby​​onrails自动化单元测试而言,你们正在做什么?您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您?git中的预提交Hook?只是手动调用?我完全理解测试,但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的,并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您? 最佳答案 不确定您到底想听什么,但是有几个级别的自动代码库控制:在处理某项功能时,您可以使用类似autotest的内容获得关于哪些有效,哪些无效的即时反馈。要确保您的提

  5. ruby - 在 Ruby 中使用匿名模块 - 2

    假设我做了一个模块如下:m=Module.newdoclassCendend三个问题:除了对m的引用之外,还有什么方法可以访问C和m中的其他内容?我可以在创建匿名模块后为其命名吗(就像我输入“module...”一样)?如何在使用完匿名模块后将其删除,使其定义的常量不再存在? 最佳答案 三个答案:是的,使用ObjectSpace.此代码使c引用你的类(class)C不引用m:c=nilObjectSpace.each_object{|obj|c=objif(Class===objandobj.name=~/::C$/)}当然这取决于

  6. ruby - 使用 ruby​​ 和 savon 的 SOAP 服务 - 2

    我正在尝试使用ruby​​和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封,在我看来soap请求没有正确的命名空间。任何人都可以建议我

  7. ruby - i18n Assets 管理/翻译 UI - 2

    我正在使用i18n从头开始​​构建一个多语言网络应用程序,虽然我自己可以处理一大堆yml文件,但我说的语言(非常)有限,最终我想寻求外部帮助帮助。我想知道这里是否有人在使用UI插件/gem(与django上的django-rosetta不同)来处理多个翻译器,其中一些翻译器不愿意或无法处理存储库中的100多个文件,处理语言数据。谢谢&问候,安德拉斯(如果您已经在ruby​​onrails-talk上遇到了这个问题,我们深表歉意) 最佳答案 有一个rails3branchofthetolkgem在github上。您可以通过在Gemfi

  8. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声? - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点?我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等),但我确实想创建一个输出文件。

  9. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗?当我运行compasswatch时,它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行?文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们?我自己编译的.sass文件编译成compiled/t

  10. ruby - 使用 ruby​​ 将 HTML 转换为纯文本并维护结构/格式 - 2

    我想将html转换为纯文本。不过,我不想只删除标签,我想智能地保留尽可能多的格式。为插入换行符标签,检测段落并格式化它们等。输入非常简单,通常是格式良好的html(不是整个文档,只是一堆内容,通常没有anchor或图像)。我可以将几个正则表达式放在一起,让我达到80%,但我认为可能有一些现有的解决方案更智能。 最佳答案 首先,不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案,它会随着HTML的变化而崩溃,或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h

随机推荐