草庐IT

抛砖系列之git仓库拆分工具git-filter-repo

qq_43479892 2023-05-30 原文

🚀 优质资源分享 🚀

学习路线指引(点击解锁)知识定位人群定位
🧡 Python实战微信订餐小程序 🧡进阶级本课程是python flask+微信小程序的完美结合,从项目搭建到腾讯云部署上线,打造一个全栈订餐系统。
💛Python量化交易实战💛入门级手把手带你打造一个易扩展、更安全、效率更高的量化交易系统

最近负责把团队内的git仓库做了一次分拆,解锁一个好用的工具git-filter-repo,给大伙抛砖一波,希望以后遇到类似场景时可以信手拈来。

背景

笔者团队目前是把业务相关的java项目都放到了一个git仓库中,发展初期项目较少放到一块图的就是一个方便,但是几年下来随着项目、人员、玩法等多了以后逐渐显现出一些问题,主要痛点有以下:1.效率:更新代码缓慢,会下载很多我不关心的内容,既影响开发效率也影响jenkins打包的效率;2.冲突:合并代码冲突率显著增高,而且一旦冲突往往很难解决,兄弟们苦不堪言,代码合并相互推诿;3.权限:需要遵循最小范围、按需授权等原则最大限度保证代码不外泄,现有的“大锅饭”模式显然不满足。

期望

拆分以后每个项目一个git仓库,需要保留历史提交记录,方便以后回溯。

为了说明问题,上图是我以交易业务域为场景假想了一个简化版仓库,trade仓库下涵盖了三个java项目,分别是discount、order、paygate,拆分以后会变成discount、order、paygate三个仓库。

第一次尝试

我初次拿到这个任务的时候想,这个很简单啊,把trade复制三份然后分别改名为trade-order、trade-paygate、trade-discount,并把多余的删除,看起来像这样:

仓库拆分第一步似乎已经完成,接下来看看历史记录有没有丢失:

1.单个文件提交历史是否完整—右键order_readme.txt->git->show history(idea集成的查看文件git历史功能),很完整,没有问题。

2.新仓库提交历史是否完整—右键trade-order->git->show history,初看没什么问题,再看似乎不够完美,trade-order包含了拆分之前所有的提交历史,虽然不影响使用,但提交历史多了同样影响效率,必须再优化一波。

第二次尝试

第一次拆分之后的trade-order之所以包含所有提交历史是因为我选择的拆分策略是将原来的仓库复制出来然后删除多余的项目,对于提交历史并没有特殊处理,git的提交历史在.git目录下,真实的仓库.git目录接近900兆,这次的目标是将多余的提交历史剔除,靠人工剔除不现实,需要寻觅一款趁手的工具来行使清道夫的职责。

网络上对于git仓库拆分大致有三类工具,分别是subtree、filter-branch、filter-repo,filter-repo虽属后起之秀,似乎有取而代之前二者的趋势,同时前二者也有不少的追捧着,一时间不好抉择。

机缘巧合下看到了github官方的一篇文章https://docs.github.com/cn/get-started/using-git/splitting-a-subfolder-out-into-a-new-repository,里面提到的拆分工具也是filter-repo,我也就选择跟风一次,毕竟只是临时用到的一个工具,没必要花太多时间去选型,走不通了立马切换都来得及,毕竟试错的成本很低,这里顺便啰嗦一句,如果是一个技术框架、中间件的选型可不能这么草率,不能简单的说大厂都用了我们就用,还是要结合实际情况去斟酌,比如公司技术栈、团队人员配比、运维熟悉度等多纬度综合考虑,毕竟是要长期运行且替换的代价巨大。

关于git-filter-repo的下载安装请前往推荐阅读2中的地址自行获取,这里就不啰嗦,下面我们直接开始。

1.打开 Git Bash

2.克隆要拆分的仓库

?

| 1 | git clone https:``//xxx/trade |

3.将当前工作目录更改为您克隆的仓库

?

| 1 | cd trade |

4.要从仓库中的其余文件过滤出该子文件夹,请运行 git filter-repo,提供以下信息:

–path FOLDER-NAME:项目中您要从其创建单独仓库的文件夹。

?

| 1 | git filter-repo --path order/ |

5.将仓库改名为trade-order

现在,该仓库应仅包含order目录下的内容。

验证下提交历史:

1.单文件提交历史没有问题,如下图

2.仓库整体提交历史没有问题,只包含order目录下文件的提交历史,没有把其他的带过来,如下图

这次应该是稳了,我跟同事炫耀我的劳动成果,迫切的希望得到他们的赞许,结果换来的却是另一个新问题:“这个结构是不是能优化下,现在仓库是两级trade-order/order,能不能只保留order这一级。”

第三次尝试

虽然上面的“trade-order/order“看起来也能用,但是多一级无用目录的确有点丑陋,而且会徒增新同学的困惑,说干就干,继续优化。

使用–subdirectory-filter指令保留order/下内容并将order提升为根目录

?

| 1 | git filter-repo --subdirectory-filter order/ |

现在目录变成了下面这样

trade-order/

.git/

doc/

order_readme.txt

最后只需要将trade-order改名为order即可大工告成,提交历史也完整的保留了下来。

推荐阅读

1.https://docs.github.com/cn/get-started/using-git/splitting-a-subfolder-out-into-a-new-repository

2.https://github.com/newren/git-filter-repo

3.https://htmlpreview.github.io/?https://github.com/newren/git-filter-repo/blob/docs/html/git-filter-repo.html#EXAMPLES

文中只是提及了git-filter-repo的部分指令,更多有意思的玩法请前往推荐阅读3中的EXAMPLES自行解锁。

最后献图一张,下雨天拍到一只出来放风的小蜗牛

有关抛砖系列之git仓库拆分工具git-filter-repo的更多相关文章

  1. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声? - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点?我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等),但我确实想创建一个输出文件。

  2. ruby-on-rails - 使用一系列等级计算字母等级 - 2

    这里是Ruby新手。完成一些练习后碰壁了。练习:计算一系列成绩的字母等级创建一个方法get_grade来接受测试分数数组。数组中的每个分数应介于0和100之间,其中100是最大分数。计算平均分并将字母等级作为字符串返回,即“A”、“B”、“C”、“D”、“E”或“F”。我一直返回错误:avg.rb:1:syntaxerror,unexpectedtLBRACK,expecting')'defget_grade([100,90,80])^avg.rb:1:syntaxerror,unexpected')',expecting$end这是我目前所拥有的。我想坚持使用下面的方法或.join,

  3. ruby - 如何在 Ruby 中拆分参数字符串 Bash 样式? - 2

    我正在为一个项目制作一个简单的shell,我希望像在Bash中一样解析参数字符串。foobar"helloworld"fooz应该变成:["foo","bar","helloworld","fooz"]等等。到目前为止,我一直在使用CSV::parse_line,将列分隔符设置为""和.compact输出。问题是我现在必须选择是要支持单引号还是双引号。CSV不支持超过一个分隔符。Python有一个名为shlex的模块:>>>shlex.split("Test'helloworld'foo")['Test','helloworld','foo']>>>shlex.split('Test"

  4. ruby-on-rails - before_filter 运行多个方法 - 2

    是否有可能:before_filter:authenticate_user!||:authenticate_admin! 最佳答案 before_filter:do_authenticationdefdo_authenticationauthenticate_user!||authenticate_admin!end 关于ruby-on-rails-before_filter运行多个方法,我们在StackOverflow上找到一个类似的问题: https://

  5. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用,HOOPSPlatform组件都可以为您提供弹性的3D集成架构,同时,由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台(桌面/WEB/APP,而且某些客户端是“瘦”客户端)快速、方便地将数据接入到3D应用系统的解决方案,并且当访问数据时,在各个平台上的性能和用户体验保持一致,HOOPSPlatform将帮助您完成。利用HOOPSPlatform,您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品,HOOPSSDK包含的技术有:快速且准确的CAD

  6. 【鸿蒙应用开发系列】- 获取系统设备信息以及版本API兼容调用方式 - 2

    在应用开发中,有时候我们需要获取系统的设备信息,用于数据上报和行为分析。那在鸿蒙系统中,我们应该怎么去获取设备的系统信息呢,比如说获取手机的系统版本号、手机的制造商、手机型号等数据。1、获取方式这里分为两种情况,一种是设备信息的获取,一种是系统信息的获取。1.1、获取设备信息获取设备信息,鸿蒙的SDK包为我们提供了DeviceInfo类,通过该类的一些静态方法,可以获取设备信息,DeviceInfo类的包路径为:ohos.system.DeviceInfo.具体的方法如下:ModifierandTypeMethodDescriptionstatic StringgetAbiList​()Obt

  7. 基于C#实现简易绘图工具【100010177】 - 2

    C#实现简易绘图工具一.引言实验目的:通过制作窗体应用程序(C#画图软件),熟悉基本的窗体设计过程以及控件设计,事件处理等,熟悉使用C#的winform窗体进行绘图的基本步骤,对于面向对象编程有更加深刻的体会.Tutorial任务设计一个具有基本功能的画图软件**·包括简单的新建文件,保存,重新绘图等功能**·实现一些基本图形的绘制,包括铅笔和基本形状等,学习橡皮工具的创建**·设计一个合理舒适的UI界面**注明:你可能需要先了解一些关于winform窗体应用程序绘图的基本知识,以及关于GDI+类和结构的知识二.实验环境Windows系统下的visualstudio2017C#窗体应用程序三.

  8. postman接口测试工具-基础使用教程 - 2

    1.postman介绍Postman一款非常流行的API调试工具。其实,开发人员用的更多。因为测试人员做接口测试会有更多选择,例如Jmeter、soapUI等。不过,对于开发过程中去调试接口,Postman确实足够的简单方便,而且功能强大。2.下载安装官网地址:https://www.postman.com/下载完成后双击安装吧,安装过程极其简单,无需任何操作3.使用教程这里以百度为例,工具使用简单,填写URL地址即可发送请求,在下方查看响应结果和响应状态码常用方法都有支持请求方法:getpostputdeleteGet、Post、Put与Delete的作用get:请求方法一般是用于数据查询,

  9. git使用常见问题(提交代码,合并冲突) - 2

    文章目录git常用命令(简介,详细参数往下看)Git提交代码步骤gitpullgitstatusgitaddgitcommitgitpushgit代码冲突合并问题方法一:放弃本地代码方法二:合并代码常用命令以及详细参数gitadd将文件添加到仓库:gitdiff比较文件异同gitlog查看历史记录gitreset代码回滚版本库相关操作远程仓库相关操作分支相关操作创建分支查看分支:gitbranch合并分支:gitmerge删除分支:gitbranch-ddev查看分支合并图:gitlog–graph–pretty=oneline–abbrev-commit撤消某次提交git用户名密码相关配置g

  10. 阿里云RDS——产品系列概述 - 2

    基础版云数据库RDS的产品系列包括基础版、高可用版、集群版、三节点企业版,本文介绍基础版实例的相关信息。RDS基础版实例也称为单机版实例,只有单个数据库节点,计算与存储分离,性价比超高。说明RDS基础版实例只有一个数据库节点,没有备节点作为热备份,因此当该节点意外宕机或者执行重启实例、变更配置、版本升级等任务时,会出现较长时间的不可用。如果业务对数据库的可用性要求较高,不建议使用基础版实例,可选择其他系列(如高可用版),部分基础版实例也支持升级为高可用版。基础版与高可用版的对比拓扑图如下所示。优势 性能由于不提供备节点,主节点不会因为实时的数据库复制而产生额外的性能开销,因此基础版的性能相对于

随机推荐