草庐IT

git - 为什么大文件在用 filter-branch 清理后仍然存在于我的 packfile 中？

coder 2023-06-24 原文

我已经使用 git filter-branch 重写了我的存储库的历史以删除一些大型 FLV 文件。我主要关注关于 removing sensitive data 的 Github 文章文章以及在 Internet 其他地方找到的类似说明:

删除大型 FLV:

git filter-branch --index-filter 'git rm --cached --ignore-unmatch public/video/*.flv' --prune-empty -- --all

删除原始引用:

rm -rf .git/refs/original/

清除刷新日志:

git reflog expire --expire=now --all

修剪无法访问的对象:

git gc --prune=now

积极修剪无法访问的对象:

git gc --aggressive --prune=now

重新包装东西:

git repack -A -d

我的 gitdir 仍然是 205 MB，几乎完全包含在一个包文件中:

$ du -h .git/objects/pack/*
284K    .git/objects/pack/pack-f72ed7cee1206aae9a7a3eaf75741a9137e5a2fe.idx
204M    .git/objects/pack/pack-f72ed7cee1206aae9a7a3eaf75741a9137e5a2fe.pack

使用 this script ，我可以看到我删除的 FLV 仍然包含在包中:

All sizes are in kB's. The pack column is the size of the object, compressed, inside the pack file.
size   pack   SHA                                       location
17503  17416  1be4132fa8d91e6ce5c45caaa2757b7ea87d87b0  public/video/XXX_FINAL.flv
17348  17261  b7aa83e187112a9cfaccae9206fc356798213c06  public/video/YYY_FINAL.flv
....

通过 git clone --bare my-repo 克隆存储库会生成 my-repo.git，其大小也是 205MB。

我能做些什么来从包中删除这些(大概)未引用的对象并将我的存储库缩小到它们从未被提交时的大小？如果它们仍然以某种方式被引用，有没有办法告诉它们在哪里？

更新

在尝试重新运行 git filter-branch 时，我收到了这条通知:

Cannot create a new backup.
A previous backup already exists in refs/original/
Force overwriting the backup with -f

我确认.git/refs/original 中没有没有 refs，事实上，该目录根本不存在。是否有其他我不知道的 git 存储引用的方式？

最佳答案

克隆存储库的新副本后，我能够像上面那样完全运行命令，并获得预期的结果:我的 .git 目录从 205 MB 减少到 20 MB，并且大型 FLV 文件已从包文件中彻底删除。

第一次尝试也是在一个我没有做任何修改的新克隆上进行的，所以我没有一个令人满意的解释为什么 FLV 文件继续留在包文件中。

我最初提交了以下答案，认为我在删除 .git/refs/original 之前运行 git repack -a 导致了问题，导致原始refs 被打包，这样当我确实删除.git/refs/original 时没有任何效果；我原来的 refs 仍然会引用大的 FLV 文件。然而，这似乎站不住脚。在 git filter-branch 之后立即添加 git repack -a 在新克隆的存储库副本上运行上述命令似乎不会影响结果 - 的FLV 文件仍从包文件中清除。我没有理由相信这与原始问题有关。

Is there some other way that git stores refs, that I don't know about?

有。事实证明，我对上面列出的命令顺序并不完全真实。我在运行 rm -rf .git/refs/original 之前运行了 git repack -a，并且 Git 已经打包了引用(待确定在哪里；现在进行试验)。然后，当我运行 rm -rf .git/refs/original 时，没有任何内容被删除。 git gc 无法收缩我的包文件，因为我做了 由于打包的 refs/original refs，我仍然对旧文件有挥之不去的引用。

关于git - 为什么大文件在用 filter-branch 清理后仍然存在于我的 packfile 中？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/10656794/

大文filter-branchcodegitstronggit-filter-branch

有关git - 为什么大文件在用 filter-branch 清理后仍然存在于我的 packfile 中？的更多相关文章

  1. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  2. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  3. ruby - 其他文件中的 Rake 任务 - 2

    我试图在一个项目中使用rake，如果我把所有东西都放到Rakefile中，它会很大并且很难读取/找到东西，所以我试着将每个命名空间放在lib/rake中它自己的文件中，我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题，但没有任务。我现在只有一个.rake文件作为测试，名为“servers.rake”，它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时

  4. ruby-on-rails - 在 Rails 中将文件大小字符串转换为等效千字节 - 2

    我的目标是转换表单输入，例如“100兆字节”或“1GB”，并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前，我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效，但前提是输入是倍数(“gigabytes”，而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以，功能正常，

  5. ruby-on-rails - Rails 3 中的多个路由文件 - 2

    Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情？ 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中，使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件，我们在StackOverflow上找到一个类似的问题

  6. ruby-on-rails - Rails - 子类化模型的设计模式是什么？ - 2

    我有一个模型:classItem项目有一个属性“商店”基于存储的值，我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式？如果方法中没有大的if-else语句，这是如何干净利落地完成的？ 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.co

  7. ruby - 将差异补丁应用于字符串/文件 - 2

    对于具有离线功能的智能手机应用程序，我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl

  8. ruby - 如何将脚本文件的末尾读取为数据文件(Perl 或任何其他语言) - 2

    我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚

  9. ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby​​ 中生成它们？ - 2

    我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%

  10. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

随机推荐