我是一名摄影师，做过很多备份。多年来，我发现自己有很多硬盘。现在我买了一个 NAS 并使用 rsync 将我所有的照片复制到一个 3TB raid 1 上。根据我的脚本，这些文件中大约有 1TB 是重复的。这是因为在删除笔记本电脑上的文件之前进行了多次备份并且非常困惑。我确实在旧硬盘驱动器上备份了所有这些文件，但如果我的脚本搞砸了，那将是一件痛苦的事情。您能否看看我的重复查找器脚本并告诉我您是否认为我可以运行它？我在测试文件夹上试过它似乎没问题，但我不想在 NAS 上搞砸。

脚本在三个文件中有三个步骤。在第一部分中，我找到了所有图像和元数据文件，并将它们放入一个以它们的大小为键的货架数据库 (datenbank)。

import os
import shelve

datenbank = shelve.open(os.path.join(os.path.dirname(__file__),"shelve_step1"), flag='c', protocol=None, writeback=False)

#path_to_search = os.path.join(os.path.dirname(__file__),"test")
path_to_search = "/volume1/backup_2tb_wd/"
file_exts = ["xmp", "jpg", "JPG", "XMP", "cr2", "CR2", "PNG", "png", "tiff", "TIFF"]
walker = os.walk(path_to_search)

counter = 0

for dirpath, dirnames, filenames in walker:
  if filenames:
    for filename in filenames:
      counter += 1
      print str(counter)
      for file_ext in file_exts:
        if file_ext in filename:
          filepath = os.path.join(dirpath, filename)
          filesize = str(os.path.getsize(filepath))
          if not filesize in datenbank:
            datenbank[filesize] = []
          tmp = datenbank[filesize]
          if filepath not in tmp:
            tmp.append(filepath)
            datenbank[filesize] = tmp

datenbank.sync()
print "done"
datenbank.close()

第二部分。现在我删除所有文件大小，它们的列表中只有一个文件，并创建另一个搁置数据库，其中 md5 哈希作为键，文件列表作为值。

import os
import shelve
import hashlib

datenbank = shelve.open(os.path.join(os.path.dirname(__file__),"shelve_step1"), flag='c', protocol=None, writeback=False)

datenbank_step2 = shelve.open(os.path.join(os.path.dirname(__file__),"shelve_step2"), flag='c', protocol=None, writeback=False)

counter = 0
space = 0

def md5Checksum(filePath):
    with open(filePath, 'rb') as fh:
        m = hashlib.md5()
        while True:
            data = fh.read(8192)
            if not data:
                break
            m.update(data)
        return m.hexdigest()


for filesize in datenbank:
  filepaths = datenbank[filesize]
  filepath_count = len(filepaths)
  if filepath_count > 1:
    counter += filepath_count -1
    space += (filepath_count -1) * int(filesize)
    for filepath in filepaths:
      print counter
      checksum = md5Checksum(filepath)
      if checksum not in datenbank_step2:
        datenbank_step2[checksum] = []
      temp = datenbank_step2[checksum]
      if filepath not in temp:
        temp.append(filepath)
        datenbank_step2[checksum] = temp

print counter
print str(space)

datenbank_step2.sync()
datenbank_step2.close()
print "done"

最后是最危险的部分。对于 evrey md5 key ，我检索文件列表并执行额外的 sha1。如果匹配，我会删除该列表中除第一个文件之外的所有文件，并创建一个硬链接(hard link)来替换已删除的文件。

import os
import shelve
import hashlib

datenbank = shelve.open(os.path.join(os.path.dirname(__file__),"shelve_step2"), flag='c', protocol=None, writeback=False)

def sha1Checksum(filePath):
    with open(filePath, 'rb') as fh:
        m = hashlib.sha1()
        while True:
            data = fh.read(8192)
            if not data:
                break
            m.update(data)
        return m.hexdigest()

for hashvalue in datenbank:
  switch = True
  for path in datenbank[hashvalue]:
    if switch:
      original = path
      original_checksum = sha1Checksum(path)
      switch = False
    else:
      if sha1Checksum(path) == original_checksum:
        os.unlink(path)
        os.link(original, path)
        print "delete: ", path
print "done"

你怎么看？ 非常感谢。

*如果这在某种程度上很重要:它是 synology 713+ 并且具有 ext3 或 ext4 文件系统。

最佳答案

这看起来不错，经过一些清理(使其与 python 3.4 一起工作)后，我在我的 NAS 上运行了它。虽然我有硬链接(hard link)用于备份之间未修改的文件，但已移动的文件正在复制。这为我恢复了丢失的磁盘空间。

一个小问题是已经是硬链接(hard link)的文件被删除并重新链接。无论如何，这不会影响最终结果。

我确实稍微修改了第三个文件(“3.py”):

if sha1Checksum(path) == original_checksum:
     tmp_filename = path + ".deleteme"
     os.rename(path, tmp_filename)
     os.link(original, path)
     os.unlink(tmp_filename)
     print("Deleted {} ".format(path))

这确保在发生电源故障或其他类似错误的情况下，不会丢失任何文件，但会留下尾随的“deleteme”。恢复脚本应该非常简单。

关于python - 如何使用python用硬链接(hard link)替换重复文件？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/17245774/