我目前正在为监控系统开发我们当前的媒体存储(存储视频/音频/元数据)的升级，并且我正在重新设计记录结构以获得更强大的解决方案。
我需要为存储在数据文件中的数据创建一些索引数据，所以我创建了一个索引文件结构，但我担心硬盘故障(想象一下如果在写入索引期间断电文件，它将损坏，因为数据很可能已写入一半)。 我已经设计了索引的存储方式，但我担心的是电源故障或磁盘故障时的数据损坏
那么，有谁知道在写入时避免数据损坏的技术吗？
我已经进行了一些搜索，但没有找到好的解决方案，一个解决方案是创建一个写入文件的所有内容的日志，但这样一来我每秒就会有更多的 I/O(我关心的是数量每秒 I/O 的数量，系统也应尽可能执行最少的操作)。
我想到的是复制索引文件中的敏感数据以及时间戳和校验和字段。例如:
Field1 Field2 Field3 时间戳校验和
Field1 Field2 Field3 时间戳校验和
因此，我将数据写入了两次，如果当我读取文件时，第一组字段已损坏(校验和不匹配)，我的第二组字段应该没问题。我相信如果在中间停止写入时会发生损坏，例如，当软件写入第一组字段和电源故障时，第二组仍然完好无损......如果电源故障而第二正在写入一组，第一个已经完好无损。
你们觉得这个解决方案怎么样？它能避免数据损坏吗？
顺便说一句，由于部署具有事务性 NTFS 的系统的限制，我不能将任何类型的数据库用于此类存储或事务性 NTFS
欢迎任何想法，谢谢!
最佳答案
忽略你问题中关于不能使用数据库的部分:)
您可能会对 SQL Server 2012 的 FileTable 感兴趣。您可以将文件存储在数据库外部的文件夹中，但仍然可以像访问数据库内部一样访问这些文件。您可以使用数据库将新文件插入该目录或简单地将文件复制到文件夹中。您的数据库不会因视频文件而变得非常庞大。如果数据库服务器软件出现故障，它们也将无法访问。您的帧索引可以是单独的 .jpg 文件(或其他文件)，并且这些文件也可以通过外键由 FileTable 和索引引用到主视频文件。帧索引表就非常简单了。
因此，您消除了写入文件和维护日志以查看是否存在故障的 DB 开销。如果操作系统由于电源故障而无法写入文件，那么数据库将没有机会。您可以进行目录比较，并使用强大的实用程序来移动文件，并且在写入的任何部分失败时不删除源文件。
关于c++ - 避免数据损坏的文件结构，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/10195476/
我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看rubyzip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d
我试图在一个项目中使用rake，如果我把所有东西都放到Rakefile中，它会很大并且很难读取/找到东西，所以我试着将每个命名空间放在lib/rake中它自己的文件中，我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题，但没有任务。我现在只有一个.rake文件作为测试，名为“servers.rake”，它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时
我的目标是转换表单输入，例如“100兆字节”或“1GB”，并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前，我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效，但前提是输入是倍数(“gigabytes”，而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以，功能正常，
Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情？ 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中，使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件，我们在StackOverflow上找到一个类似的问题
对于具有离线功能的智能手机应用程序，我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl
我想将html转换为纯文本。不过，我不想只删除标签，我想智能地保留尽可能多的格式。为插入换行符标签，检测段落并格式化它们等。输入非常简单，通常是格式良好的html(不是整个文档，只是一堆内容，通常没有anchor或图像)。我可以将几个正则表达式放在一起，让我达到80%，但我认为可能有一些现有的解决方案更智能。 最佳答案 首先，不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案，它会随着HTML的变化而崩溃，或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h
我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚
我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta
我的瘦服务器配置了nginx，我的ROR应用程序正在它们上运行。在我发布代码更新时运行thinrestart会给我的应用程序带来一些停机时间。我试图弄清楚如何优雅地重启正在运行的Thin实例，但找不到好的解决方案。有没有人能做到这一点？ 最佳答案 #Restartjustthethinserverdescribedbythatconfigsudothin-C/etc/thin/mysite.ymlrestartNginx将继续运行并代理请求。如果您将Nginx设置为使用多个上游服务器，例如server{listen80;server
