我正在构建一个工具，用于将非常大的流数据集(单个流中可能达到 TB 数量级；通常为数十 GB)从一台服务器传输到另一台服务器。该工具的客户端部分将从源磁盘读取 block ，并通过网络发送它们。服务器端将从网络上读取这些 block 并将它们写入服务器磁盘上的文件。
现在我正在尝试决定使用哪种传输方式。选项包括原始 TCP 和 HTTP。
我真的非常希望能够使用 HTTP。 HttpListener(或者 WCF，如果我想走那条路)使插入 HTTP 服务器 API (http.sys) 变得很容易，而且我可以免费获得身份验证和 SSL 之类的东西。现在的问题是性能。
我编写了一个简单的测试工具，它使用 BeginWrite/EndWrite 异步 I/O 惯用语发送 128K block NULL 字节，并在服务器端使用异步 BeginRead/EndRead。我已经修改了这个测试工具，所以我可以通过 HttpWebRequest/HttpListener 使用 HTTP PUT 操作，或者使用 TcpClient 的普通旧套接字写入来执行此操作/TcpListener。为了排除网卡或网络路径的问题，客户端和服务器都在一台机器上并通过本地主机进行通信。
在我的 12 核 Windows 2008 R2 测试服务器上，此测试工具的 TCP 版本可以以 450MB/s 的速度推送字节，CPU 使用率极低。在同一个盒子上，测试工具的 HTTP 版本运行在 130MB/s 到 200MB/s 之间，具体取决于我如何调整它。
在这两种情况下，CPU 使用率都很低，而且绝大多数 CPU 使用率都是内核时间，所以我很确定我对 C# 和 .NET 运行时的使用不是瓶颈。盒子有两个6核Xeon X5650处理器，24GB单列DDR3内存，是我自己做性能测试专用的。
我已经了解 HTTP 客户端调整，例如 ServicePointManager.MaxServicePointIdleTime、ServicePointManager.DefaultConnectionLimit、ServicePointManager.Expect100Continue 和 HttpWebRequest。允许写入流缓冲。
有没有人知道如何让 HTTP.sys 的性能超过 200MB/s？有没有人看到它在任何环境中都表现如此出色？
更新:
这里有一些关于 TcpListener 与 HttpListener 性能的更多细节:
首先，我编写了一个 TcpClient/TcpListener 测试。在我的测试盒上能够推送 450MB/s。
然后使用反射器，我弄清楚了如何获取 HttpWebRequest 下的原始 Socket 对象，并修改了我的 HTTP 客户端测试以使用它。仍然没有喜悦；勉强 200MB/s。
我目前的理论是，http.sys 针对典型的 IIS 用例进行了优化，即大量并发的小请求，以及大量并发且可能很大的响应。我假设，为了实现这种优化，MSFT 必须以牺牲我想要实现的目标为代价，即在单个非常大的请求上实现非常高的吞吐量，而响应非常小。
值得一提的是，我还尝试了最多 32 个并发 HTTP PUT 操作，看看它是否可以横向扩展，但仍然没有任何乐趣；大约 200MB/s。
有趣的是，在我的开发工作站(运行 64 位 Windows 7 的四核 Xeon Precision T7400)上，我的 TcpClient 实现约为 200MB/s，HTTP 版本也约为 200MB/s。一旦我将它带到运行 Server 2008 R2 的更高端服务器级机器上，TcpClient 代码就达到了 450MB/s，而 HTTP.sys 代码保持在 200 左右。
在这一点上，我遗憾地得出结论，HTTP.sys 不是我需要完成的工作的正确工具，并且将不得不继续使用我们一直使用的手动套接字协议(protocol)。
最佳答案
除了这个Tech Note，我看不到太多兴趣.尝试一下 MaxBytesPerSend
关于c# - 如何最大化 http.sys 文件上传性能，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/2777383/
我正在学习如何使用Nokogiri，根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div
总的来说，我对ruby还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用
我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看rubyzip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d
我试图在一个项目中使用rake，如果我把所有东西都放到Rakefile中，它会很大并且很难读取/找到东西，所以我试着将每个命名空间放在lib/rake中它自己的文件中，我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题，但没有任务。我现在只有一个.rake文件作为测试，名为“servers.rake”，它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时
我的目标是转换表单输入，例如“100兆字节”或“1GB”，并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前，我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效，但前提是输入是倍数(“gigabytes”，而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以，功能正常，
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。
Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情？ 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中，使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件，我们在StackOverflow上找到一个类似的问题
给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息？ 最佳答案 在Rails3中，update_all不返回任何有意义的信息，除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru
我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t
对于具有离线功能的智能手机应用程序，我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl
