草庐IT

c# - 客户端/服务器发送大文件

coder 2023-09-19 原文

关闭。这个问题是opinion-based .它目前不接受答案。












想改善这个问题吗?更新问题,以便可以通过 editing this post 用事实和引文回答问题.

6年前关闭。




Improve this question




我即将编写一个服务器应用程序,它应该能够从多个来源接收大文件(像所有其他 FTP 客户端/服务器应用程序一样安静)。

但我不确定什么是最好的方法,需要一些建议。

客户端会将 XML 数据发送到服务器,它看起来像:

<Data xmlns="http://schemas.datacontract.org/2004/07/DataFiles" xmlns:i="http://www.w3.org/2001/XMLSchema-instance">
    <Category>General</Category>
    <Files>
        <DataFile>
            <Extension>.txt</Extension>
            <Filename>test4</Filename>
            <Bytes>"Some binary data"</Bytes>
        </DataFile>
    </Files>
</Data>

我开始创建一个 HTTPListener 作为我的服务器,但它似乎在服务器端的大文件上挣扎很多(基本上是因为上下文是作为一个未分段的数据包接收的,并且当服务器对收到的 XML 数据进行反序列化时,它会将其加载到内存中,这将对于大文件来说是不行的。

然后我转到了 TcpListener 再低一层,这似乎在大文件上工作得很好,因为它们是碎片发送的,但是让我做很多工作来在收到请求时在服务器端附加包。

我也搬过去了 WCF 作为一种可能性,但我对这项技术缺乏经验,这让我再次放弃了这种方法。

你会怎么做? 您会使用 .NET 工具箱中的哪个 .NET 工具来创建 FTP 服务器/客户端?

有很多关于 TcpListeners 等的线索,这不是我在这里寻求的。我需要关于我应该采用哪种方法和最佳实践的建议。

编辑:
忘了提到它背后的想法更像是一个FTP代理(客户端发送文件到服务器>服务器本地存储文件>服务器将其发送到第三部分位置>服务器在将文件成功发送到第三部分位置时清除本地存储的文件完毕)。

编辑 17-11-15:

这是我如何做我的 HTTP 服务器的示例代码:
public class HttpServer
{
    protected readonly HttpListener HttpListener = new HttpListener();

    protected HttpServer(IEnumerable<string> prefixes)
    {
        HttpListener.Prefixes.Add(prefix);
    }

    public void Start()
    {
        while (HttpListener.IsListening && Running)
        {
            var result = HttpListener.BeginGetContext(ContextReceived, HttpListener);
            if (WaitHandle.WaitAny(new[] {result.AsyncWaitHandle, _shutdown}) == 0)
                return;
        }
    }

    protected object ReadRequest(HttpListenerRequest request)
    {
        using (var input = request.InputStream)
        using (var reader = new StreamReader(input, request.ContentEncoding))
        {
            var data = reader.ReadToEnd();
            return data;
        }
    }

    protected void ContextReceived(IAsyncResult ar)
    {
        HttpListenerContext context = null;
        HttpListenerResponse response = null;
        try
        {
            var listener = ar.AsyncState as HttpListener;
            if (listener == null) throw new InvalidCastException("ar");
            context = listener.EndGetContext(ar);
            response = context.Response;
            switch (context.Request.HttpMethod)
            {
                case WebRequestMethods.Http.Post:
                    // Parsing XML data with file at LARGE byte[] as one of the parameter, seems to struggle here...
                    break;
                default:
                    //Send MethodNotAllowed response..
                    break;
            }
            response.Close();
        }
        catch(Exception ex)
        {
            //Do some properly exception handling!!
        }
        finally
        {
            if (context != null)
            {
                context.Response.Close();
            }
            if (response != null)
                response.Close();
        }
    }
}

客户正在使用:
using (var client = new WebClient())
{
    GetExtensionHeaders(client.Headers);
    client.Encoding = Encoding.UTF8;
    client.UploadFileAsync(host, fileDialog.FileName ?? "Test");
    client.UploadFileCompleted += ClientOnUploadFileCompleted;
    client.UploadProgressChanged += ClientOnUploadProgressChanged;
}

请注意,客户端应该将数据(作为 XML)发送到服务器,这将反序列化接收到的数据(使用文件流服务器端),如前所述。

这是我的 TcpServer 示例:
public class TcpServer
{
    protected TcpListener Listener;
    private bool _running;

    public TcpServer(int port)
    {
        Listener = new TcpListener(IPAddress.Any, port);
        Console.WriteLine("Listener started @ {0}:{1}", ((IPEndPoint)Listener.LocalEndpoint).Address, ((IPEndPoint)Listener.LocalEndpoint).Port);
        _running = true;
    }

    protected readonly ManualResetEvent TcpClientConnected = new ManualResetEvent(false);
    public void Start()
    {
        while (_running)
        {
            TcpClientConnected.Reset();
            Listener.BeginAcceptTcpClient(AcceptTcpClientCallback, Listener);
            TcpClientConnected.WaitOne(TimeSpan.FromSeconds(5));
        }
    }

    protected void AcceptTcpClientCallback(IAsyncResult ar)
    {
        try
        {
            var listener = ar.AsyncState as TcpListener;
            if (listener == null) return;

            using (var client = listener.EndAcceptTcpClient(ar))
            {
                using (var stream = client.GetStream())
                {
                    //Append or create to file stream
                }
            }

            //Parse XML data received?
        }
        catch (Exception e)
        {
            Console.WriteLine(e);
        }
        finally
        {
            TcpClientConnected.Set();
        }
    }
}   

最佳答案

创建一个新的空 MVC 应用程序



接下来添加一个新的 Controller 到 Controllers文件夹,

using System.Web;
using System.Web.Mvc;

namespace UploadExample.Controllers
{
    public class UploadController : Controller
    {
        public ActionResult File(HttpPostedFileBase file)
        {
            file.SaveAs(@"c:\FilePath\" + file.FileName);
        }

    }
}

现在上传文档所需要做的就是将其作为多部分表单数据发布到您的网站...
void Main()
{   
    string fileName = @"C:\Test\image.jpg";
    string uri = @"http://localhost/Upload/File";
    string contentType = "image/jpeg";

    Http.Upload(uri, fileName, contentType);
}

public static class Http
{
    public static void Upload(string uri, string filePath, string contentType)
    {
        string boundary         = "---------------------------" + DateTime.Now.Ticks.ToString("x");
        byte[] boundaryBytes    = Encoding.ASCII.GetBytes("\r\n--" + boundary + "\r\n");

        string formdataTemplate = "Content-Disposition: form-data; name=file; filename=\"{0}\";\r\nContent-Type: {1}\r\n\r\n";
        string formitem         = string.Format(formdataTemplate, Path.GetFileName(filePath), contentType);
        byte[] formBytes        = Encoding.UTF8.GetBytes(formitem);

        HttpWebRequest request  = (HttpWebRequest) WebRequest.Create(uri);
        request.KeepAlive       = true;
        request.Method          = "POST";
        request.ContentType     = "multipart/form-data; boundary=" + boundary;
        request.SendChunked     = true;

        using (FileStream fileStream = new FileStream(filePath, FileMode.Open, FileAccess.Read, FileShare.Read))
        using (Stream requestStream = request.GetRequestStream())
        {
            requestStream.Write(boundaryBytes, 0, boundaryBytes.Length);
            requestStream.Write(formBytes, 0, formBytes.Length);

            byte[] buffer = new byte[1024*4];
            int bytesLeft;

            while ((bytesLeft = fileStream.Read(buffer, 0, buffer.Length)) > 0) requestStream.Write(buffer, 0, bytesLeft);

            requestStream.Write(boundaryBytes, 0, boundaryBytes.Length);
        }

        using (HttpWebResponse response = (HttpWebResponse) request.GetResponse())
        {
        }

        Console.WriteLine ("Success");    
    }
}

编辑

如果您遇到问题,请编辑您的 Web.Config 文件,您可能会遇到请求长度限制...
<system.web>
    <compilation debug="true" targetFramework="4.5"/>
    <httpRuntime targetFramework="4.5"  maxRequestLength="1048576"/>
</system.web>

我错过的另一件事(但现在已编辑)是 webrequest 本身的发送分 block 属性。
request.SendChunked = true;

关于c# - 客户端/服务器发送大文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33737790/

有关c# - 客户端/服务器发送大文件的更多相关文章

  1. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序,它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重,我想提高压缩级别,因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗?是否有另一个允许指定压缩级别的Ruby库? 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  2. ruby - 其他文件中的 Rake 任务 - 2

    我试图在一个项目中使用rake,如果我把所有东西都放到Rakefile中,它会很大并且很难读取/找到东西,所以我试着将每个命名空间放在lib/rake中它自己的文件中,我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题,但没有任务。我现在只有一个.rake文件作为测试,名为“servers.rake”,它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时

  3. ruby-on-rails - 在 Rails 中将文件大小字符串转换为等效千字节 - 2

    我的目标是转换表单输入,例如“100兆字节”或“1GB”,并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前,我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效,但前提是输入是倍数(“gigabytes”,而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以,功能正常,

  4. ruby-on-rails - Rails 3 中的多个路由文件 - 2

    Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情? 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中,使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件,我们在StackOverflow上找到一个类似的问题

  5. ruby - 具有身份验证的私有(private) Ruby Gem 服务器 - 2

    我想安装一个带有一些身份验证的私有(private)Rubygem服务器。我希望能够使用公共(public)Ubuntu服务器托管内部gem。我读到了http://docs.rubygems.org/read/chapter/18.但是那个没有身份验证-如我所见。然后我读到了https://github.com/cwninja/geminabox.但是当我使用基本身份验证(他们在他们的Wiki中有)时,它会提示从我的服务器获取源。所以。如何制作带有身份验证的私有(private)Rubygem服务器?这是不可能的吗?谢谢。编辑:Geminabox问题。我尝试“捆绑”以安装新的gem..

  6. ruby - 将差异补丁应用于字符串/文件 - 2

    对于具有离线功能的智能手机应用程序,我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl

  7. ruby - 如何将脚本文件的末尾读取为数据文件(Perl 或任何其他语言) - 2

    我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚

  8. ruby - 使用 Vim Rails,您可以创建一个新的迁移文件并一次性打开它吗? - 2

    使用带有Rails插件的vim,您可以创建一个迁移文件,然后一次性打开该文件吗?textmate也可以这样吗? 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件,这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails,您可以创建一个新的迁移文件并一次性打开它吗?,我们在StackOverflow上找到一个类似的问题: https://sta

  9. Ruby 写入和读取对象到文件 - 2

    好的,所以我的目标是轻松地将一些数据保存到磁盘以备后用。您如何简单地写入然后读取一个对象?所以如果我有一个简单的类classCattr_accessor:a,:bdefinitialize(a,b)@a,@b=a,bendend所以如果我从中非常快地制作一个objobj=C.new("foo","bar")#justgaveitsomerandomvalues然后我可以把它变成一个kindaidstring=obj.to_s#whichreturns""我终于可以将此字符串打印到文件或其他内容中。我的问题是,我该如何再次将这个id变回一个对象?我知道我可以自己挑选信息并制作一个接受该信

  10. ruby - 如何使用 Ruby aws/s3 Gem 生成安全 URL 以从 s3 下载文件 - 2

    我正在编写一个小脚本来定位aws存储桶中的特定文件,并创建一个临时验证的url以发送给同事。(理想情况下,这将创建类似于在控制台上右键单击存储桶中的文件并复制链接地址的结果)。我研究过回形针,它似乎不符合这个标准,但我可能只是不知道它的全部功能。我尝试了以下方法:defauthenticated_url(file_name,bucket)AWS::S3::S3Object.url_for(file_name,bucket,:secure=>true,:expires=>20*60)end产生这种类型的结果:...-1.amazonaws.com/file_path/file.zip.A

随机推荐