草庐IT

s3-graphite

全部标签

windows - Amazon S3 的简单且可扩展的非托管替代方案

我让用户能够在现有的Web应用程序中附加图像、视频、音频剪辑和其他文件附件。我们产品的一些安装有成千上万的用户,因此数据量会非常大。AmazonS3是显而易见的解决方案,但由于法律原因,不能始终使用。我需要一个我的客户可以自行托管的解决方案。因此,我希望构建或采用具有以下特征的文件存储系统:未托管。必须可安装在我客户的Windows服务器上。可横向扩展至TB级存储。与S3类似的操作,因此我可以将这两种方法都纳入我的产品。经过验证的架构我在StackOverflow和其他论坛(EucalyptusWalrus、HadoopHDFS、MongoDB+GridFS、CouchDB、Mogil

c# - 使用 SDK 和 Uploadify 将文件上传到 Amazon S3 时显示的上传进度不正确

我的ASP.NETMVC(C#)应用程序使用Uploadify将文件上传到使用.NETSDK的AmazonS3,但它显示的上传进度不正确。当我使用Uploadify将文件直接上传到我们的服务器时,它工作正常。但是,当我使用AmazonS3TransferUtility.Upload方法上传文件时,进度条很快显示100%完成,但我需要等待很长时间才能到达Uploadify的onComplete事件。我的代码如下所示。C#代码:using(transferUtility=newTransferUtility(AWSAccessKey,AWSSecretKey)){try{TransferU

c# - 如何在进度条中显示文件上传进度 - Amazon S3 bucket

我想在将文件上传到AmazonS3时在我的网页上的进度条中显示文件上传进度......在我的网页上,我从文件输入中选择一个文件,该文件通过AjaxPOST请求调用我的Controller。在Controller中,我从发布的请求中提取文件。varhpf=Request.Files[1];然后我调用一个使用AmazonS3Client的方法..UploadVideoMultiPart(hpf.InputStream,fileName)上述方法完美地完成了到S3的上传,并在此过程中重复发送上传的字节数。publicstaticvoidUploadPartProgressEventCallb

c# - Amazon S3 中的并发

我目前正在构建一个系统,其中S3将被Internet上的许多计算机用作持久哈希集(S3URL从数据中推断出来)。如果两个节点存储相同的数据,那么它将使用相同的key存储,因此不会存储两次。当一个对象被删除时,我需要知道其他一些节点是否也在使用该数据。在那种情况下,我不会删除它。现在我已经通过添加存储节点列表作为写入S3的数据的一部分来实现它。因此,当节点存储数据时,会发生以下情况:从S3读取对象。反序列化对象。将新节点的id添加到存储节点列表中。序列化新对象(要存储的数据和节点列表)。将序列化数据写入S3。这创建了一种幂等引用计数形式。由于Internet上的请求可能非常不可靠,我不想

c# - AWS S3 ListMultipartUploads : access denied

我关注了thisblog为了使用WebIdentityFederation设置我的AWSIAM和S3帐户。我能够很好地验证和接收session凭据和token。我还可以下载和上传对象。但是,我得到:accessdenied在以下ListMultipartUploads请求中:varrequest=newListMultipartUploadsRequest(){BucketName=bucketName,Prefix=$"{UserId}/"};varresponse=awaits3Client.ListMultipartUploadsAsync(request);附加到我的IAM角色

c# - Amazon S3 TransferUtility.Upload 在 C# 中挂起

所以我正在编写一个迁移应用程序,以从我们的本地存储中获取一些数据并将其上传到亚马逊。一切正常,除非我进入大于15兆(兆,是的,不是千兆)的文件,应用程序卡住。这是在C#中,非常简单。vartransferRequest=newTransferUtilityUploadRequest{Key=firstKey,FilePath=fileName,BucketName=ContentBucket,Timeout=3600000,ContentType=GetContentTypeForFileExtension(fileName)};transferRequest.UploadProgre

c# - ASP.NET MVC - 将图像上传到 Amazon S3

我的图像来自Request.Files[0]。现在,如何将此图像上传到S3?我看到在AWS.NETAPI中,您必须在放置字符串对象时指定ContentBody。我如何获取文件的内容主体? 最佳答案 varfile=Request.Files[0];PutObjectRequestrequest=newPutObjectRequest();request.BucketName="mybucket"request.ContentType=contentType;request.Key=key;request.InputStream=fi

c# - 如何使用 AWS S3 API 以非递归方式浏览目录的内容?

假设我在AmazonS3存储桶中有以下目录和文件(文件以粗体显示):桶名/桶名/文件夹1/bucketname/folder1/foobar.txt桶名/文件夹1/子文件夹1/bucketname/folder1/subfolder1/hello.txt桶名/文件夹1/子文件夹2/bucketname/folder1/subfolder2/world.txtbucketname/folder1/subfolder2/subsubfolder1/bucketname/folder1/subfolder2/subsubfolder1/file.txt如何使用.NETAWSS3API列出给定

c# - Amazon S3 - 如何正确构建指向存储桶中对象的 URL?

我正在使用AmazonS3环境为C#Web应用程序存储图像。来自S3documentation我了解到,访问对象的基本URL看起来像http://[bucket-name].S3.amazonaws.com/[key]我知道可以为存储桶中的对象构建过期URL。两个问题:通常应该使用过期URL吗?我将如何构建过期网址? 最佳答案 如果您想限制访问,您只需要构建过期url。这里有一些代码可以生成3分钟后过期的签名url。using(vars3Client=AWSClientFactory.CreateAmazonS3Client("My

c# - 如何以编程方式为 Amazon S3 设置 Http Header?

我想为我的asp.netweb应用程序存储在S3中的文件设置到期日期header。第一个案例-在PutObject期间要求第二个案例——更新到期日每月一次至更新到期日期。 最佳答案 当您使用Asp.net时,我假设您使用的是AWS.NETSDK.要在上传对象时添加Expires(或任何其他httpheader),请将其添加为PutObject请求的一部分。varclient=newAmazon.S3.AmazonS3Client(AWS_Key,AWS_SecretKey);varreq=newAmazon.S3.Model.Put