草庐IT

s3manager

全部标签

google-app-engine - "App Engine flexible environment"(以前称为 "Managed VMs")中的 Google App Engine 导入问题 (golang)

我直接在“AppEngine灵活环境”(以前称为“托管虚拟机”)上使用golang开发API。到目前为止,我一直在我的.go文件中使用这种导入:import("appengine""appengine/datastore"...)最近我决定使用GoogleCloudStorage来存储图像。它需要导入“cloud.google.com/go/storage”。我的问题是我无法使用此导入(未找到)或任何其他短版本(“go/storage”)部署应用程序,就像我用于appengine导入一样。经过大量研究,我发现了这个:https://github.com/golang/appengine

amazon-web-services - Golang Aws S3 NoSuchKey : The specified key does not exist

我正在尝试从S3下载对象,以下是我的代码:funclistFile(bucket,prefixstring)error{svc:=s3.New(sess)params:=&s3.ListObjectsInput{Bucket:aws.String(bucket),//RequiredPrefix:aws.String(prefix),}returnsvc.ListObjectsPages(params,func(p*s3.ListObjectsOutput,lastPagebool)bool{for_,o:=rangep.Contents{//log.Println(*o.Key)lo

Go - 下载前缀下的 S3 文件

我正在尝试下载目录下的文件,而不是直接下载存储桶中的文件。file,err:=os.Create("s3file.csv")downloader:=s3manager.NewDownloader(session.New(&aws.Config{Region:aws.String("us-east-1")}))numBytes,err:=downloader.Download(file,&s3.GetObjectInput{Bucket:aws.String(bucket),Key:aws.String(key),})桶名称-“myBucket”文件夹名称-“myFolder”文件名-“

session - gorilla / session : Session be managed (persist changes) between handlers?

我正在使用Gosession管理:"github.com/gorilla/sessions"以下代码的问题在于,与CookieStore关联的session未在处理程序之间共享,我需要它这样做。处理程序"/authorize"将值保存到session中,然后重定向到另一个处理程序"/thankyou",但该处理程序在session中看不到该值.我已验证session在原始处理程序"/authorize"中确实具有新值。import("github.com/gorilla/sessions")var(cookieStore*sessions.CookieStorestoreGUIDstr

go - aws-sdk-go s3 在存储桶之间移动目录

我想知道如何在同一个存储桶中移动目录。使用CopyObject将一个特定文件移动到同一个存储桶中但不是目录时,我没有遇到任何问题这是我在运行下面的代码后遇到的错误。无法将项目从存储桶“bucketName”复制到存储桶“bucketName”,NoSuchKey:指定的键不存在。dir:="newPlace/directory"source:=bucket+"/directory"//Copytheitem_,err=svc.CopyObject(&s3.CopyObjectInput{Bucket:aws.String(bucket),CopySource:aws.String(so

ssl - 在 autocert.Manager 中省略 HostPolicy 是否有任何危险?

我想使用golang.org/x/crypto/acme/autocert在Golang中使用Let'sEncrypt设置TLS。为什么要在Manager中设置HostPolicy?似乎没有默认的autocert.HostWhitelist一切正常。http.HandleFunc("/",func(whttp.ResponseWriter,r*http.Request){w.Write([]byte("test"))})m:=autocert.Manager{Prompt:autocert.AcceptTOS,//HostPolicy:autocert.HostWhitelist("e

go - 写入阅读器时分段上传到 s3

我发现了一些与我的问题相似的问题,但没有任何问题能够回答我的具体问题。我想上传CSV数据到s3。我的基本代码如下(为简洁起见,我简化了获取数据的过程,通常是从数据库中读取数据):reader,writer:=io.Pipe()gofunc(){cWriter:=csv.NewWriter(pWriter)for_,line:=rangelines{cWriter.Write(line)}cWriter.Flush()writer.Close()}()sess:=session.New(//...)uploader:=s3manager.NewUploader(sess)result,e

go - Snowball Edge - Golang 中的 aws-sdk-go 包 - 无法连接到 S3

我正在使用Golang中的aws-sdk-go包连接到AmazonS3以提供基于云的存储池。我有这个运作良好。我希望能够使用Snowball支持批量高速传输,因此我得到了一个SnowballEdge来在我的实验室中对此进行测试。我还没有弄清楚如何让它工作,而且SnowballEdge的文档似乎并不完整。此配置可能会受到订购SnowballEdge而不仅仅是Snowball的影响。我发现Edge问题更多的原因是,普通的Snowball需要一个名为snowballAdapter的应用程序才能运行,它看起来可以处理一些端口映射问题。但是,此应用程序似乎与Edge设备不兼容,因为它报告说它不适

Golang AWS S3manager multipartreader w/Goroutines

我正在创建一个端点,允许用户同时上传多个文件并将它们存储在S3中。目前,我可以使用MultipartReader和s3manager来实现这一点,但只能以非同步方式实现。我正在尝试实现Go例程来加速此功能并将多个文件同时上传到S3,但数据竞争错误导致了麻烦。我认为*s3manager可能不像文档所说的那样是goroutine安全的。(如果将go-statement替换为函数代码,代码将同步运行)。实现互斥锁是否可以修复我的错误?funcuploadHandler(whttp.ResponseWriter,r*http.Request){counter:=0switchr.Method{

go - 如何使用 minio-go api 从 s3 存储桶中获取按最后修改时间戳排序的对象列表?

我浏览了minio-go-api.的文档但是没有得到任何解决方案,因为对象是根据字母顺序排序的。一种hack方式,将首先读取所有对象,然后从每个对象中获取最后修改日期并形成新列表,这对于生产根本不可行 最佳答案 @SiddhantaRath,处理此问题的一种方法是使用mc工具。命令mcfind--newer和mcfind--older将处理此问题。但在内部,它会执行listObjects并为您进行排序。另一种方法是订阅通知并确保数据库中有一个已上传对象的列表。 关于go-如何使用mini