草庐IT

s3DistCp

全部标签

python - Django 1.8 缓存破坏 + Amazon S3

我一直在做一些研究,我找到了解释如何使用Django(1.8)缓存破坏的文章,但他们没有解释我的情况。我在settings.py中通过以下设置使用S3(并且可以正常工作):STATICFILES_STORAGE='pms.s3utils.StaticRootS3BotoStorage'为了使用缓存破坏docs假设我必须设置:STATICFILES_STORAGE='django.contrib.staticfiles.storage.ManifestStaticFilesStorage'我不知道要使用什么设置才能同时使用S3和缓存清除。谢谢! 最佳答案

python - 如何使用 csv.DictReader 读取存储在 S3 中的 csv?

我有获取AWSS3对象的代码。我如何使用Python的csv.DictReader读取这个StreamingBody?importboto3,csvsession=boto3.session.Session(aws_access_key_id=,aws_secret_access_key=,region_name=)s3_resource=session.resource('s3')s3_object=s3_resource.Object(,)streaming_body=s3_object.get()['Body']#csv.DictReader(???)

python - 无法在 S3 中设置文件内容类型

如何通过Pythonboto模块在支持虚拟主机的S3帐户中的文件上设置内容类型?我在做:fromboto.s3.connectionimportS3Connectionfromboto.s3.keyimportKeyfromboto.cloudfrontimportCloudFrontConnectionconn=S3Connection(access_key_id,secret_access_key)bucket=conn.create_bucket('mybucket')b=conn.get_bucket(bucket)b.set_acl('public-read')fn='ind

python - Boto S3 偶尔会抛出 httplib.IncompleteRead

我有几个守护进程使用boto从AmazonS3读取许多文件。每隔几天,我就会遇到一种情况,即httplib.IncompleteRead从boto的深处被抛出。如果我尝试重试该请求,它会立即因另一个IncompleteRead而失败。即使我调用bucket.connection.close(),所有进一步的请求仍然会出错。我觉得我可能在这里偶然发现了boto中的一个错误,但似乎没有其他人遇到过它。难道我做错了什么?所有守护进程都是单线程的,我尝试过两种方式设置is_secure。Traceback(mostrecentcalllast):...File"line22,innextlin

python - 亚马逊 AWS S3 基于浏览器的上传使用 POST -

我正在构建一个包含文件上传功能的网络应用程序。我的目标是启动用户直接上传到S3存储桶。该策略是预先签署一个将作为表单提交的POST请求。障碍是SignatureDoesNotMatch错误-据我所知,我已经遵守了文档,并且探索了很多选项,但仍然无法解决。我能够生成预先签名的下载链接。引用:AWSPOSTdocumentationExampleboto3generate_presigned_postreference生成签名请求:defs3_upload_creds(name,user):s3=boto3.client('s3')key='${filename}'region='us-e

python - amazon s3 get_key成功后指定的key不存在

我正在使用python和boto这是我的代码:key=bucket.get_key(key_name)ifnotkey:print'error,keydoesnotexist'returndata=key.get_contents_as_string()有时(随机出现)我得到这个异常:S3ResponseError:S3ResponseError:404NotFound注意:文件由一台服务器上传,紧接着另一台服务器(位于不同大陆)正在运行上面的代码。回溯:Traceback(mostrecentcalllast):File"/test.py",line222,in_process_re

python - 使用 matplotlib 和 boto 将绘图从内存上传到 s3

这是我的工作脚本,它生成一个图,将其保存到本地磁盘,上传到S3并删除文件:plt.figure(figsize=(6,6))plt.plot(x,y,'bo')plt.savefig('file_location')conn=boto.s3.connect_to_region(region_name=AWS_REGION,aws_access_key_id=AWS_ACCESS_KEY_ID,aws_secret_access_key=AWS_SECRET_ACCESS_KEY,calling_format=boto.s3.connection.OrdinaryCallingForma

python - 如何使用 python boto3 更新 AWS S3 中现有对象的元数据?

boto3文档没有明确指定如何更新已存在的S3对象的用户元数据。 最佳答案 可以使用copy_from()方法来完成-importboto3s3=boto3.resource('s3')s3_object=s3.Object('bucket-name','key')s3_object.metadata.update({'id':'value'})s3_object.copy_from(CopySource={'Bucket':'bucket-name','Key':'key'},Metadata=s3_object.metadata

python - 通过 Chalice API 调用将文件上传到 AWS S3

我正在尝试通过Chalice将文件上传到我的S3存储桶(我目前正在尝试使用它,对此还是很陌生)。但是,我似乎做对了。我已正确设置AWS,成功完成教程会返回一些消息。然后我尝试进行一些上传/下载,但问题出现了。s3=boto3.resource('s3',region_name=)BUCKET='mybucket'UPLOAD_FOLDER=os.path.abspath('')#thefileIwannauploadisinthesamefolderasmyapp.py,soIsimplygetthecurrentfoldername@app.route('/upload/{file_

python - 如何从 S3 加载 pickle 文件以在 AWS Lambda 中使用?

我目前正在尝试将一个pickle文件从S3加载到AWSlambda并将其存储到一个列表(pickle是一个列表)。这是我的代码:importpickleimportboto3s3=boto3.resource('s3')withopen('oldscreenurls.pkl','rb')asdata:old_list=s3.Bucket("pythonpickles").download_fileobj("oldscreenurls.pkl",data)即使文件存在,我仍收到以下错误:FileNotFoundError:[Errno2]Nosuchfileordirectory:'ol