草庐IT

s3DistCp

全部标签

python - 使用 tinys3 上传到 Amazon S3

我正在使用Python和tinys3将文件写入S3,但无法正常工作。这是我的代码:importtinys3conn=tinys3.Connection('xxxxxxx','xxxxxxxx',tls=True)f=open('testing_s3.txt','rb')printconn.upload('testing_data/testing_s3.txt',f,'testing-bucket')printconn.get('testing_data/testing_s3.txt','testing-bucket')这给出了输出:当我尝试指定端点时,我得到:requests.exce

python - Boto S3 API 不返回完整的 key 列表

我在我的python脚本中使用了botoS3API,它慢慢地将数据从S3复制到我的本地文件系统。脚本运行了几天,但现在出现了问题。我使用以下API函数获取“目录”中的键列表:keys=bucket.get_all_keys(prefix=dirname)并且此函数(get_all_keys)并不总是返回完整的key列表,我的意思是我可以通过AWS网络界面或通过awss3lss3://查看更多key路径。在版本2.15和2.30上重现了该问题。也许boto缓存了我对S3的一些请求(我一遍又一遍地重复相同的请求)?如何解决这个问题,有什么建议吗? 最佳答案

python - Django:更改图像大小并上传到 S3

我继承了一个Django项目,我们已经将图像移动到S3其中一个模型是典型的用户画像classProfile(UUIDBase):first_name=models.CharField(_("FirstName"),max_length=20)last_name=models.CharField(_("LastName"),max_length=20,null=True)profile_image=models.ImageField(_("ProfileImage"),upload_to=profile_image_name,max_length=254,blank=True,null=

python - AWS EMR 从 S3 导入外部库

我已经使用AmazonEMR设置了一个集群。我在S3上有一个python库(从gi​​thub克隆,在pip上不可用)。我想提交一个使用udf的pig作品,它利用了S3中存在的库。我不想将库添加到系统路径,因为它只会被使用一次。我无法尝试任何有意义的事情,因为我不知道如何解决这个问题,因此到目前为止我没有尝试过任何代码示例或方法。帮助将不胜感激!:) 最佳答案 仔细阅读以下给定的Material。从Pig调用用户定义的函数:Pig提供了从Pig脚本中调用用户定义函数(UDF)的能力。您可以执行此操作以实现自定义处理以在您的Pig脚本

python - 使用 s3boto 的 Django 存储忽略 MEDIA_URL

我正在尝试在我的应用程序中将django-storages与s3boto结合使用,并尝试从s3提供媒体和静态文件。我的设置文件中有以下设置:AWS_STORAGE_BUCKET_NAME=''AWS_S3_ACCESS_KEY_ID=''AWS_S3_SECRET_ACCESS_KEY=''AWS_S3_CUSTOM_DOMAIN='%s.s3.amazonaws.com'%AWS_STORAGE_BUCKET_NAMESTATICFILES_LOCATION='static'STATICFILES_STORAGE=''MEDIAFILES_LOCATION='media'DEFAUL

python - "KeyError: ' 在 AWS S3 中记录 '"- Lambda 触发器

我有以下lambda函数代码,用于简单地打印出S3存储桶上传事件的作者和元数据:from__future__importprint_functionimportjsonimporturllibimportboto3print('Loadingfunction')s3=boto3.client('s3')deflambda_handler(event,context):#print("Receivedevent:"+json.dumps(event,indent=2))#bucket=event['Records'][0]['s3']['bucket']['name']forrecord

python - 如何使用 boto3 设置现有 S3 key 的内容类型?

我想使用boto3更新S3存储桶中现有对象的内容类型,但我该怎么做,而不必重新上传文件?file_object=s3.Object(bucket_name,key)printfile_object.content_type#binary/octet-streamfile_object.content_type='application/pdf'#AttributeError:can'tsetattribute有没有我在boto3中遗漏的方法?相关问题:HowtosetContent-TypeonuploadHowtosetthecontenttypeofanS3objectviathe

python - 可移植应用程序 : s3 and Google cloud storage

我想编写一个可移植的应用程序。“可移植”是指它可用于访问这些存储:亚马逊s3谷歌云存储桉树存储软件应使用Python开发。我不确定如何开始,因为我找不到支持所有三种存储的库。 最佳答案 为了从您的应用程序连接到GoogleCloudStorage,您可以按照描述的步骤操作here了解如何使用应用程序从存储桶读取或写入存储桶。它还包含有关如何执行这些步骤的示例。请注意,这仅适用于GoogleCloudStorage。至于Amazon和Eucalyptus,我无法提供您需要的帮助。更新在确认我上面发布的答案不是您希望的应用程序后,我们可

python - 是否可以使用 boto 从 Google App Engine 中的 S3 读取文件?

我想在GoogleAppEngine的沙箱中操作存储在S3中的pickledpython对象。我使用boto的documentation中的建议:fromboto.s3.connectionimportS3Connectionfromboto.s3.keyimportKeyconn=S3Connection(config.key,config.secret_key)bucket=conn.get_bucket('bucketname')key=bucket.get_key("picture.jpg")fp=open("picture.jpg","w")key.get_file(fp)但

python - Django Boto S3 访问

我想不通。这就是我想要发生的事情......我有一个应用程序,用户可以使用boto和django将文件上传到S3。我希望这些文件是私有(private)的,并且只能使用我的api凭据通过我的应用程序访问。因此,如果用户通过我的应用程序上传照片,他或其他任何人下载照片的唯一方式是通过他在我的应用程序上的帐户。这是否可能,如果可以,我该如何使用boto的acl规则进行设置。我不需要代码,(希望如此)我可以弄清楚,只需逐步了解如何操作即可。这有意义吗?我知道我没有很好地传达它,我提前道歉。另外,感谢您的帮助。 最佳答案 boto的ACL文