草庐IT

python - 将调整大小的图像上传到 S3

我正在尝试将调整大小的图像上传到S3:fp=urllib.urlopen('http:/example.com/test.png')img=cStringIO.StringIO(fp.read())im=Image.open(img)im2=im.resize((500,100),Image.NEAREST)AK='xx'#AccessKeyIDSK='xx'#SecretAccessKeyconn=S3Connection(AK,SK)b=conn.get_bucket('example')k=Key(b)k.key='example.png'k.set_contents_from_

python - 将 Cloudfront 与 Django S3Boto 一起使用

我已成功将我的应用设置为使用S3存储所有静态和媒体文件。但是,我想上传到S3(当前操作),但从我设置的云端实例提供服务。我已尝试将设置调整为cloudfronturl,但它不起作用。请问如何上传到S3并从Cloudfront提供服务?设置AWS_S3_CUSTOM_DOMAIN='%s.s3.amazonaws.com'%AWS_STORAGE_BUCKET_NAMEDEFAULT_FILE_STORAGE='app.custom_storages.MediaStorage'STATICFILES_STORAGE='app.custom_storages.StaticStorage'S

python - 使用 boto 获取 S3 对象的最后修改日期时间

我正在编写一个Python脚本,它使用boto库将文件上传到S3。我只想上传更改文件(我可以通过它们的“最后修改”日期时间检查),但我找不到BotoAPI端点来获取最后修改日期。 最佳答案 这是一段Python/boto代码,它将打印存储桶中所有键的last_modified属性:>>>importboto>>>s3=boto.connect_s3()>>>bucket=s3.lookup('mybucket')>>>forkeyinbucket:printkey.name,key.size,key.last_modifiedind

python - 使用 boto python 从 s3 递归下载文件。

我在s3中有一个存储桶,它具有深层目录结构。我希望我可以一次下载它们。我的文件如下所示:foo/bar/1..foo/bar/100..有没有办法在python中使用botolib从s3存储桶递归下载这些文件?提前致谢。 最佳答案 您可以像这样下载存储桶中的所有文件(未经测试):fromboto.s3.connectionimportS3Connectionconn=S3Connection('your-access-key','your-secret-key')bucket=conn.get_bucket('bucket')for

python - 如何关闭 Boto S3 连接?

我在Python程序中使用Boto连接到AmazonS3。我能够打开连接并将文件上传到存储桶。我想我应该关闭连接以释放资源,更重要的是,避免任何安全风险,因为让一个打开的连接悬而未决。我认为我应该调用close()方法。但我对此进行了如下测试:1.打开连接。2.关闭连接。3.上传文件到bucket。我认为第3步会失败,但上传成功了!那么close()是做什么的呢?如果它没有真正关闭连接,我应该使用什么来代替close()?还是不需要关闭连接?我在Bototutorial中寻找答案,BotoAPIreference,和thisStackOverflowpost,但到目前为止还没有运气。感

python - 如何使用 pyarrow 从 S3 读取 Parquet 文件列表作为 Pandas 数据框?

我有一种使用boto3(1.4.4)、pyarrow(0.4.1)和pandas(0.20.3)。首先,我可以像这样在本地读取单个parquet文件:importpyarrow.parquetaspqpath='parquet/part-r-00000-1e638be4-e31f-498a-a359-47d017a0059c.gz.parquet'table=pq.read_table(path)df=table.to_pandas()我也可以像这样在本地读取parquet文件的目录:importpyarrow.parquetaspqdataset=pq.ParquetDataset(

python - 使用 boto 将公共(public) URL 上可用的图像上传到 S3

我在PythonWeb环境中工作,我可以使用boto的key.set_contents_from_filename(path/to/file)将文件从文件系统上传到S3。但是,我想上传一张已经在网络上的图片(比如https://pbs.twimg.com/media/A9h_htACIAAaCf6.jpg:large)。我应该以某种方式将图像下载到文件系统,然后像往常一样使用boto将其上传到S3,然后删除图像吗?理想的情况是,如果有一种方法可以获取boto的key.set_contents_from_file或其他可以接受URL并将图像很好地流式传输到S3而无需将文件副本显式下载到我

python - 如何使用 python boto 获取亚马逊 S3 中唯一文件夹的列表?

我正在使用boto、python和amazons3。如果我使用[key.nameforkeyinlist(self.bucket.list())]然后我得到所有文件的所有key。mybucket/files/pdf/abc.pdfmybucket/files/pdf/abc2.pdfmybucket/files/pdf/abc3.pdfmybucket/files/pdf/abc4.pdfmybucket/files/pdf/new/mybucket/files/pdf/new/abc.pdfmybucket/files/pdf/2011/什么是最好的方法1.eithergetallf

python - 如何使用 boto 将文件从 Amazon S3 流式传输到 Rackspace Cloudfiles?

我正在将文件从S3复制到Cloudfiles,并且我想避免将文件写入磁盘。Python-Cloudfiles库有一个object.stream()调用,看起来是我需要的,但我在boto中找不到等效调用。我希望我能够做类似的事情:shutil.copyfileobj(s3Object.stream(),rsObject.stream())boto(或者我想任何其他s3库)可以做到这一点吗? 最佳答案 此线程中的其他答案与boto有关,但S3.Object在boto3中不再可迭代。因此,以下内容不起作用,它会产生TypeError:'s

python - 您可以使用流而不是本地文件上传到 S3 吗?

我需要创建一个CSV并将其上传到S3存储桶。由于我是动态创建文件的,如果我可以在创建文件时直接将其写入S3存储桶,而不是在本地写入整个文件,然后在最后上传文件,那会更好。有没有办法做到这一点?我的项目是用Python编写的,而且我对这门语言还很陌生。到目前为止,这是我尝试过的:importcsvimportcsvimportioimportbotofromboto.s3.keyimportKeyconn=boto.connect_s3()bucket=conn.get_bucket('dev-vs')k=Key(bucket)k.key='foo/foobar'fieldnames=[