草庐IT

amazon-cloudwatch

全部标签

[ 云计算 | AWS ] Java 应用中使用 Amazon S3 进行存储桶和对象操作完全指南

文章目录一、前言二、所需Maven依赖三、先决必要的几个条件信息四、创建客户端连接五、AmazonS3存储桶操作5.1.创建桶5.2.列出桶六、AmazonS3对象操作6.1.上传对象6.2.列出对象6.3.下载对象6.4.复制、重命名和移动对象6.5.删除对象6.6.删除多个对象七、文末总结一、前言在本文中,我们将探索如何利用Java编程与AmazonS3(即简单存储服务)存储系统进行互动。需要牢记,S3的结构异常简单:每个存储桶能够容纳大量的对象,这些对象可以通过SOAP接口或REST风格的API进行访问。接下来,我们将使用适用于Java的AWS开发工具包来实现S3存储桶的创建、列举以及删

amazon-dynamodb - 如何在不替换 DynamoDB 中的先前记录的情况下实现版本控制?

目前,我看到当我在DynamoDB中使用版本控制时,它会更改版本号,但新条目将替换旧条目;IE:老的{object:one,name:"hey",version:1}新的{object:one,name:"ho",version:2}我想要的是在数据库中有两个条目;IE:老的{object:one,name:"hey",version:1}新的{object:one,name:"hey",version:1}{object:one,name:"ho",version:2}有什么办法可以做到这一点吗? 最佳答案 我认为DynamoDB

java - 将大文件上传到 Amazon S3 时出现问题

我尝试使用Amazon-SDK(Java)示例代码S3TransferProgressSample.java将大文件上传到Amazon-S3存储(alsopostedhereonAWSdocs)。但是当我尝试上传11GB的文件时,上传卡在了不同的位置并显示错误消息:UnabletouploadfiletoAmazonS3:Unabletouploadpart:UnabletoexecuteHTTPrequest:Unbufferedentityenclosingrequestcannotberepeated"(attachedscreenshot).看起来IOException发生后S

amazon-web-services - S3 : User cannot access object in his own s3 bucket if created by another user

外部用户可以访问我们的s3存储桶,在我们的存储桶策略中使用这些操作:"Action":["s3:GetObjectAcl","s3:GetObject","s3:PutObjectAcl","s3:ListMultipartUploadParts","s3:PutObject"]该用户生成了temporarycredentials,然后用于将文件上传到我们的存储桶中。现在,我无法访问该文件。在s3UI中,如果我尝试下载该文件,我会收到403。如果我尝试更改该对象的权限,我会看到消息:“抱歉!您没有查看此存储桶的权限。”如果外部用户在使用临时凭证上传文件时设置了适当的header(x-a

java - 如何在集成测试中模拟 Amazon S3

我正在尝试建立我的应用程序的“行走骨架”,它将使用S3进行持久化。我想使用一个假的S3服务,这样每个开发人员的桌面都可以随意读/写。我以为mocks3将是完美的,因为我可以在我的jUnit测试中启动一个jetty服务器。问题是mocks3不允许任何写入。据我所知,甚至没有设置它。那么其他人是怎么做到的呢? 最佳答案 还有一个Findifys3mock正是为此目的而编写的工具。它在本地文件系统之上模拟AWSS3API的基本部分:importio.findify.s3mock.S3MockS3Mockapi=S3Mock.create(

python - 如何使用 Python 请求在 Amazon S3 上执行 `PUT`

我正在尝试使用Python请求将文件上传到AmazonS3(Python是v2.7.9,请求是v2.7)。遵循完美运行的curl命令:curl--requestPUT--upload-fileimg.pnghttps://mybucket-dev.s3.amazonaws.com/6b89e187-26fa-11e5-a04f-a45e60d45b53?Signature=Ow%3D&Expires=1436595966&AWSAccessKeyId=AQ但是当我对请求执行相同操作时,它会失败。这是我尝试过的:url=https://mybucket-dev.s3.amazonaws.

python - Amazon + Django 每12小时出现[Errno 5] Input/output error

我最近设置并部署了一个AmazonEC2实例来部署我的django项目。当我在浏览器中收到此错误时,我正在通过浏览器与我的应用程序交互:errno5input/outputerrordjango此错误确实引用了我的应用程序的某些功能Environment:RequestMethod:GETRequestURL:http://localhost:8000/accounts/profile/DjangoVersion:1.9PythonVersion:3.4.3InstalledApplications:['django.contrib.admin','django.contrib.aut

python - 使用 tinys3 上传到 Amazon S3

我正在使用Python和tinys3将文件写入S3,但无法正常工作。这是我的代码:importtinys3conn=tinys3.Connection('xxxxxxx','xxxxxxxx',tls=True)f=open('testing_s3.txt','rb')printconn.upload('testing_data/testing_s3.txt',f,'testing-bucket')printconn.get('testing_data/testing_s3.txt','testing-bucket')这给出了输出:当我尝试指定端点时,我得到:requests.exce

python - 未找到 Amazon EMR Pyspark 模块

我创建了一个AmazonEMR集群,上面已经有Spark。当我从终端运行pyspark时,当我通过ssh进入我的集群时,它会进入pyspark终端。我使用scp上传了一个文件,当我尝试使用pythonFileName.py运行它时,出现导入错误:frompysparkimportSparkContextImportError:Nomodulenamedpyspark我该如何解决这个问题? 最佳答案 我将以下行添加到~/.bashrcforemr4.3:exportSPARK_HOME=/usr/lib/sparkexportPYTH

python - 为 Amazon CloudFront 创建签名 Cookie

亚马逊推出了Cloudfrontsignedcookie最近除了签名的网址。一个类似的问题是关于signedurl.显然支持signedurlinthecloudfrontSDK但是我在awspythonSDK中找不到此功能的支持。我怎样才能创建一个签名的cookie? 最佳答案 我创建了一个boto功能请求来添加它,但与此同时我让它与我的djangopython应用程序一起工作。这是我自己生成的简单代码。底部是一个示例djangoView方法,因此您可以看到我如何为包含Cloudfront内容的网页设置cookie。importt