草庐IT

s3DistCp

全部标签

hadoop - 针对 S3 的 oozie fs 操作未更新 S3 存储的 MANIFESTS(DynamoDB 元存储 - emrfs 不同步)中的 key

从理论上讲,使用HDFSCLI运行hdfs命令,hdfsdfs-touchzs3://bucketname/folder/file它通过EMRFS并在创建S3条目时更新dynamodb中MANIFESTS中的key。emrfsdiff-在S3和MANIFESTS(Dynamodb)中说。到目前为止一切都很好。当我尝试对s3文件运行以下ooziefs操作时,我注意到该操作不是通过EMRFS发生的,因为我没有在MANIFESTS(dynamodb)中看到键。emrfsdiff-表示文件在S3中但不在MANIFESTS(Dynamodb)中。${nameNode}只是想知道ooziefs操作

git - 使用 Git 发布到 S3?

有人知道怎么做吗?到目前为止,我无法通过Google找到任何有用的信息。我真的很想设置一个本地存储库并使用gitpush将其发布到S3,这个想法是对Assets进行本地版本控制,但在S3上进行远程存储。这可以做到吗?如果可以,怎么做? 最佳答案 1使用JGit通过http://blog.spearce.org/2008/07/using-jgit-to-publish-on-amazon-s3.html下载jgit.sh,将其重命名为jgit并将其放入您的路径(例如$HOME/bin)。设置.jgit配置文件并添加以下内容(替换您的

node.js - 如何将同名文件上传到 Amazon S3 并覆盖现有文件?

s3.putObject({Bucket:bucketName,Key:fileName,Body:file,ACL:'bucket-owner-full-control'},function(err,data){if(err){console.log(err);}console.log(data)});我使用此代码将图像上传到我的AmazonS3云存储。但我无法上传同名文件(该名称已存在于服务器S3上)。如何上传同名文件并覆盖S3中已有的文件?感谢您的帮助:) 最佳答案 默认情况下,当您上传同名文件时。它将覆盖现有文件。如果您希望

node.js - 使用 Node js的S3文件上传流

我正在尝试使用具有要求的Nodejs服务器在亚马逊S3上流式传输文件的解决方案:不要将临时文件存储在服务器或内存中。但是在某些限制下不完整的文件,可以使用缓冲来上传。对上传的文件大小没有限制。在文件上传完成之前不要卡住服务器,因为在上传大量文件的情况下,其他请求的等待时间会意外地出现增加。我不想使用从浏览器直接上传文件,因为在这种情况下需要共享S3凭据。从nodejs服务器上传文件的另一个原因是上传文件之前可能还需要应用一些身份验证。我尝试使用node-multiparty来实现这一点。但它没有按预期工作。您可以在https://github.com/andrewrk/node-mul

python - S3 的 Django 存储后端

我正在寻找与AmazonS3一起使用的良好Django自定义存储后端。我一直在谷歌搜索,发现了很多包含代码片段或半生不熟的gist.github.com一次性工作的博客文章。但我似乎找不到一个可靠的、经过充分测试的。是否有广泛接受的标准AmazonS3Django自定义存储后端?它使用什么Python后端库对我来说并不重要——即S3.py或boto都可以。 最佳答案 您查看过django-storages?我会倾向于使用boto库,因为我对boto有很好的体验。 关于python-S3的

ruby - 如何在 Ruby 中执行相当于 's3cmd ls s3://some_bucket/foo/bar' 的操作?

我如何在Ruby中执行与“s3cmdlss3://some_bucket/foo/bar”等效的操作?我找到了适用于Ruby的AmazonS3gem以及正确的AWSS3库,但不知何故,如何在S3“文件夹”之类的位置上执行简单的“ls”之类的命令并不是很明显。 最佳答案 使用awsgem这应该可以解决问题:s3=Aws::S3.new(YOUR_ID,YOUR_SECTRET_KEY)bucket=s3.bucket('some_bucket')bucket.keys('prefix'=>'foo/bar')

ruby - 如果存储桶中已存在确切文件,则不要上传到 aws s3

我想定期将图像从本地目录推送到s3,但我不想覆盖之前推送但此后未更改的文件。以下是我考虑过的选项:比较内容长度。缺点:新版本的文件可能具有相同的内容长度但有所不同。将本地修改信息存储在s3元数据中,以便在推送时进行比较。缺点:这需要一个POST和一个PUT,使上传的数据加倍,增加了推送任务的开销,并且在不同机器上运行时可能会不一致。一定有更好的方法。我错过了什么?附言我在rake任务中使用aws-s3gem。 最佳答案 带有--sync选项的s3cmd是一个很好的工具。http://s3tools.org/s3cmd

php - 如何在我的主机上创建 Amazon S3 克隆?

我目前正在构建存储服务,但我的规模很小,不想设置或支付AmazonS3帐户。我已经拥有自己想要使用的托管服务。但是,如果需要的话,我想让切换到AmazonS3变得简单。因此,我基本上想在我的服务器上有一个S3“克隆”,稍后我可以简单地将其重定向到亚马逊服务器。有没有可以做到这一点的包?编辑:我在无法安装软件的共享服务器上,是否有一个简单的php页面可以执行此操作? 最佳答案 Nimbus允许的。来自常见问题解答:CumulusisanopensourceimplementationoftheS3RESTAPI.Somefeature

php - 使用 s3 作为数据存储的 CMS?

我想知道是否有人对使用S3作为数据存储的DAM(数字Assets管理器)有任何建议?我想要以下功能:存储在S3(或其他一些云存储)中的Assets“标记”Assets的能力使用CDN(例如Cloudfront或Akamai)交付Assets这可以是任何语言的解决方案,但如果它是基于Web的解决方案,则首选PHP/RubyonRails。我了解自己使用Paperclip/CarrierWave和acts-as-taggable-on滚动我自己,但我正在寻找一些输入!谢谢!编辑:我想更改要求。我不是在寻找CMS,而是在寻找DAM(数字Assets管理器)。谢谢!

php - 在 Amazon S3 中旋转图像

我在AmazonS3中有一堆图像需要进行物理旋转。我目前通过将图像下载到我的服务器、使用GD旋转它并将其覆盖回S3来执行此操作。此过程每张图片大约需要5秒。我想知道是否有任何AWSAPI或类似的API可以直接在S3中执行此轮换,最好是在批处理模式下?如果有任何有这方面经验的人能给我指点,我将不胜感激! 最佳答案 无法在S3上旋转图像。您采用的任何方法都必须从S3读取文件,进行轮换,然后将其写回S3。如果您现在执行此操作的服务器不是EC2实例,那么值得尝试在那里执行此操作-延迟会减少很多。Lambda是您的另一个选择,因为它将在AWS