草庐IT

s3DistCp

全部标签

javascript - AWS S3 对象列表

我正在通过node.js使用aws-sdk。我想列出指定文件夹中的图像,例如我想列出此位置的所有文件和文件夹,但不列出文件夹(图像)内容。有listObjectfunction在aws-sdk中,但它也列出了所有嵌套文件。代码如下:varAWS=require('aws-sdk');AWS.config.update({accessKeyId:'mykey',secretAccessKey:'mysecret',region:'myregion'});vars3=newAWS.S3();varparams={Bucket:'mystore.in',Delimiter:'',Prefix

Node.js 和亚马逊 S3 : How to iterate through all files in a bucket?

是否有任何适用于Node.js的AmazonS3客户端库允许列出S3存储桶中的所有文件?最知名的aws2js和knox好像没有这个功能。 最佳答案 使用官方aws-sdk:varallKeys=[];functionlistAllKeys(marker,cb){s3.listObjects({Bucket:s3bucket,Marker:marker},function(err,data){allKeys.push(data.Contents);if(data.IsTruncated)listAllKeys(data.NextMar

node.js - 当我尝试向我的 S3 存储桶 (Node.js) 发送内容时,AWS 缺少凭证

我从昨天开始就遇到了这个问题,我很难找到解决方案。我正在尝试向我的S3存储桶发送一些东西,但是当我尝试时,此消息出现在我的控制台中:{[CredentialsError:Missingcredentialsinconfig]message:'Missingcredentialsinconfig',code:'CredentialsError',errno:'Unknownsystemerrno64',syscall:'connect',time:ThuOct09201414:03:56GMT-0300(BRT),originalError:{message:'Couldnotloadc

javascript - 使用适用于 Node.js 的 AWS 开发工具包将二进制文件上传到 S3

更新:为了将来引用,亚马逊现在更新了询问时的文档。根据@LorenSegal在下面的评论:-We'vecorrectedthedocsinthelatestpreviewreleasetodocumentthisparameterproperly.Sorryaboutthemixup!我正在试用theAWSSDKforNode.Js的开发者预览版并想使用putObject将压缩的tarball上传到S3。根据thedocumentation,Body参数应该是...Body-(Base64EncodedData)...因此,我正在尝试以下代码...varAWS=require('aws

node.js - AWS S3 node.js SDK 上传文件和文件夹权限

我正在使用aws-sdk包将文件上传到S3:fs.readFile(sourceFile,function(err,data){if(err){throwerr;}s3.client.putObject({Bucket:bucketName,Key:'Folder/image.jpg',Body:data},function(res){console.log('Successfullyuploadedfile.');})});我需要使上传的文件可以通过云端下载,如果我猜对了,我需要设置文件的权限:每个人都打开/下载,Folder2应该公开(通过菜单MakePublic)。所以2个问题:

node.js - 如何确定对象是否存在 AWS S3 Node.JS sdk

我需要使用AWS开发工具包检查文件是否存在。这是我正在做的事情:varparams={Bucket:config.get('s3bucket'),Key:path};s3.getSignedUrl('getObject',params,callback);它可以工作,但问题是当对象不存在时,回调(带有参数err和url)不会返回错误,当我尝试访问URL时,它会显示“NoSuchObject”。当对象不存在时,这个getSignedUrl方法不应该返回错误对象吗?如何确定对象是否存在?我真的需要调用返回的URL吗? 最佳答案 在创建签

javascript - 如何从 Node.js 中的 S3 getObject 获得响应?

在一个Node.js项目中,我试图从S3取回数据。当我使用getSignedURL时,一切正常:aws.getSignedUrl('getObject',params,function(err,url){console.log(url);});我的参数是:varparams={Bucket:"test-aws-imagery",Key:"TILES/Level4/A3_B3_C2/A5_B67_C59_Tiles.par"如果我将URL输出到控制台并将其粘贴到Web浏览器中,它会下载我需要的文件。但是,如果我尝试使用getObject我会得到各种奇怪的行为。我相信我只是使用不正确。这是

node.js - 使用 Node fs 从 aws s3 存储桶读取文件

我正在尝试使用读取awss3存储桶中的文件fs.readFile(file,function(err,contents){varmyLines=contents.Body.toString().split('\n')})我已经能够使用Nodeaws-sdk下载和上传文件,但我不知道如何简单地读取它并解析其内容。这是我如何从s3读取文件的示例:vars3=newAWS.S3();varparams={Bucket:'myBucket',Key:'myKey.csv'}vars3file=s3.getObject(params) 最佳答案

javascript - 通过 Node.js 将 base64 编码的图像上传到 Amazon S3

昨天我做了一个深夜编码session并创建了一个小型node.js/JS(实际上是CoffeeScript,但CoffeeScript只是JavaScript,所以可以说是JS)应用程序。目标是什么:客户端(通过socket.io)向服务器发送一个Canvasdatauri(png)服务器将图片上传到amazons3第1步完成。服务器现在有一个字符串aladata:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAMgAAADICAYAAACt...我的问题是:我接下来要如何“流式传输”/将这些数据上传到AmazonS3并在那里创建实际图像?诺克斯ht

amazon-web-services - Docker 挂载 S3 容器

在docker主机中安装S3容器的最佳做法是什么?有没有办法透明地做到这一点?还是我需要使用VOLUME指令将卷挂载到主机驱动器,然后使用CRON手动将文件备份到S3? 最佳答案 根据您想要完成的内容有不同的方法,但这是我使用s3fs-fuse的方法我创建了一个基于ubuntu的docker镜像包括一些有用的依赖项(根据我的要求)安装awscli安装s3fs-fuse在目录中挂载s3DockerfileFROMubuntu:18.04##SomeutilitiesRUNapt-getupdate-y&&\apt-getinstall