草庐IT

s3_direct_upload

全部标签

ios - 在 iOS 或 Node.js 中上传到 S3

关闭。这个问题需要更多focused.它目前不接受答案。想改进这个问题吗?更新问题,使其只关注一个问题editingthispost.关闭8年前。Improvethisquestion我正在开发一个iOS应用程序,它将上传图像和视频并按用户保存。我能够集成amazons3并从iOS应用程序上传,我已经有一个node.js后端,我保留关于我保存在S3中的文件的元数据和我从iOS取回的S3Id。我的问题是:这是一个好的架构,还是我应该将S3保存事件移至后端?移动设备或后端应该如何处理其他应用程序(如instagram/vine)?谢谢

ios - 使用 accesskey 和 secretkey 从 S3 服务器下载安全文件

我正在尝试使用NSURLSessionDownloadTask从S3服务器下载安全文件,但它返回403错误(拒绝访问)。我的代码:NSMutableURLRequest*request=[[NSMutableURLRequestalloc]initWithURL:[NSURLURLWithString:@"https://xxx.amazonaws.com/bucket-name/file_name"]];request.HTTPMethod=@"GET";[requestsetValue:@"kAccessKey"forHTTPHeaderField:@"accessKey"];[r

iOS – 同步上传到 AWS S3

所有aws-sdk-ios示例都使用AWSS3TransferManager来异步上传数据。例如:https://github.com/awslabs/aws-sdk-ios-samples/blob/master/S3TransferManager-Sample/Swift/S3TransferManagerSampleSwift/UploadViewController.swift#L81现在通常这很好,但由于其他原因我的工作已经在NSOperation子类中,所以我想同步上传到S3以保持简单(否则,我会需要实现一个异步的NSOperation,并且有更多样板...)有人知道怎么做

ios - Alamofire(雨燕3) : Ambiguous reference to member 'upload(..'

我将Alamorefire用于Swift3但出现错误:对成员“上传”的引用不明确。这是我的代码:Alamofire.upload(.post,url,multipartFormData:{multipartFormDatain//importparametersforiin0..我的代码有什么问题? 最佳答案 试试下面的代码Alamofire.upload(multipartFormData:{(multipartFormData)inmultipartFormData.append(UIImageJPEGRepresentatio

ios - 谷歌地图 : How to draw dash line to connect with starting point of direction path on google map ios

我在我的项目中使用谷歌地图来获取方向和显示路线。我已完成所有操作,但无法绘制虚线以连接我所在位置或建筑物的路线起点。看我的app截图screenshot1现在我想像google-mapsscreenshot2那样画虚线任何意见和建议将不胜感激 最佳答案 要添加虚线以连接起点和终点,您必须在方向路径json响应中做更多的事情,我在某处绘制了直线虚折线,如果您有与代码相关的曲线,则也更新您的答案,Russell建议的链接对您帮助不大,DrawingRouteBetweenTwoPlacesonGMSMapViewiniOS你必须做以下事

hadoop - 大量的S3路径,为什么Hadoop需要这么长时间才能启动?

我有一个Hadoop作业,它有大约60kS3输入路径。这项工作大约需要45分钟才能开始。同样的工作,只有约3kS3输入路径几乎立即开始。为什么有大量输入路径会导致作业启动时间过长? 最佳答案 答案与FileInputPath.addInputPath(...)的实现方式有关。如果你看一下来源here,您会看到它实际上进行了字符串连接,以将所有这些路径保存到一个文件中。调用addInputPaths(...)只是调用addInputPath,所以那里没有节省。我最终调用了FileInputPath.setInputPaths(Job,

hadoop - Sqoop + S3 + Parquet 导致 Wrong FS 错误

尝试使用Sqoop将Parquet格式的数据导入S3时,如下:bin/sqoopimport--connect'jdbc:[conn_string]'--table[table]--target-dirs3a://bucket-name/--hive-drop-import-delims--as-parquetfile...我收到以下错误:ERRORtool.ImportTool:ImportedFailed:WrongFS:s3a://bucket-name/,expected:hdfs://localhost:9000我在导入非parquet数据或直接通过HDFS使用s3a时没有问

带有隐藏 key 对的 Hadoop distcp 到 S3a

如何隐藏访问AmazonS3的ACCESS_ID_KEY和SECRET_ACCESS_KEY?我知道将它添加到core-site.xml,但也许有不同的解决方案。因为使用这种方法,集群中的每个用户都将使用相同的key运行distcp。也许有一些解决方案,比如将它存储在每个集群用户的某个属性文件中?谢谢。 最佳答案 请看我的HCCpost在此用例中使用HadoopCredentialAPI。 关于带有隐藏key对的Hadoopdistcp到S3a,我们在StackOverflow上找到一个

hadoop - 如何在 S3 上指定 Hive EXTERNAL TABLE 数据的文件大小

我可以在Hive中创建一个EXTERNALTABLE,其中数据以Gzip格式存储在S3存储桶中。但是,这些文件非常大(每个超过6GB)。能否配置Hive使EXTERNALTABLE中的文件具有特定大小,比如512MB? 最佳答案 这对我来说听起来很奇怪,默认情况下,我的外部表通常有大约300MB的文件大小。无论如何,最简单的调整方法是使用PARTITIONBY键(可能是基于时间戳的东西),这将强制文件变小,并且具有使数据更容易的附加优势查询。此外,您应该考虑使用像Parquet这样的可拆分格式,因为这样文件大小就不再重要了。

hadoop - 在 EMR 3.10 中添加步骤或引导操作以将文件从本地复制到 s3

我正在使用AmazonEMR3.10将文件从本地复制到AmazonS3...我在参数中使用“script-runner.jar”,我在参数中提到了一个命令sudoawss3cp/home/hadoop/conf/hdfs-site.xmls3://testbucket/myfolder/--recursive....但是该步骤失败并抛出以下异常:Exceptioninthread"main"java.lang.RuntimeException:Localfiledoesnotexist.atcom.amazon.elasticmapreduce.scriptrunner.ScriptR