草庐IT

aws-codebuild

全部标签

ios - 在 AWS iOS SDK 中,如何处理 FORCE_CHANGE_PASSWORD 用户状态

我已经按照这里的示例https://github.com/awslabs/aws-sdk-ios-samples/tree/master/CognitoYourUserPools-Sample将交互式Cognito登录集成到我的iOS应用程序中。这一切都运行良好,但是当在池中创建新用户时,他们最初具有FORCE_CHANGE_PASSWORD状态。对于安卓你可以按照下面的步骤http://docs.aws.amazon.com/cognito/latest/developerguide/using-amazon-cognito-user-identity-pools-android-s

ios - 使用 iOS SDK 将文件上传到 AWS S3 时空白自定义元数据

我正在使用AWSS3TransferUtility将文件从iOS上传到S3,并尝试在文件上设置自定义元数据。我正在使用元数据键X-Amz-Meta-uploadParameters和值“Test”对其进行测试。它在请求header中正确显示:...&X-Amz-Expires=2999&X-Amz-Meta-uploadParameters=Test&X-Amz-Security-Token=...显然发生了一些事情,因为在上传之后,keyuploadparameters确实出现在S3控制台的对象属性中,但值为空。为了仔细检查,我使用了CLI中的s3api--head-object,这

AWS eks绑定alb 使用aws-load-balancer-controller(Ingress Controller)提供服务

作者:SRE运维博客博客地址:https://www.cnsre.cn/文章地址:https://www.cnsre.cn/posts/211217431135/相关话题:https://www.cnsre.cn/tags/aws/最近在AWS平台创建了EKS用于测试环境项目,EKS创建完以后我打算使用Ingress控制器来暴露服务,ingress前在添加一个ALB负载均衡器,这样就可以实现完全的高可用了。但是在创建好ingress却发现无法调通服务,查看aws官方文档AmazonEKS上的应用程序负载均衡发现需要使用aws-load-balancer-controller.本文档的目标:创建

ios - 使用AWS IOS SDK验证用户身份

我创建了一个执行以下操作的lamdba函数:varparam={IdentityPoolId:"us-east-1:the-full-identity-id",Logins:{}//Tohaveprovidernameinavariable};param.Logins["com.test.website.login"]=userIdICreatedAndStoredInDynamoDB;cognitoidentity.getOpenIdTokenForDeveloperIdentity(param,function(err,data){if(err)returnfn(err);//an

iOS – 同步上传到 AWS S3

所有aws-sdk-ios示例都使用AWSS3TransferManager来异步上传数据。例如:https://github.com/awslabs/aws-sdk-ios-samples/blob/master/S3TransferManager-Sample/Swift/S3TransferManagerSampleSwift/UploadViewController.swift#L81现在通常这很好,但由于其他原因我的工作已经在NSOperation子类中,所以我想同步上传到S3以保持简单(否则,我会需要实现一个异步的NSOperation,并且有更多样板...)有人知道怎么做

hadoop - 需要帮助在 aws 中设置 hadoop 集群

我想在aws中设置一个总容量约为100T的hadoop集群。如果我按照http://aws.amazon.com/ec2/instance-types/选择aws实例,我没有得到理想的数据节点配置,我想为工作节点使用本地磁盘(SSD/NON-SSD)。例如如果我为数据节点选择cc2.8xlarge实例,那么对于100T,我将不得不设置30个cc2.8xlarge实例,这将非常昂贵。您能否建议我应该如何在aws(EC2)中配置我的集群,使其具有最少的数据节点数,或者aws中的hadoop是否有任何标准配置? 最佳答案 听起来您很想考虑

java - 如何用Java从AWS读取Common Crawl的所有数据?

我对Hadoop和MapReduce编程完全陌生,我正在尝试使用CommonCrawl的数据编写我的第一个MapReduce程序。我想从AWS读取2015年4月的所有数据。例如,如果我想在命令行中下载2015年4月的所有数据,我会这样做:s3cmdgets3://aws-publicdatasets/common-crawl/crawl-data/CC-MAIN-2015-18/segments/1429246633512.41/wat/*.warc.wat.gz此命令行有效,但我不想下载2015年4月的所有数据,我只想读取所有“warc.wat.gz”文件(以便分析数据)。我试着创建

hadoop - 通过 aws EMR 在 Kinesis 流上运行 hadoop pig 脚本

我正在尝试使用AWSEMR上的pig脚本批处理运动流中的一些数据。我只需要对流数据进行分组并将其移动到s3。我试图每隔几个小时运行一次。起初它似乎非常适合AWSDataPipeline,但我不知道如何传递迭代号以用于运动检查点。看起来没有任何方法可以增加数字以传递给pig脚本。我看过这个例子here,它涉及一个始终在线的集群和一个crontab脚本,它们会增加迭代次数。有没有一种方法可以使用我缺少的AWSDataPipeline来实现这一点? 最佳答案 我们确实有一个使用DataPipeline来完成您想要的示例,但它使用Hive而

hadoop - 在 Hortonworks Hadoop (AWS EC2) 上访问 WebHDFS

我在AmazonEC2机器上遇到WebHDFS访问问题。顺便说一句,我已经安装了HortonworksHDP2.3。我可以使用以下http请求在浏览器(chrome)中从我的本地计算机检索文件状态:http://:50070/webhdfs/v1/user/admin/file.csv?op=GETFILESTATUS这工作正常,但如果我尝试使用?op=OPEN打开文件,它会将我重定向到我无法访问的机器的私有(private)DNS:http://:50075/webhdfs/v1/user/admin/file.csv?op=OPEN&namenoderpcaddress=:8020

amazon-web-services - 在选择定价时,hadoop 分发下的 aws EMR 亚马逊标准是什么

我正在尝试计算AWSEMR服务的定价。我用谷歌搜索,但在默认的hadoop分布列下找不到什么是亚马逊标准。 最佳答案 假设您在http://calculator.s3.amazonaws.com/index.html谈论定价计算器,“HadoopDistribution”下拉列表中的“AmazonStandard”选项只是指AWSEMR自己的Hadoop分布(当然还有其他BigData应用程序,如Hive、Spark、Pig等)。也就是说,不是MapR分布之一,它们也受支持但具有不同的成本结构。这是EMR的默认发行版,因此您会知道您