作者：SRE运维博客博客地址：https://www.cnsre.cn/文章地址：https://www.cnsre.cn/posts/211217431135/相关话题：https://www.cnsre.cn/tags/aws/最近在AWS平台创建了EKS用于测试环境项目，EKS创建完以后我打算使用Ingress控制器来暴露服务，ingress前在添加一个ALB负载均衡器，这样就可以实现完全的高可用了。但是在创建好ingress却发现无法调通服务，查看aws官方文档AmazonEKS上的应用程序负载均衡发现需要使用aws-load-balancer-controller.本文档的目标：创建

我创建了一个执行以下操作的lamdba函数:varparam={IdentityPoolId:"us-east-1:the-full-identity-id",Logins:{}//Tohaveprovidernameinavariable};param.Logins["com.test.website.login"]=userIdICreatedAndStoredInDynamoDB;cognitoidentity.getOpenIdTokenForDeveloperIdentity(param,function(err,data){if(err)returnfn(err);//an

所有aws-sdk-ios示例都使用AWSS3TransferManager来异步上传数据。例如:https://github.com/awslabs/aws-sdk-ios-samples/blob/master/S3TransferManager-Sample/Swift/S3TransferManagerSampleSwift/UploadViewController.swift#L81现在通常这很好，但由于其他原因我的工作已经在NSOperation子类中，所以我想同步上传到S3以保持简单(否则，我会需要实现一个异步的NSOperation，并且有更多样板...)有人知道怎么做

我想在aws中设置一个总容量约为100T的hadoop集群。如果我按照http://aws.amazon.com/ec2/instance-types/选择aws实例，我没有得到理想的数据节点配置，我想为工作节点使用本地磁盘(SSD/NON-SSD)。例如如果我为数据节点选择cc2.8xlarge实例，那么对于100T，我将不得不设置30个cc2.8xlarge实例，这将非常昂贵。您能否建议我应该如何在aws(EC2)中配置我的集群，使其具有最少的数据节点数，或者aws中的hadoop是否有任何标准配置？ 最佳答案 听起来您很想考虑

我对Hadoop和MapReduce编程完全陌生，我正在尝试使用CommonCrawl的数据编写我的第一个MapReduce程序。我想从AWS读取2015年4月的所有数据。例如，如果我想在命令行中下载2015年4月的所有数据，我会这样做:s3cmdgets3://aws-publicdatasets/common-crawl/crawl-data/CC-MAIN-2015-18/segments/1429246633512.41/wat/*.warc.wat.gz此命令行有效，但我不想下载2015年4月的所有数据，我只想读取所有“warc.wat.gz”文件(以便分析数据)。我试着创建

我正在尝试使用AWSEMR上的pig脚本批处理运动流中的一些数据。我只需要对流数据进行分组并将其移动到s3。我试图每隔几个小时运行一次。起初它似乎非常适合AWSDataPipeline，但我不知道如何传递迭代号以用于运动检查点。看起来没有任何方法可以增加数字以传递给pig脚本。我看过这个例子here，它涉及一个始终在线的集群和一个crontab脚本，它们会增加迭代次数。有没有一种方法可以使用我缺少的AWSDataPipeline来实现这一点？ 最佳答案 我们确实有一个使用DataPipeline来完成您想要的示例，但它使用Hive而

我在AmazonEC2机器上遇到WebHDFS访问问题。顺便说一句，我已经安装了HortonworksHDP2.3。我可以使用以下http请求在浏览器(chrome)中从我的本地计算机检索文件状态:http://:50070/webhdfs/v1/user/admin/file.csv?op=GETFILESTATUS这工作正常，但如果我尝试使用?op=OPEN打开文件，它会将我重定向到我无法访问的机器的私有(private)DNS:http://:50075/webhdfs/v1/user/admin/file.csv?op=OPEN&namenoderpcaddress=:8020

我正在尝试计算AWSEMR服务的定价。我用谷歌搜索，但在默认的hadoop分布列下找不到什么是亚马逊标准。 最佳答案 假设您在http://calculator.s3.amazonaws.com/index.html谈论定价计算器，“HadoopDistribution”下拉列表中的“AmazonStandard”选项只是指AWSEMR自己的Hadoop分布(当然还有其他BigData应用程序，如Hive、Spark、Pig等)。也就是说，不是MapR分布之一，它们也受支持但具有不同的成本结构。这是EMR的默认发行版，因此您会知道您

我想获取AWSEMR中任务实例组实例的数量。为此，我使用Cloudwatch检查每个任务实例组实例的心跳。但是我觉得，EMR说到底是一个使用hadoop的框架，hadoop的master肯定有活任务节点的信息。任何人都可以告诉我元数据链接(或任何文件位置)以获取此信息吗？ 最佳答案 我编写了一个Java工具来在处理过程中动态调整EMR集群的大小。它有一些代码来获取实例中的实例计数，作为它的一部分。也许这就是您要找的东西。在以下位置查看:http://www.lopakalogic.com/articles/hadoop-articl

我正在尝试创建一个概念证明，表明一家公司可以将他们的数据从他们的oracle12c数据库迁移到hadoop系统..为此，我在AWS上启动了一个OracleLinux7实例。我打算在上面安装Oracle12c。之后我必须创建虚拟表并将它们发送到Hadoop。这能做到吗？从我最初的研究中，我可以看到Sqoop和OracleGoldenGate可以做到这一点。如果它上线，我将不得不将数十亿条记录从oracle12c传输到HDFS。非常感谢任何帮助或建议.. 最佳答案 您必须使用sqoop将oracle数据转换为hive。您可以阅读此了解更