我正在使用hadoop流、python、matlab和elasticmapreduce编写分布式图像处理应用程序。我已经使用matlab编译器编译了我的matlab代码的二进制可执行文件。我想知道如何将其合并到我的工作流程中，以便二进制文件成为Amazon的弹性mapreduce处理的一部分？看来我必须使用Hadoop分布式缓存？代码非常复杂(而且不是我写的)所以现在不可能将它移植到另一种语言。谢谢 最佳答案 以下内容并不完全是对您的Hadoop问题的回答，但我忍不住要问您为什么不在Grid资源上执行处理作业？有用于在网格上执行计算

我在1个主节点和25个核心节点上运行AmazonElasticMapReduce(EMR)作业。引导操作在主节点上完成，但它们卡在核心节点上。构成map步骤的约5000个(共5200个)任务随后被报告为“正在运行”，而其余任务则为“待定”。然而，因为核心节点挂起，实际上没有任何东西在运行；我可以说是因为没有写入中间输出。大约30分钟后，所有之前“正在运行”的任务都被标记为“killed_unclean”并转为“待处理”。几分钟后，核心节点上的引导操作完成，但没有任何任务从“待定”状态转变为“运行状态”。当我使用2个核心节点而不是25个核心节点运行作业时，不会出现此问题；任务按预期完成。

我开始在HadoopMapReduce框架上实现KMeans算法。在这方面，我正在使用AmazonWebServices提供的弹性MapReduce。我想创建一个HDFS文件以在其上保存初始集群坐标，并在其上存储reducer的最终结果。我在这里完全困惑。无论如何要创建或“上传”这个文件到HDFS格式，以便所有映射器都能看到。有这方面的说明吗？谢谢。 最佳答案 最后我知道了怎么做。所以，为了将HDFS文件上传到集群中。您必须通过Putty连接到您的集群(通过使用安全key)。然后编写这些命令hadoopdistcps3://buck

我的问题是:我应该自己关心映射器中的多重处理(从标准输入读取任务，然后将它们分配给工作进程，在主进程中组合结果并输出到标准输出)还是Hadoop会自动处理它？我在HadoopStreaming文档和AmazonElasticMapReduce常见问题解答中都没有找到答案。 最佳答案 Hadoop有一个“槽”的概念。Slot是mapper进程运行的地方。您配置每个tasktracker节点的槽数。它是映射进程的理论最大值，它将在每个节点上并行运行。如果没有足够的输入数据的单独poprtions(称为FileSplits)，它可能会更少

为了加快jar到s3的上传速度，我想将我所有常用的jar复制到普通hadoop中的“$HADOOP_HOME/lib”之类的地方。我是否可以创建预安装这些库的自定义EMRhadoop实例。或者有更简单的方法？ 最佳答案 您可以将此作为引导操作来执行。这就像放置一个脚本来复制到S3一样简单，然后如果您从命令行启动EMR，请添加如下参数:--bootstrap-action's3://my-bucket/boostrap.sh'或者，如果您通过网络界面执行此操作，只需在相应字段中输入位置即可。

我已成功安装AmazonElasticMapReduce命令行工具。在列出当前作业流程时，使用以下命令$./elastic-mapreduce--list它抛出以下错误。Error:Requesthasexpired.Timestampdate:2013-07-09T02:48:00-07:00 最佳答案 检查时间戳(即)主节点时间、机器时间应该相等。那么只有你会得到正确的回应。您可以通过putty查看您的主节点实例的时间戳。 关于eclipse-无法在Elasticmapreduce命

我有两个大文件并将它们上传到名为“ccssdd”的AmazonS3存储桶中，并创建了一个名为data的文件夹:数据/友谊.xml数据/用户.xml用户结构是12447football..和13..我需要编写一个作业jar以在AmazonElasticMapReduce上运行它以计算:找出每个用户的friend数。我知道我应该从每个友谊元素中生成对作为map函数的输出在reduce函数中，我应该将每个用户ID的“1”相加。1_我知道我可以在eclipse中运行我的应用程序以生成.jar作业文件，但我不知道我应该下载哪些库并将其添加到项目中。2-我真的不知道如何将我的应用程序连接到s3!并

我正在尝试在我们自己的VPC上启动EC2集群。我可以使用命令在AWS中启动它，但如果我指定我们自己的VPC/子网，它就无法启动集群(因此，我们不是在谈论将在其上运行的作业——我们正在谈论启动默认集群本身)。显然，这一定与sub和AWS的Hadoop有关(尽管它不是常见的“无法在主RouteTable中找到到InternetGateway的路由”错误)。我无法从日志中确定任何原因。这在命令行和使用AWSWeb控制台时都会发生。我们不会在集群上执行任何自定义操作/环境。这是子网的详细信息DestinationTarget10.0.0.0/16local0.0.0.0/0igw-2235d2

事实证明，在引导操作中将大文件(~6GB)从S3复制到ElasticMapReduce集群中的每个节点并不能很好地扩展；管道只有这么大，随着#个节点变大，到节点的下载会受到限制。我正在运行一个包含22个步骤的作业流程，其中可能有8个步骤需要此文件。当然，我可以从S3复制到HDFS并在每一步之前缓存文件，但这是一个主要的速度killer(并且会影响可伸缩性)。理想情况下，作业流将从每个节点上的文件开始。至少有一些StackOverflow问题间接地解决了通过作业流程持久化缓存文件的问题:Re-usefilesinHadoopDistributedcache,Lifeofdistribut

我在S3目录中有大量文本文件。对于每个文本文件，我想应用一个函数(通过Bootstrap加载的可执行文件)，然后将结果写入S3输出目录中另一个同名的文本文件。所以在我的MapReduce作业中没有明显的reducer步骤。我曾尝试使用NONE作为我的reducer，但输出目录中充满了part-00000、part-00001等文件。而且这些文件的数量比我输入目录中的文件还要多；每个部分文件只代表一个处理过的片段。如有任何建议，我们将不胜感激。 最佳答案 Hadoop提供了一个名为IdentityReducer的缩减器。Identit