我有这样的配置:Hadoop:v2.7.1(yarn)一个输入文件:大小=100GB。3个从属:每个都有4个VCORES，速度=2GHz，RAM=8GB5个从属:每个都有2个VCORES，速度=1GHz，RAM=2GBMapReduce程序:WordCount如何通过将小的输入分割分配给5个较慢的从属设备并将大的输入分割分配给3个最快的从属设备来最小化WordCount执行时间？ 最佳答案 对于每台机器，您可以确定map/reduce插槽的数量，因此如果您想将较少的工作负载发送到您可以定义的较慢的机器，例如，每台较慢的机器有2个ma
我开始在集群上安装hadoop。我可以通过ssh访问这些机器，并且我已经在它们上面安装了fabric。我想知道是否有人已经编写了一个fabfile来轻松地将hadoop安装和部署到集群。我找到了这个项目[0]；但这是为在AWS实例上部署而编写的。我一直在寻找一些东西，我可以在其中填写我的机器的IP，然后执行一组fab命令来启动集群。[0]http://www.alexjf.net/blog/distributed-systems/hadoop-yarn-installation-definitive-guide/#ec2-deployment-with-fabric-script
我有一个由YARN管理的30节点HadoopMR2集群。当前有10个Oozie作业，每个作业运行一个Map程序。我注意到30个节点中只有11个被实际使用；只有11个节点有运行Map程序的容器。我希望每个节点至少有一个容器在运行。为什么不是这样呢？是否由于输入拆分，以及基于我的HDFSblock大小设置，输入数据最好只拆分为11个节点？如果是这样，调整block大小以便所有节点都得到利用是否更优化？ 最佳答案 根据请求，资源管理器会在集群中分配所需的资源。这些资源将用于运行您的mapreduce作业的容器。如果有足够的可用资源，数据节
有没有一种简单的方法可以将我的Hive数据库/表的结构(但不是数据)从一个Hadoop集群复制到另一个集群？我一直在寻找与mysqldump导出DDL的方式类似的东西，但没有找到任何我可以轻松使用的自动化东西。 最佳答案 您可以像下面这样轻松地创建一个显示表。SHOWCREATETABLEmyTable;您可以执行hive-e'showcreatetablemytable'>/some/location/mytable.code。然后您可以使用源代码调用来执行代码。祝你好运。 关于had
关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。这个问题似乎不是关于aspecificprogrammingproblem,asoftwarealgorithm,orsoftwaretoolsprimarilyusedbyprogrammers的.如果您认为这个问题是关于anotherStackExchangesite的主题，您可以发表评论，说明问题可能在哪里得到解答。关闭5年前。Improvethisquestion我配置了3台zookeeper服务器，如果其中2台坏了，有什么办法可以让集群正常工作》
大家好，新年快乐；)!我正在使用ApacheSpark、HDFS和Elastichsearch构建一个lambda架构。在下图中，这是我正在尝试做的事情:到目前为止，我已经用java为我的spark流和spark应用程序编写了源代码。我在spark文档中读到spark可以在Mesos或YARNclutser中运行。如图所示，我已经有一个hadoop集群。是否可以在同一个hadoop集群中运行我的sparkstreaming和spark应用程序？如果是，是否有任何特定的配置要做(例如节点数、RAM...)。或者我是否必须添加专门用于Spark流的hadoop集群？我希望我的解释很清楚。亚
我对Mapreduce的工作原理有点困惑。我已经阅读了一些文章，但没有得到正确的答案。场景:我在HDFS上存储了一个大小为1TB的文件(假设它存储在/user/input/位置)。复制为3，block大小为128MB。现在，我想使用mapreduce分析这个1TB的文件。由于block大小为128MB，因此我总共将有8192个block。考虑到我在集群中有100台机器是否会在所有100个节点上生成8192个映射任务，平均分配映射器的数量？或者它只会在放置复制数据的那些节点上运行？ 最佳答案 Mappers的数量取决于InputSpl
我想将文件从不安全的HDFS集群传输到kerberized集群。我正在使用distcp来传输文件。我使用了以下命令。hadoopdistcp-Dipc.client.fallback-to-simple-auth-allowed=truehdfs://:8020/hdfs://:8020/在kerberized集群中执行上述命令后出现以下错误。java.io.EOFException:EndofFileExceptionbetweenlocalhostis:"";destinationhostis:";:java.io.EOFException;Formoredetailssee:ht
我有一个在aws上运行的CDH集群。还有一组服务在连接到ECS集群的不同ec2机器上运行。都在一个VPN中。我的用例是将数据从在ec2上运行的外部服务写入CDHhadoop集群。我正试图找出最好的方法。请建议我在python中实现这一目标的可能方法。 最佳答案 ApacheHadoop提供WebHDFS，这是进入HDFS操作的HTTP接口(interface)。这允许您使用任何PythonHTTP客户端库(例如httplib)来操作HDFS中的文件。,urllib或urllib2.事实上，您可以使用任何提供HTTP客户端库的编程语言
作为一些背景，我们有2个集群，目前用于生产和开发。作为其中的一部分，我们正在将文件(使用hadoopdistcp-update)从生产集群复制到开发集群，这些文件是由实时进程生成的(即它也有效地作为DR集群)。两个集群上的Hadoop版本相同:Hadoop2.6.0-cdh5.12.1然而，开发集群的存储容量只有实时集群的65%左右。为了解决这个问题，我们将默认复制因子设置为3用于实时，2用于开发。我注意到从实时复制到开发的文件的复制因子为3。我读了一些书，认为这应该是它的行为方式，即使这不是我想要的它的行为。我有两个问题:一些研究表明，-setrep可用于复制后，但-Ddfs.rep
