我有五台联网的电脑。其中一台为主控机，四台为从机。每台从机都有自己的一组数据(一个非常大的整数矩阵)。我想在四个不同的从机上运行四个不同的集群程序。然后，将结果带回主控计算机进行进一步处理(如可视化)。我最初想使用Hadoop。但是，我找不到任何好的方法将上述问题(特别是输出结果)转换为MapReduce框架。有没有什么好的开源分布式计算框架可以轻松完成上述任务？提前致谢。 最佳答案 你应该使用YARN用于管理多个集群或资源YARN是企业Hadoop的先决条件，提供资源管理和中央平台，以跨Hadoop集群提供一致的操作、安全和数据治
我们有HDP集群版本–2.6.4集群安装在redhat机器版本–7.2我们注意到JournalNodes机器(master机器)上存在以下问题我们有3台JournalNodes机器，在/tmp文件夹下我们有数千个空文件夹drwx------.2hivehadoop6Dec2009:00a962c02e-4ed8-48a0-b4bb-79c76133c3ca_resources还有很多文件夹drwxr-xr-x.4hivehadoop4096Dec1209:02hadoop-unjar6426565859280369566内容为beeline-log4j.propertiesBeeLin
我负责向一群人(假设5个人)教授Hadoop，但没有任何可用的硬件。他们每个人都有一台笔记本电脑，配备相当大的内存和处理器。我想让他们在自己的笔记本电脑之间创建一个Hadoop集群，这些笔记本电脑将连接到同一网络。到目前为止，我的想法是:创建一个预配置了ubuntu16的VM镜像(ubuntu16是我的选择)，为集群节点做好准备让他们每个人在自己的计算机上运行虚拟机在此VM网络之上创建集群但是，我有一些锁:1/是否可以创建位于不同机器上的VM的私有(private)网络，以便hadoop集群与链接物理机器的网络隔离？2/这种方法有什么问题？3/有没有更好的方法来处理在不同个人机器之间设
我想知道什么时候可以安全地从集群中的机器上删除节点。我的假设是，如果机器没有任何容器，并且它不存储任何有用的数据，那么移除机器可能是安全的。通过https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html的API，我们可以做到GEThttp:///ws/v1/cluster/nodes获取每个节点的信息如/default-rackRUNNINGhost1.domain.com:54158host1.domain.comhost1.domain.com:804214
我有5个节点的hadoop集群。我有两个问题1)当其中一个节点正在运行或处理数据速度非常慢(未停止)时可以做什么comapre到其他节点..？2)我已经设置了log4j来捕获日志，但是如何将所有节点的日志保存在名称节点或一台主服务器上......？请建议...!谢谢 最佳答案 问题一，不清楚哪个服务慢...Datanode？名称节点？也许您需要增加这些进程的堆大小，或者您存储的数据集严重偏向该服务器。您需要安装监控软件来捕获IO、CPU、网络等指标，以真正诊断出任何硬件瓶颈。从那里，确保一台服务器正在运行最新的操作系统补丁，有最新的
博客文章-http://petewarden.typepad.com/searchbrowser/2011/05/using-hadoop-with-external-api-calls.html-建议从Hadoop集群内部调用外部系统(查询twitterAPI或抓取网页)。对于我目前正在开发的系统，有快速和慢速(批量)子系统。数据是从Twitter的API中获取的——也用于快速、单独的检索。这可能是每天数十万(甚至数百万)个外部请求。还检索网页内容以进行进一步处理-至少具有相同规模的请求。除了对外部源的潜在副作用(更改数据以使其在下一个请求中有所不同)之外，以这种方式使用Hadoop
这个问题不太可能帮助任何future的访问者；它只与一个小的地理区域、一个特定的时间点或一个非常狭窄的情况有关，这些情况并不普遍适用于互联网的全局受众。为了帮助使这个问题更广泛地适用，visitthehelpcenter.关闭10年前。我正在尝试设置一个8节点开发集群。我对配置做了最小的改动。我将其中一个节点设置为所有节点上的种子。3个节点连接到种子，但还有4个不连接。我检查过所有非连接节点都可以访问种子的IP(它们甚至在同一子网上)。我的网络没问题。我验证了所有IP都是正确的。一个非连接节点显然访问了种子:INFO17:30:16,272StartingMessagingServic
有没有办法根据处理节点的总数在运行时设置此信息？job.setNumReduceTasks(NO_OF_REDUCERS);所以，假设我在一台刚刚配置了节点的个人笔记本电脑上编译我的代码，那么它应该将reducers的数量设置为1。但是，如果我为一个真正的大型集群编译它，那么它应该相应地设置。 最佳答案 查看org.apache.hadoop.mapreduce.ClusterMetrics;应该包含获取您正在寻找的信息的功能。我把它记在笔记里是为了别的；但这应该提供您正在寻找的集群信息以及一些其他详细信息。我正在研究它的reduc
我有两台机器。一台机器伪分布式运行HBase0.92.2，另一台机器使用Nutch2.x爬虫。如何配置这两台机器，使一台HBase-0.92.2作为后端存储，另一台Nutch-2.x作为爬虫？ 最佳答案 我终于做到了。我很容易做到。我在这里分享我的经验。也许它可以帮助某人。1-修改hbase-site.xml的配置文件为伪分布式模式。2-最重要的事情:在hbase机器上，像这样用你的真实网络ip替换/etc/hosts中的localhostip10.11.22.189主机本地主机hbase机器的ip=10.11.22.189(注意:
我正在编写使用openNLP的代码。我的代码在eclipse上完美运行，但是当我在集群上运行它的jar时，出现以下错误:Exceptioninthread"main"java.lang.NoClassDefFoundError:opennlp/tools/util/ObjectStreamatjava.lang.Class.forName0(NativeMethod)atjava.lang.Class.forName(Class.java:270)atorg.apache.hadoop.util.RunJar.main(RunJar.java:153)Causedby:java.lan
