阅读Hadoop生成的系统日志，我可以看到与这行类似的行..2013-05-0616:32:45,118INFOorg.apache.hadoop.mapred.JobClient(main):Settingdefaultnumberofmaptasksbasedonclustersizeto:84有谁知道这个值是如何计算的？我怎样才能在我的程序中获得这个值？ 最佳答案 我搜索了Hadoop的源代码，但根本没有找到字符串Settingdefaultnumberofmaptasksbasedonclustersizeto(而我找到了其
这个问题不太可能帮助任何future的访问者；它只与一个小的地理区域、一个特定的时间点或一个非常狭窄的情况相关，这些情况并不普遍适用于互联网的全局受众。为了帮助使这个问题更广泛地适用，visitthehelpcenter.关闭9年前。我正在尝试使用Mahout运行集群程序。以下是我正在使用的java代码packagecom;importjava.io.File;importjava.io.IOException;importjava.util.ArrayList;importjava.util.List;importorg.apache.hadoop.conf.Configuratio
我使用的是Ubuntu10.04。我将hadoop作为一个独立的安装在本地目录中。~-desktop:~$hadoop/bin/hadoopversionHadoop1.2.0Subversionhttps://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2-r1479473CompiledbyhortonfoonMonMay606:59:37UTC2013Fromsourcewithchecksum2e0dac51ede113c1f2ca8e7d82fb3405Thiscommandwasrunusing/home
假设您有10GB数据，并且您希望通过使用Hadoop的MapReduce程序来处理它们。我不想在开始时将所有10GB复制到HDFS然后运行程序，而是想例如复制1GB并开始工作并在此期间逐渐添加剩余的9GB。我想知道在Hadoop中是否可行。谢谢，莫特萨 最佳答案 不幸的是，这在MapReduce中是不可能的。当您启动MapReduce作业时，设置过程的一部分是确定输入的block位置。如果输入只是部分存在，设置过程将只对这些block起作用，不会动态添加输入。如果您正在寻找流处理器，请查看ApacheStormhttps://sto
我们正在设置1个主节点和2个从节点。数据在postgres和hbase及其类似的数据集(相同的行数)中设置-6500万行。然而，对于相同的查询，我们没有发现HBase的性能有可衡量的提高。我的第一个想法是-HBase是否使用所有节点的计算能力来fork查询？也许这就是为什么性能没有明显提高的原因。为什么Postgres和HBase之间的性能会大致相同的任何其他原因？要查找的任何特定配置项？编辑:我在研究这个时发现的东西:http://www.flurry.com/2012/06/12/137492485#.VaQP_5QpBpg 最佳答案
当我启动hadoop集群时，它以安全模式运行。为什么系统进入安全模式。谁能解释一下？ 最佳答案 安全模式有两种方式。一个是我们可以强制将namenode切换到安全模式另一个是namenode因为一些问题自动进入安全模式。我们强制将namenode置于安全模式以执行维护事件。这样人们就不会向文件系统写入任何内容。在您的情况下，发生了第二件事。namenode进入安全模式的可能原因是。未报告的数据节点将导致丢失block，如果丢失的block大于限制，namenode将进入安全模式如果一些数据节点的存储被意外清除，如果没有block在集
我想从我的hadoop集群中删除数据节点，但又不想丢失我的数据。是否有任何技术可以将我要删除的节点上的数据复制到扩孔数据节点？ 最佳答案 您的hadoop集群的复制因子是多少？如果是默认的，一般是3，你可以直接删除datanode，因为数据会自动复制。这个过程一般由名称节点控制。如果你把集群的复制因子改成1，那么如果你删除这个节点，里面的数据就会丢失。您无法进一步复制它。 关于hadoop-如何在不丢失数据的情况下从hadoop集群中删除datanode，我们在StackOverflow
我们有两个cloudera5.7.1集群，一个使用Kerberos保护，一个不保护。是否可以在访问存储在安全集群中的Hive表时使用不安全的YARN集群运行Spark？(Spark版本为1.6)如果是这样，您能否解释一下如何配置它？更新:我想稍微解释一下我的问题背后的最终目标。我们的主要安全集群被大量使用，我们的工作无法在合理的时间内获得足够的资源来完成。为了克服这个问题，我们希望使用我们拥有的另一个不安全集群的资源，无需在集群之间复制数据。我们知道这不是最佳解决方案，因为数据局部性级别可能不是最佳解决方案，但这是我们目前可以提出的最佳解决方案。如果您有任何其他解决方案，请告诉我，因为
我有这段代码可以从Hadoop文件系统中获取文件。我在单个节点上安装了hadoop，并从我的本地机器上运行了这段代码，看看它是否能够从该节点上的HDFS设置中获取文件。它奏效了。packagecom.hdfs.test.hdfs_util;/*Copyfilefromhdfstolocaldiskwithouthadoopinstallation**paramsaresomethinglike*hdfs://node01.sindice.net:8020/user/bob/file.zipfile.zip**/importjava.io.IOException;importorg.ap
我想在多节点集群上安装HadoopHDFS和Spark。我能够在多节点集群上成功安装和配置Hadoop。我还在主节点上安装并配置了Spark。我怀疑我是否也必须在从站中配置spark？ 最佳答案 IhavedoubtthatIhavetoconfigurethesparkinslavesaswell?你不应该。你完成了。您所做的比将Spark应用程序提交到HadoopYARN(我总结是集群管理器)所做的更多。Spark是一个用于对海量数据集进行分布式计算的库，因此它仅属于您的Spark应用程序(而不是您可能使用的任何集群)。是时候s
