我已经在macos上安装了Hadoop单节点集群1.0.1，并使用我在这个网站上找到的教程Material运行了一个例子:http://blogs.msdn.com/b/brandonwerner/archive/2011/11/13/how-to-set-up-hadoop-on-os-x-lion-10-7.aspx现在我正尝试在Hadoop上运行排序示例。它需要顺序文件作为输入。谁能帮我运行排序示例？(或者给我一些关于如何生成顺序文件作为输入的更多信息)。提前谢谢你..;-) 最佳答案 我假设您正在谈论TeraSort示例，在
我有一个有9个节点的linux集群，我已经安装了hadoop1.0.2。我有一个使用多个从站运行的GIS程序。我需要通过使用1、2、3、4..8个从节点来测量程序的加速。我使用start-all.sh/stop-all.sh脚本来启动/停止我的集群，一旦我通过改变从站的数量来更改conf/slaves文件。但是我在这样做时遇到了奇怪的错误，感觉我没有使用正确的技术来添加/删除集群中的从属节点。任何关于理想的“更改从属文件和重启集群的技术”的帮助将不胜感激。 最佳答案 问题可能是您不允许Hadoop从系统中正常删除节点。你想要做的是d
我目前在一个hadoop集群中有许多数据库，希望将这些数据库中的一些表索引到Solr索引中以供搜索。有没有办法做到这一点？或者是否有某种机制可以在hadoop本身中执行这种搜索？ 最佳答案 您可以使用hadoop本身。但是，如果您正在执行各种正则表达式搜索，那么solr是一个非常好的选择。您是使用hadoop中的hive还是hbase来存储数据库，还是存储在平面文件中？ 关于solr-如何使用Solr在hadoop集群中搜索数据库，我们在StackOverflow上找到一个类似的问题：
我在一个由多台机器组成的集群上运行我的hadoop作业，这些机器的大小未知(每台机器的主内存、核心数、大小等)。在不使用任何特定于操作系统的库(我的意思是*.so文件)的情况下，是否有任何适用于hadoop的类或工具本身或一些其他库，我可以在其中收集信息，例如在执行HadoopMR作业时:核心总数/作业使用的核心数总可用主内存/分配的可用主内存每台机器上的总存储空间/分配的存储空间4.我没有硬件信息或集群的规范，这就是为什么我想在我的hadoop代码中以编程方式收集此类信息的原因。我怎样才能做到这一点？由于不同的原因，我想知道这种信息。以下错误给出了一个原因:我想知道哪台机器空间不足。
我目前正在使用Solr作为NoSQL数据库。我已经为各种类型的文档编制了索引，这些文档有时之间存在关联。对于新用例，我必须执行Solr不支持的等效连接。我想知道是否有一种方法可以将map-reduce作业提交到hadoop，然后hadoop可以从Solr中提取数据并执行连接。我正在寻找:讨论执行此操作的现有开源项目示例代码或批评告诉我这既不容易完成，也不能在一般情况下完成。提前致谢。注意:我在这里看到了一些关于相关或类似主题的问题:here,here和here但我没有得到我要找的东西。 最佳答案 您有两个基本选项。1)使用SOLRR
我知道端口22仅用于控制脚本。但我需要知道应该为我的3节点集群打开哪些端口。2个奴隶，1个名称节点/jobtracker。守护进程在什么端口上运行？URL显示在哪些端口上？hadoop发行版是:ApacheHadoop版本1.0.3 最佳答案 通过URL，我假设您指的是JobTracker和TaskTracker接口(interface)。细目如下:Namenode50070Datanodes50075Secondarynamenode50090JobTracker50030TaskTracker50060
我想将#ofreducetasks设置为正好等于一个作业中可用的reduceslots的数量。默认情况下，reduce任务被计算为可用reduce插槽数量的约1.75倍(在ElasticMapreduce上)。我注意到我的工作非常均匀地完成reduce任务，因此最好在工作中每个reduce槽运行1个reducer。但是如何从我的作业配置中识别集群指标？ 最佳答案 你可以使用ClusterMetrics获取Map-Reduce集群当前状态信息的类，如集群大小、黑名单和退役跟踪器数量、集群槽容量、当前占用/保留的map&reduce槽数
cloudera有演示虚拟机https://ccp.cloudera.com/display/SUPPORT/Demo+VMs我有5个演示虚拟机，如何使用它们设置hadoop集群？我不想使用clouderamanager，因为它总是会导致失败，它告诉您无法获得心跳，我已经尝试了很多次并放弃了。cloudera没有显示如何使用演示虚拟机设置集群。谁能告诉我？ 最佳答案 观看这些视频，了解如何创建CDH群集，这并不难。https://www.youtube.com/watch?v=sCYOQufLzvUhttps://www.youtu
我正在研究将从cassandra读取数据的BI流程，使用MapReduce创建摘要并写回不同的键空间。从单个节点开始，一切都按我预期的那样工作，但是当移动到多节点时，我不确定我是否完全理解拓扑和配置。我有一个包含3个节点的设置。每个都有一个Cassandra节点(版本1.1.9)、数据节点和任务跟踪器(版本0.20.2+923.421-CDH3U5)。NameNode和作业跟踪器在不同的服务器上。此时我正在尝试从DataNode服务器运行Pig脚本。我不确定的是pig参数PIG_INITIAL_ADDRESS。我假设查询会在所有Cassandra节点上运行，每个任务跟踪器只会查询本地C
我有一个唯一的map程序，它有超过10张map。我的集群有5个节点，我的问题是:我可以安排将哪些映射任务运行到哪个节点吗？比如让1号映射运行在node1，3号映射运行在node3，9号映射运行在node5。如果我可以这样做，那么需要对我的代码和配置文件进行哪些更改。顺便说一句，我使用HDFS。谢谢! 最佳答案 无法在Hadoop中为map任务到节点映射设置亲和性。调度程序根据数据位置/槽状态自动决定在何处运行Map任务。 关于hadoop-如何在不同节点集群中调度hadoopmap任务，
