我正在尝试设置多节点 Hadoop 集群。现在，我只尝试使用两个节点。一个是NameNode/DataNode(主机A)，另一个是第二个DataNode(主机B)。奇怪的是，我只能从主机 A 或主机 B 运行一个 DataNode。如果我从 conf/slaves 文件中删除主机 B，只保留主机 A，系统将使用主机 A作为数据节点。但是如果我把主机 A 和 B 都放在 conf/slaves 文件中，只有主机 B 会显示为系统中唯一的 DataNode。
主机A不工作时的日志如下:
************************************************************/
2013-07-31 10:18:16,074 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting DataNode
STARTUP_MSG: host = A.MYDOMAIN.com/192.168.1.129
STARTUP_MSG: args = []
STARTUP_MSG: version = 1.0.4
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1393290; compiled by 'hortonfo' on Wed Oct 3 05:13:58 UTC 2012
************************************************************/
2013-07-31 10:18:16,317 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
2013-07-31 10:18:16,334 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered.
2013-07-31 10:18:16,335 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).
2013-07-31 10:18:16,335 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: DataNode metrics system started
2013-07-31 10:18:16,470 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source ugi registered.
2013-07-31 10:18:16,842 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Registered FSDatasetStatusMBean
2013-07-31 10:18:16,855 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Opened info server at 50010
2013-07-31 10:18:16,858 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Balancing bandwith is 1048576 bytes/s
2013-07-31 10:18:16,932 INFO org.mortbay.log: Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog
2013-07-31 10:18:17,038 INFO org.apache.hadoop.http.HttpServer: Added global filtersafety (class=org.apache.hadoop.http.HttpServer$QuotingInputFilter)
2013-07-31 10:18:17,053 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: dfs.webhdfs.enabled = false
2013-07-31 10:18:17,054 INFO org.apache.hadoop.http.HttpServer: Port returned by webServer.getConnectors()[0].getLocalPort() before open() is -1. Opening the listener on 50075
2013-07-31 10:18:17,054 INFO org.apache.hadoop.http.HttpServer: listener.getLocalPort() returned 50075 webServer.getConnectors()[0].getLocalPort() returned 50075
2013-07-31 10:18:17,054 INFO org.apache.hadoop.http.HttpServer: Jetty bound to port 50075
2013-07-31 10:18:17,054 INFO org.mortbay.log: jetty-6.1.26
2013-07-31 10:18:17,437 INFO org.mortbay.log: Started SelectChannelConnector@0.0.0.0:50075
2013-07-31 10:18:17,444 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source jvm registered.
2013-07-31 10:18:17,446 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source DataNode registered.
2013-07-31 10:18:17,786 INFO org.apache.hadoop.ipc.Server: Starting SocketReader
2013-07-31 10:18:17,790 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source RpcDetailedActivityForPort50020 registered.
2013-07-31 10:18:17,791 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source RpcActivityForPort50020 registered.
2013-07-31 10:18:17,794 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: dnRegistration = DatanodeRegistration(A.MYDOMAIN.com:50010, storageID=DS-1991287861-192.168.1.129-50010-1373314691613, infoPort=50075, ipcPort=50020)
2013-07-31 10:18:17,817 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Starting asynchronous block report scan
2013-07-31 10:18:17,820 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(192.168.1.129:50010, storageID=DS-1991287861-192.168.1.129-50010-1373314691613, infoPort=50075, ipcPort=50020)In DataNode.run, data = FSDataset{dirpath='/disk2/clustering/support/hdfs/data/current'}
2013-07-31 10:18:17,824 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting
2013-07-31 10:18:17,825 INFO org.apache.hadoop.ipc.Server: IPC Server listener on 50020: starting
2013-07-31 10:18:17,827 INFO org.apache.hadoop.ipc.Server: IPC Server handler 0 on 50020: starting
2013-07-31 10:18:17,827 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: using BLOCKREPORT_INTERVAL of 3600000msec Initial delay: 0msec
2013-07-31 10:18:17,829 INFO org.apache.hadoop.ipc.Server: IPC Server handler 1 on 50020: starting
2013-07-31 10:18:17,830 INFO org.apache.hadoop.ipc.Server: IPC Server handler 2 on 50020: starting
2013-07-31 10:18:17,831 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Starting Periodic block scanner.
2013-07-31 10:18:17,831 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Finished asynchronous block report scan in 14ms
2013-07-31 10:18:17,845 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Generated rough (lockless) block report in 12 ms
2013-07-31 10:18:17,848 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Reconciled asynchronous block report against current state in 2 ms
2013-07-31 10:18:20,828 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Reconciled asynchronous block report against current state in 0 ms
2013-07-31 10:18:20,838 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: DataNode is shutting down: org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.protocol.UnregisteredDatanodeException: Data node 192.168.1.129:50010 is attempting to report storage ID DS-1991287861-192.168.1.129-50010-1373314691613. Node 192.168.1.128:50010 is expected to serve this storage.
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getDatanode(FSNamesystem.java:4608)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.processReport(FSNamesystem.java:3460)
at org.apache.hadoop.hdfs.server.namenode.NameNode.blockReport(NameNode.java:1001)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:563)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1388)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1384)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1382)
at org.apache.hadoop.ipc.Client.call(Client.java:1070)
at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:225)
at $Proxy5.blockReport(Unknown Source)
at org.apache.hadoop.hdfs.server.datanode.DataNode.offerService(DataNode.java:958)
at org.apache.hadoop.hdfs.server.datanode.DataNode.run(DataNode.java:1458)
at java.lang.Thread.run(Thread.java:662)
2013-07-31 10:18:20,839 INFO org.mortbay.log: Stopped SelectChannelConnector@0.0.0.0:50075
2013-07-31 10:18:20,942 INFO org.apache.hadoop.ipc.Server: Stopping server on 50020
2013-07-31 10:18:20,943 INFO org.apache.hadoop.ipc.Server: IPC Server handler 0 on 50020: exiting
2013-07-31 10:18:20,944 INFO org.apache.hadoop.ipc.Server: IPC Server handler 2 on 50020: exiting
2013-07-31 10:18:20,944 INFO org.apache.hadoop.ipc.Server: Stopping IPC Server listener on 50020
2013-07-31 10:18:20,943 INFO org.apache.hadoop.ipc.Server: IPC Server handler 1 on 50020: exiting
2013-07-31 10:18:20,945 INFO org.apache.hadoop.ipc.metrics.RpcInstrumentation: shut down
2013-07-31 10:18:20,945 INFO org.apache.hadoop.ipc.Server: Stopping IPC Server Responder
2013-07-31 10:18:20,945 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Waiting for threadgroup to exit, active threads is 1
2013-07-31 10:18:20,945 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(192.168.1.129:50010, storageID=DS-1991287861-192.168.1.129-50010-1373314691613, infoPort=50075, ipcPort=50020):DataXceiveServer:java.nio.channels.AsynchronousCloseException
at java.nio.channels.spi.AbstractInterruptibleChannel.end(AbstractInterruptibleChannel.java:185)
at sun.nio.ch.ServerSocketChannelImpl.accept(ServerSocketChannelImpl.java:157)
at sun.nio.ch.ServerSocketAdaptor.accept(ServerSocketAdaptor.java:84)
at org.apache.hadoop.hdfs.server.datanode.DataXceiverServer.run(DataXceiverServer.java:131)
at java.lang.Thread.run(Thread.java:662)
2013-07-31 10:18:20,945 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exiting DataXceiveServer
2013-07-31 10:18:21,905 INFO org.apache.hadoop.hdfs.server.datanode.DataBlockScanner: Exiting DataBlockScanner thread.
2013-07-31 10:18:21,945 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Waiting for threadgroup to exit, active threads is 0
2013-07-31 10:18:22,047 INFO org.apache.hadoop.hdfs.server.datanode.FSDatasetAsyncDiskService: Shutting down all async disk service threads...
2013-07-31 10:18:22,048 INFO org.apache.hadoop.hdfs.server.datanode.FSDatasetAsyncDiskService: All async disk service threads have been shut down.
2013-07-31 10:18:22,048 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(192.168.1.129:50010, storageID=DS-1991287861-192.168.1.129-50010-1373314691613, infoPort=50075, ipcPort=50020):Finishing DataNode in: FSDataset{dirpath='/disk2/clustering/support/hdfs/data/current'}
2013-07-31 10:18:22,050 WARN org.apache.hadoop.metrics2.util.MBeans: Hadoop:service=DataNode,name=DataNodeInfo
javax.management.InstanceNotFoundException: Hadoop:service=DataNode,name=DataNodeInfo
at com.sun.jmx.interceptor.DefaultMBeanServerInterceptor.getMBean(DefaultMBeanServerInterceptor.java:1094)
at com.sun.jmx.interceptor.DefaultMBeanServerInterceptor.exclusiveUnregisterMBean(DefaultMBeanServerInterceptor.java:415)
at com.sun.jmx.interceptor.DefaultMBeanServerInterceptor.unregisterMBean(DefaultMBeanServerInterceptor.java:403)
at com.sun.jmx.mbeanserver.JmxMBeanServer.unregisterMBean(JmxMBeanServer.java:506)
at org.apache.hadoop.metrics2.util.MBeans.unregister(MBeans.java:71)
at org.apache.hadoop.hdfs.server.datanode.DataNode.unRegisterMXBean(DataNode.java:522)
at org.apache.hadoop.hdfs.server.datanode.DataNode.shutdown(DataNode.java:737)
at org.apache.hadoop.hdfs.server.datanode.DataNode.run(DataNode.java:1471)
at java.lang.Thread.run(Thread.java:662)
2013-07-31 10:18:22,051 INFO org.apache.hadoop.ipc.Server: Stopping server on 50020
2013-07-31 10:18:22,051 INFO org.apache.hadoop.ipc.metrics.RpcInstrumentation: shut down
2013-07-31 10:18:22,051 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Waiting for threadgroup to exit, active threads is 0
2013-07-31 10:18:22,051 WARN org.apache.hadoop.metrics2.util.MBeans: Hadoop:service=DataNode,name=FSDatasetState-DS-1991287861-192.168.1.129-50010-1373314691613
javax.management.InstanceNotFoundException: Hadoop:service=DataNode,name=FSDatasetState-DS-1991287861-192.168.1.129-50010-1373314691613
at com.sun.jmx.interceptor.DefaultMBeanServerInterceptor.getMBean(DefaultMBeanServerInterceptor.java:1094)
at com.sun.jmx.interceptor.DefaultMBeanServerInterceptor.exclusiveUnregisterMBean(DefaultMBeanServerInterceptor.java:415)
at com.sun.jmx.interceptor.DefaultMBeanServerInterceptor.unregisterMBean(DefaultMBeanServerInterceptor.java:403)
at com.sun.jmx.mbeanserver.JmxMBeanServer.unregisterMBean(JmxMBeanServer.java:506)
at org.apache.hadoop.metrics2.util.MBeans.unregister(MBeans.java:71)
at org.apache.hadoop.hdfs.server.datanode.FSDataset.shutdown(FSDataset.java:2067)
at org.apache.hadoop.hdfs.server.datanode.DataNode.shutdown(DataNode.java:799)
at org.apache.hadoop.hdfs.server.datanode.DataNode.run(DataNode.java:1471)
at java.lang.Thread.run(Thread.java:662)
2013-07-31 10:18:22,052 WARN org.apache.hadoop.hdfs.server.datanode.FSDatasetAsyncDiskService: AsyncDiskService has already shut down.
2013-07-31 10:18:22,052 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exiting Datanode
2013-07-31 10:18:22,055 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down DataNode at A.MYDOMAIN.com/192.168.1.129
如果有任何见解，我将不胜感激。谢谢。
编辑:配置文件如下:
core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://A.MYDOMAIN.COM:9000</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/disk2/clustering/support/hdfs/data</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/disk2/clustering/support/hdfs/name</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/disk2/clustering/support/hdfs/tmp</value>
</property>
</configuration>
slaves (on host A only, host B is default localhost)
A.MYDOMAIN.COM
B.MYDOMAIN.COM
masters (on host A only, host B is default localhost)
A.MYDOMAIN.COM
更新:刚刚在集群中添加了另一台主机C，并使主机A仅作为NameNode(不是NameNode/DataNode)。问题是一样的。只有 1 台主机可以作为 DataNode 运行。有任何想法吗？非常感谢。
最佳答案
问题解决了。我看了报错信息
Node 192.168.1.128:50010 is expected to serve this storage
并且发现，当我将设置从一台服务器复制到另一台服务器时，我还复制了 HDFS 的本地数据目录 (dfs.data.dir)。这造成了冲突。一旦我清除了本地 dfs.data.dir 中的所有数据，DataNode 就可以毫无问题地启动。
关于hadoop - 在多节点 Hadoop 设置中只能运行一个数据节点，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/17975144/
总的来说，我对ruby还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用
我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看rubyzip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d
我在使用omniauth/openid时遇到了一些麻烦。在尝试进行身份验证时，我在日志中发现了这一点:OpenID::FetchingError:Errorfetchinghttps://www.google.com/accounts/o8/.well-known/host-meta?hd=profiles.google.com%2Fmy_username:undefinedmethod`io'fornil:NilClass重要的是undefinedmethodio'fornil:NilClass来自openid/fetchers.rb，在下面的代码片段中:moduleNetclass
我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta
我需要从一个View访问多个模型。以前，我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它，但这似乎不是“ruby方式”，我将需要在不久的将来访问更多模型。这可能会变得很脏，是否有针对这种情况的任何技术？注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展，本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向，这似乎很麻烦。最终从任何
我想要做的是有2个不同的Controller，client和test_client。客户端Controller已经构建，我想创建一个test_clientController，我可以使用它来玩弄客户端的UI并根据需要进行调整。我主要是想绕过我在客户端中内置的验证及其对加载数据的管理Controller的依赖。所以我希望test_clientController加载示例数据集，然后呈现客户端Controller的索引View，以便我可以调整客户端UI。就是这样。我在test_clients索引方法中试过这个:classTestClientdefindexrender:template=>
在选择我想要运行操作的频率时，唯一的选项是“每天”、“每小时”和“每10分钟”。谢谢!我想为我的Rails3.1应用程序运行调度程序。 最佳答案 这不是一个优雅的解决方案，但您可以安排它每天运行，并在实际开始工作之前检查日期是否为当月的第一天。 关于ruby-如何每月在Heroku运行一次Scheduler插件？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/8692687/
exe应该在我打开页面时运行。异步进程需要运行。有什么方法可以在ruby中使用两个参数异步运行exe吗？我已经尝试过ruby命令-system()、exec()但它正在等待过程完成。我需要用参数启动exe，无需等待进程完成是否有任何rubygems会支持我的问题？ 最佳答案 您可以使用Process.spawn和Process.wait2:pid=Process.spawn'your.exe','--option'#Later...pid,status=Process.wait2pid您的程序将作为解释器的子进程执行。除
我尝试运行2.x应用程序。我使用rvm并为此应用程序设置其他版本的ruby:$rvmuseree-1.8.7-head我尝试运行服务器，然后出现很多错误:$script/serverNOTE:Gem.source_indexisdeprecated,useSpecification.Itwillberemovedonorafter2011-11-01.Gem.source_indexcalledfrom/Users/serg/rails_projects_terminal/work_proj/spohelp/config/../vendor/rails/railties/lib/r