草庐IT

hadoop - distcp hdfs和hftp有什么区别,为什么distcp hdfs有效?

distcphdfs和hftp有什么区别,为什么distcphdfs有效?我们正在两个不同版本的集群之间复制HFDS文件。 最佳答案 distcphftp应该在两个不同版本的集群(不同版本的hadoop)之间复制数据时使用。该命令应该从目标集群执行,(更具体地说,在可以写入目标集群的TaskTracker上)应使用hftp:///指定来源。 关于hadoop-distcphdfs和hftp有什么区别,为什么distcphdfs有效?,我们在StackOverflow上找到一个类似的问题:

hadoop - 为什么 Hadoop hftp 会提供目录而不是文件?

我正在尝试使用distcp将文件从一个集群移动到另一个集群,使用他们的说明中指定的hftp协议(protocol)。我可以通过hftp读取目录,但是当我尝试获取文件时,我收到500(内部服务器错误)。为了消除网络和防火墙问题的可能性,我在源服务器上使用hadoopfs-ls和hadoopfs-cat命令来尝试解决这个问题。这提供了文件的目录:hadoopfs-lslogfiles/day_id=19991231/hour_id=1999123123-rw-r--r--3usernamesupergroup8122012-12-1617:21logfiles/day_id=1999123