我已经开始使用hadoop,我是一个初学者。我已经成功地在 ubuntu 15.04 64 位中安装了 hadoop-2.6.0。 类似 start-all.sh、start-dfs.sh 等的通用命令运行良好。
当我尝试将本地文件系统移动到 HDFS 时遇到问题。
就像在 copyFromLocal 命令中一样: hadoop dfs -copyFromLocal ~/Hadoop/test/text2.txt ~/Hadoop/test_hds/input.txt 弃用:不推荐使用此脚本执行 hdfs 命令。 而是使用 hdfs 命令。
15/06/04 23:18:29 警告 util.NativeCodeLoader:无法为您的平台加载 native hadoop 库...在适用的情况下使用内置 java 类 copyFromLocal:从 royaljay-Inspiron-N4010/127.0.1.1 到 localhost:9000 的调用在连接异常时失败:java.net.ConnectException:连接被拒绝;有关详细信息,请参阅:http://wiki.apache.org/hadoop/ConnectionRefused
mkdir 命令中的同样问题:
hadoop dfs -put ~/test/test/test1.txt hd.txt 弃用:不推荐使用此脚本执行 hdfs 命令。 而是使用 hdfs 命令。
15/06/03 20:49:18 警告 util.NativeCodeLoader:无法为您的平台加载 native hadoop 库...在适用的情况下使用内置 java 类
put:无法创建文件/user/hduser/hd.txt。正在复制。名称节点处于安全模式。
我找到了很多解决方案,但没有一个解决方案。
如果有人对此有想法,请告诉我。
最佳答案
DEPRECATED: Use of this script to execute hdfs command is deprecated. Instead use the hdfs command for it.
您不应使用 hadoop dfs,而应使用以下命令:
hdfs dfs -copyFromLocal ...
不要使用~,而是提及完整路径,如/home/hadoop/Hadoop/test/text2.txt
Call From royaljay-Inspiron-N4010/127.0.1.1 to localhost:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
127.0.1.1 会造成环回问题。从 /etc/hosts 中删除带有 127.0.1.1 的行。
NOTE: For copying files from local filesystem to HDFS, try using -put command instead of -copyFromLocal.
关于hadoop - WARN util.NativeCodeLoader : Unable to load native-hadoop library for your platform. .. 在适用于 hadoop-2.6.0 的情况下使用内置 java 类,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30650910/