关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭6年前。ImprovethisquestionCloudera和Hortonworks使用HDFS，这是ApacheHadoop的基本概念之一。MapR使用自己的概念/实现。您可以直接使用native文件系统，而不是HDFS。您可以在MapR的网站上找到使用这种方法的很多优势。我想知道这种方法有什么缺点？
在为我当前的一个项目构建基础架构时，我遇到了替换现有HDFS文件的问题。更准确地说，我想执行以下操作:我们有几台机器(日志服务器)不断生成日志。我们有一台专用机器(日志预处理器)负责从日志服务器，对它们进行预处理并上传到我们的Hadoop集群的HDFS。预处理分为3个步骤:对于每个logserver:过滤(并行)收到的日志block(输出文件大约60-80mb)合并(合并排序)第1步的所有输出文件并进行一些小的过滤(此外，30分钟的文件合并为1小时的文件)使用来自外部数据库的当前映射，处理步骤#2中的文件以获得最终日志文件，并将此文件放入HDFS。最终日志文件将用作在HADOOP集群上
为了组成一个hadoop集群，我在几台笔记本电脑上安装了hadoop。首先，我们以伪分布式模式安装，除了一个非常完美的地方(即所有服务都在运行，当我使用hadoopfs进行测试时，它显示了hdfs).在后面提到的笔记本电脑(有问题的那台)中，`hadoopfs-ls命令显示本地目录的信息不是hdfs，命令-cat、-mkdir、-put也会发生同样的情况。我可能做错了什么？任何帮助将不胜感激这是我的core-site.xmlhadoop.tmp.dir/home/hduser/hdfs_dir/tmpfs.default.namehdfs://localhost:54310.我必须说，
我在一台机器上以伪分布式模式安装了ClouderaCDH4发行版并成功测试它是否正常工作(例如可以运行MapReduce程序，在Hive服务器上插入数据等)但是，如果我有机会core-site.xml文件将fs.default.name设置为机器名而不是localhost并重启NameNode服务，HDFS进入安全-模式。在更改fs.default.name之前，我运行了以下命令来检查HDFS的状态:$hadoopdfsadmin-report...ConfiguredCapacity:18503614464(17.23GB)PresentCapacity:13794557952(12
我是hadoop的新手，刚刚完成安装，这花了我2天的时间......我现在正在尝试使用hadoopdfs命令，但我就是无法理解它，虽然我已经浏览了好几天，但我找不到我想知道的答案。所有的例子都显示了结果应该是什么，没有解释它的真正结构，所以如果有人能帮助我理解hadoophdfs，我会很高兴。我已经在HDFS上创建了一个目录。bin/hadoopfs-mkdirinput好的，我将使用ls命令检查它。bin/hadoopfs-lsFound1itemsdrwxr-xr-x-hadoopsupergroup02012-07-3011:08input好的，没问题，一切看起来都很完美。但是H
我正在尝试以完全分布式模式设置hadoop，并且在某种程度上我成功地做到了这一点。但是，我对core-site.xml中的一个参数设置有些疑惑-->fs.defaultFS在我的设置中，我有如下所述的三个节点:Node1--192.168.1.2-->配置为主节点(运行ResourceManager和NameNode守护进程)Node2--192.168.1.3-->配置为从节点(运行NodeManager和Datanode守护进程)Node3--192.168.1.4-->配置为从站(运行NodeManager和Datanode守护进程)现在属性fs.defaultFS是什么意思？例
在Hadoopfs中如何查找特定文件的block大小？我主要对命令行感兴趣，例如:hadoopfs...hdfs://fs1.data/...但它看起来并不存在。是否有Java解决方案？ 最佳答案 其他答案中的fsck命令会列出block并允许您查看block数。但是，要查看实际的block大小(以字节为单位)并且没有多余的东西，请执行以下操作:hadoopfs-stat%o/filename默认block大小为:hdfsgetconf-confKeydfs.blocksize单位详情hadoopfs-stat命令中没有记录bloc
我已经为10节点集群安装并配置了Hadoop2.5.2。1作为主节点，其他节点作为从节点。我在执行hadoopfs命令时遇到问题。hadoopfs-ls命令在HDFSURI上运行良好。在没有HDFSURI的情况下使用时，它会给出消息“ls:`.':Nosuchfileordirectory”ubuntu@101-master:~$hadoopfs-ls15/01/3017:03:49WARNutil.NativeCodeLoader:Unabletoloadnative-hadoopibraryforyourplatform...usingbuiltin-javaclasseswher
我已经使用ClouderaCDH存储库在CentOS上构建了单节点Hadoop环境。当我想将本地文件复制到HDFS时，我使用了命令:sudo-uhdfshadoopfs-put/root/MyHadoop/file1.txt/但是，结果让我很郁闷:put:'/root/MyHadoop/file1.txt':Nosuchfileordirectory我确定这个文件确实存在。请帮帮我，谢谢! 最佳答案 作为用户hdfs，您是否有权访问/root/(在您的本地硬盘中)？通常你不会。在尝试将其复制到HDFS之前，您必须将file1.txt
关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭11年前。Improvethisquestion我看到了dfs命令，然后去看了文档，但我无法理解。在我看来，fs和dfs的工作方式相似。谁能给出确切的区别？
