HDFS如何存储数据？我想以压缩方式存储大文件。例如:我有一个1.5GB的文件，默认复制因子为3。它需要(1.5)*3=4.5GB的空间。我相信目前没有发生隐式数据压缩。有没有一种技术可以压缩文件并将其存储在HDFS中以节省磁盘空间？ 最佳答案 HDFS将任何文件存储在多个“block”中。block大小可根据每个文件进行配置，但具有默认值(例如64/128/256MB)因此，给定一个1.5GB的文件和128MB的block大小，hadoop会将文件分成约12个block(12x128MB~=1.5GB)。每个block也被复制了可
我已经安装了clouderacdh4release我正在尝试在上面运行mapreduce作业。我收到以下错误-->2012-07-0915:41:16ZooKeeperSaslClient[INFO]ClientwillnotSASL-authenticatebecausethedefaultJAASconfigurationsection'Client'couldnotbefound.IfyouarenotusingSASL,youmayignorethis.Ontheotherhand,ifyouexpectedSASLtowork,pleasefixyourJAASconfigu
OracleCoherence和HadoopHDFS之间的区别是什么，已经阅读了有关HDFS和coherence(但不清楚)的内容，听起来两者都在做同样的事情。这些是解决不同问题的不同技术还是相同技术但不同产品？需要知道它们在技术方面的区别和相似之处，即更广泛的实现角度，这两者适合什么地方？注意:我不是要进行产品比较(所以没有gorilla与鲨鱼的对比)。 最佳答案 这两个系统实现了两个概念。HDFS-分布式文件系统，针对大规模顺序IO进行了优化。OracleCoherence是缓存解决方案，能够将磁盘用于其部分数据。它针对随机IO
有没有人熟悉同时使用CloudStore和高清文件系统。我有兴趣了解CloudStore的扩展程度以及它在生产中的使用程度。CloudStore似乎比HDFS功能更全。在考虑这两个文件系统时，有哪些实际的权衡？ 最佳答案 Steve，CloudStore似乎应该比HDFS更快，因为它是用C++设计的。我们也对此比较感兴趣，并计划在生产中使用它。如果您在这方面发现任何有趣的事情，请告诉我们。 关于hadoop-CloudStore与HDFS，我们在StackOverflow上找到一个类似的
我的数据在HDFS的data/2011/01/13/0100/file中，每个文件都包含以制表符分隔的数据，比如名称、ip、url。我想在Hive中创建一个表并从hdfs中导入数据，表中应包含时间、名称、ip和url。如何使用Hive导入这些？r数据应该采用其他格式以便我也可以导入时间？ 最佳答案 您需要创建用于加载文件的表，然后使用LOADDATA命令将文件加载到Hive表中。查看Hivedocumentation了解要使用的精确语法。问候，杰夫 关于hadoop-从HDFS导入数据到
我是Hadoop的新手。我一直在读到HDFS主要是关于“一次写入，随时读取”。我有一个用例，我可能必须对存储在HDFS中的文件进行修改。我一直在研究是否有任何方法可以做到这一点。我的问题是是否可以将HDFS文件加载到HBase中，进行修改，然后将其保存回HDFS，然后删除原始文件。如果可行，请告诉我。 最佳答案 如果您需要更新文件中的值，您最好使用HBase。您仍然可以通过TableInputFormat和TableOutputFormat在MR作业中使用HBase表。如果您想追加数据，您可以使用任何支持hdfs追加的hadoop版
我是hadoop和其他东西的业余爱好者。现在，我正在尝试访问hadoop集群(HDFS)并从客户端eclipse检索文件列表。我在hadoopjavaclient上设置好需要的配置后就可以进行如下操作了。我可以执行copyFromLocalFile、copyToLocalFile操作从客户端访问HDFS。这就是我所面临的。当我给出listFiles()方法时，我得到了org.apache.hadoop.fs.LocatedFileStatus@d0085360org.apache.hadoop.fs.LocatedFileStatus@b7aa29bf主要方法Propertiespro
在给定时间，我的应用程序(apacheCMIS)中有用户文件系统。随着它越来越大，我怀疑是否转向hadoop(HDFS)，因为我们也需要对其进行一些统计。问题:当前文件系统提供文件的版本控制。当我读到hadoop-HDFS-和文件版本控制时，我发现大多数时候我必须自己编写这个(版本控制)层。HDFS中是否已经有可用于管理文件版本控制的东西，或者我真的必须自己编写它(不想重新发明热水，但也没有找到合适的解决方案)。回答有关完整详细信息:请参阅下面对答案的评论Hadoop(HDFS)不支持文件的版本控制。当您将hadoop与(amazon)S3结合使用时，您可以获得此功能:Hadoop将使
我在伪分布式模式下使用Hadoop1.0.3。而我的conf/core-site.xml设置如下:fs.default.namehdfs://localhost:9000mapred.child.tmp/home/administrator/hadoop/temp所以我认为我的默认文件系统设置为HDFS。但是，当我运行以下代码时:Configurationconf=newConfiguration();FileSystemfs=FileSystem.get(conf);我认为fs应该是一个DistributedFileSystem实例。然而，结果却是LocalFileSystem实例。
我是hadoop的新手，所以请原谅这些愚蠢的问题。我有以下知识Hadoop的最佳用例是大文件，因此有助于在运行mapreduce任务时提高效率。牢记以上几点，我对FlumeNG感到有些困惑。假设我正在拖尾一个日志文件并且每秒生成一次日志，当日志获得新行时，它将通过Flume传输到hdfs。a)这是否意味着flume在我拖尾的日志文件中记录的每一行上创建一个新文件，或者它是否附加到现有的hdfs文件？b)首先在hdfs中允许追加吗？？c)如果b的答案为真？即内容不断附加，我应该如何以及何时运行我的mapreduce应用程序？以上问题听起来可能很愚蠢，但非常感谢能回答相同的问题。PS:我还
