背景我正在对从我们的RDBMS数据库到MongoDB的转换进行原型(prototype)设计。在进行非规范化时，似乎我有两种选择，一种会导致许多(数百万)个小文档，另一种会导致更少(数十万)个大文档。如果我可以将其提炼成一个简单的类比，这将是具有较少客户文档的集合之间的区别(在Java中):classCustomer{privateStringname;privateAddressaddress;//eachCreditCardhashundredsofPaymentinstancesprivateSetcreditCards;}或者一个包含很多很多这样的付款文档的集合:classPa

日常生产中HDFS上小文件产生是一个很正常的事情，同时小文件也是Hadoop集群运维中的常见挑战，尤其对于大规模运行的集群来说可谓至关重要。数据地图是离线开发产品的基本使用单位，包含全部表和项目的相关信息，可以对表做相关的权限管理和脱敏管理操作，以及可以展示对应项目占用情况和其表的占用情况

日常生产中HDFS上小文件产生是一个很正常的事情，同时小文件也是Hadoop集群运维中的常见挑战，尤其对于大规模运行的集群来说可谓至关重要。数据地图是离线开发产品的基本使用单位，包含全部表和项目的相关信息，可以对表做相关的权限管理和脱敏管理操作，以及可以展示对应项目占用情况和其表的占用情况

日常生产中HDFS上小文件产生是一个很正常的事情，同时小文件也是Hadoop集群运维中的常见挑战，尤其对于大规模运行的集群来说可谓至关重要。数据地图是离线开发产品的基本使用单位，包含全部表和项目的相关信息，可以对表做相关的权限管理和脱敏管理操作，以及可以展示对应项目占用情况和其表的占用情况

日常生产中HDFS上小文件产生是一个很正常的事情，同时小文件也是Hadoop集群运维中的常见挑战，尤其对于大规模运行的集群来说可谓至关重要。数据地图是离线开发产品的基本使用单位，包含全部表和项目的相关信息，可以对表做相关的权限管理和脱敏管理操作，以及可以展示对应项目占用情况和其表的占用情况

小文件是Hadoop集群运维中的常见挑战，尤其对于大规模运行的集群来说可谓至关重要。如果处理不好，可能会导致许多并发症。Hadoop集群本质是为了TB,PB规模的数据存储和计算应运而生的。为啥大数据开发都说小文件的治理重要，说HDFS存储小文件效率低下，比如增加namenode负载等，降低访问效率等？究竟本质上为什么重要？以及如何从本质上剖析小文件，治理小文件呢？今天就带你走进小文件的世界。1.什么是小文件？日常生产中HDFS上小文件产生是一个很正常的事情，有些甚至是不可避免，比如jar，xml配置文件，tmp临时文件，流式任务等都是小文件的组成部分。当然更多的是因为集群设置不合理，造成一些意

小文件是Hadoop集群运维中的常见挑战，尤其对于大规模运行的集群来说可谓至关重要。如果处理不好，可能会导致许多并发症。Hadoop集群本质是为了TB,PB规模的数据存储和计算应运而生的。为啥大数据开发都说小文件的治理重要，说HDFS存储小文件效率低下，比如增加namenode负载等，降低访问效率等？究竟本质上为什么重要？以及如何从本质上剖析小文件，治理小文件呢？今天就带你走进小文件的世界。1.什么是小文件？日常生产中HDFS上小文件产生是一个很正常的事情，有些甚至是不可避免，比如jar，xml配置文件，tmp临时文件，流式任务等都是小文件的组成部分。当然更多的是因为集群设置不合理，造成一些意

0.背景近来我们公司搞小文件治理（小于10Mb），小文件太多的危害就不此赘述了。公司的开发人员提供的合并小文件治理配置如下：--设置小文件合并sethive.merge.mapfiles=true;sethive.merge.mapredfiles=true;sethive.merge.size.per.task=256000000;sethive.merge.smallfiles.avgsize=256000000;看上去配置的没啥问题，不管是Map-only，还是MapReduce都考虑到了，只要输出的文件小于这个值，就重新启动一个MR去执行文件合并。看也符合Hive官网的配置解释然而现实

0.背景近来我们公司搞小文件治理（小于10Mb），小文件太多的危害就不此赘述了。公司的开发人员提供的合并小文件治理配置如下：--设置小文件合并sethive.merge.mapfiles=true;sethive.merge.mapredfiles=true;sethive.merge.size.per.task=256000000;sethive.merge.smallfiles.avgsize=256000000;看上去配置的没啥问题，不管是Map-only，还是MapReduce都考虑到了，只要输出的文件小于这个值，就重新启动一个MR去执行文件合并。看也符合Hive官网的配置解释然而现实