草庐IT

HTablePool

全部标签

hadoop - 什么时候应该关闭 MapReduce 作业中的 HTablePool?

我正在尝试使用HTablePool来减少HTable实例的创建。但是,我不知道应该将HTablePool.close()放在我的映射器/缩减器中的什么地方。应用运行时,会调用多个mappers、reducer,可以运行在多台机器上。为了获得最佳性能,我认为每台机器应该有一个HTablePool并且close()调用应该延迟到整个应用程序关闭。但是我们如何告诉这些机器关闭它们的池?欢迎任何建议! 最佳答案 在Map/Reduce作业的上下文中,我认为使用HTablePool不会给您带来显着的改进。HTablePool带给你的是:线程安