LoadIncrementalHFiles
全部标签 我想使用HBase批量加载APILoadIncrementalHFiles.doBulkLoad(newPath(),hTable)将我的map-reduce作业的输出插入到HBase表中。我从我的映射器发出KeyValue数据类型,然后使用HFileOutputFormat使用其默认缩减器准备我的HFile。当我运行我的map-reduce作业时,它没有任何错误地完成并创建了输出文件,但是,最后一步-将HFiles插入HBase并没有发生。我的map-reduce完成后出现以下错误:13/09/0803:39:51WARNmapreduce.LoadIncrementalHFiles
我能够使用Java程序生成HFile,但每当我尝试将它们导入我的HBase表时,我都会收到附加错误。当我没有使用我的Java程序,而是使用completebulkload时,我遇到了同样的错误。如果有人能在这里帮助我,那将是一个很大的帮助。几天来我一直坚持这个问题,开始变得非常沮丧。亲切的问候,彼得扬异常:12/12/1417:46:23WARNmapreduce.LoadIncrementalHFiles:Skippingnon-directoryhdfs://localhost:9000/hadoopdir/user/data/output/hfiles/test/_SUCCESS
我正在将大量文件导入到HBase表中,所以我决定使用批量加载9.8.BulkLoading.我已经设法通过MapReduce作业准备数据,但是当我尝试使用此命令完成加载时hbaseorg.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles出现以下错误:ERRORmapreduce.LoadIncrementalHFiles:Tryingtoloadmorethan32hfilestofamilydofregionwithstartkeyExceptioninthread"main"java.io.IOException:Tryingt