草庐IT

TableInputFormat

全部标签

hadoop - 错误 TableInputFormat : Java. lang.NullPointerException 在 org.Apache.Hadoop.hbase.TableName.valueOf

我正在尝试使用Spark从HBase读取数据。我正在使用的版本是星火1.3.1和Hbase1.1.1。我收到以下错误ERRORTableInputFormat:java.lang.NullPointerExceptionatorg.apache.hadoop.hbase.TableName.valueOf(TableName.java:417)atorg.apache.hadoop.hbase.client.HTable.(HTable.java:159)atorg.apache.hadoop.hbase.mapreduce.TableInputFormat.setConf(Table

hadoop - 当我使用自己的 TableInputFormat 时 TableMapper 出现 ClassNotFoundException

我正在尝试通过以下方式将我自己的TableInputFormat用于MapReduceJobTableMapReduceUtil.initTableMapperJob("mytable",我的扫描仪,我的映射器类,我的key类,我的值.class,myJob,true,MyTableInputFormat.class);当我运行该作业时,我得到一个ClassNotFoundException:org.apache.hadoop.hbase.mapreduce.TableMapper-知道为什么吗?如果我不使用initTableMapperJob的最后两个参数,那么就没有ClassNot

java - 扩展 Hadoop 的 TableInputFormat 以使用用于分发时间戳键的前缀进行扫描

我有一个hbase表,它的键是一个带有单字节随机前缀的时间戳来分发键,这样扫描就不会成为热点。我正在尝试扩展TableInputFormat,以便我可以在具有范围的表上运行单个MapReduce,为所有256个可能的前缀添加前缀,以便扫描具有指定时间戳范围的所有范围。但是我的解决方案不起作用,因为它似乎总是扫描最后一个前缀(127)256次。必须在所有扫描之间共享某些内容。我的代码如下。有什么想法吗?publicclassPrefixedTableInputFormatextendsTableInputFormat{@OverridepublicListgetSplits(JobCon