草庐IT

hbase-default

全部标签

hadoop - 如何在 HBase 表中设置 autoflush=false

我有这段代码可以保存到HBaseHTABLE。预期的行为是该表将为每个分区推送提交或将puts“刷新”到hbase。注意:这是更新后的代码rdd.foreachPartition(p=>{valtable=connection.getTable(TableName.valueOf(HTABLE))valmutator=connection.getBufferedMutator(TableName.valueOf(HTABLE))p.foreach(row=>{valhRow=newPut(rowkey)hRow.addColumn....//usetable.existsinstead

hadoop - 我现在如何锁定 hbase?

不再允许使用Rowlock功能。htable.lockrow()isnotprovidedinlibrary如何在hbase中实现锁?有什么方法可以帮助我做到这一点吗? 最佳答案 现在不支持客户端行锁:https://issues.apache.org/jira/browse/HBASE-7315 关于hadoop-我现在如何锁定hbase?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/quest

java - Hbase 中的 addImmutable 和 addColumn 有什么区别?

在HBase的put操作中有两种类型addImmutable()和addColumn().这两者有什么区别?不可变是否可以更新/覆盖? 最佳答案 您可以在此JIRA中阅读有关此方法的更多信息:https://issues.apache.org/jira/plugins/servlet/mobile#issue/HBASE-10024简单地说:addImmutable不会复制传递的数组并“按原样”使用它。因此,如果您稍后更改传递的字节数组的内容(在调用addImmutable之后),Put实例也会看到此更改,这对您来说可能是非常意外的

hadoop - 为什么 hbase KeyValueSortReducer 需要对所有 KeyValue 进行排序

最近在学习PhoenixCSVBulkLoad,发现org.apache.phoenix.mapreduce.CsvToKeyValueReducer的源码在列比较大的时候会导致OOM(javaheapoutofmemory)一行(在我的例子中,一行44列,一行的平均大小为4KB)。此外,该类与hbase批量负载reducer类-KeyValueSortReducer类似。这意味着在我的情况下使用KeyValueSortReducer时可能会发生OOM。所以,我有一个关于KeyValueSortReducer的问题-为什么它需要先对treeset中的所有kvs进行排序,然后将它们全部写

hadoop - 为行键放置不同值但在 hbase 中放置相同时间戳的解决方案?

我是Hbase的新人。将文本文件中的数据批量加载到Hbase时遇到问题。假设我有下表:Key_id|f1:c1|f2:c2row1'a''b'row1'x''y'当我解析2条记录并同时将其放入Hbase时(相同的时间戳),然后只有版本{row1'x''y'}更新。解释如下:WhenyouputdataintoHBase,atimestampisrequired.ThetimestampcanbegeneratedautomaticallybytheRegionServerorcanbesuppliedbyyou.Thetimestampmustbeuniqueperversionofa

java - 如何在 HBase 中更新过期的 Kerberos 票证?

我有一个小的spring服务,它提供基本的功能,比如从hbase表中放入/删除/获取。一切似乎都正常,但有一个问题。启动我的tomcat服务器10小时后,我的kerberos票证到期,所以我应该更新它。我尝试将javaapi用于hbase并在我的代码中的每个方法中使用,它连接到hbase我添加了这一行:UserGroupInformation.getLoginUser().checkTGTAndReloginFromKeytab();我也试过:UserGroupInformation.getLoginUser().reloginFromKeytab()和:SecurityUtil.lo

hadoop - HBase 与 Java 8 和 zookeeper 有问题

我想安装hbase1.2.4。当我尝试运行bin/start-hbase.sh时,我收到以下警告。OpenJDK64-BitServerVMwarning:ignoringoptionPermSize=128m;supportwasremovedin8.0OpenJDK64-BitServerVMwarning:ignoringoptionMaxPermSize=128m;supportwasremovedin8.0'hbaseshell命令生成了大量众所周知的zookeeper异常...ERROR[main]zookeeper.RecoverableZooKeeper:ZooKeep

python - 使用 python 连接到 Hbase 失败

我正在尝试使用python连接到Hbase使用的示例代码importhappybaseconnection=happybase.Connection(myhost,port,autoconnect=True)#beforefirstuse:connection.open()print(connection.tables())报错如下print(connection.tables())Traceback(mostrecentcalllast):File"",line1,inFile"/usr/local/lib/python2.7/dist-packages/happybase/conn

hadoop - HBase 中每一行的不同列?

在我的HBase表中,每一行的列可能与其他行不同。例如;ROWCOLUMN1-1040cf:s11-1040cf:s21-1043cf:s22-1040cf:s52-1045cf:s993-1040cf:s753-1042cf:s135如上所示,每一行的列都与其他行不同。所以,当我像这样运行扫描查询时;scan'tb',{COLUMNS=>'cf:s2',STARTROW=>'1-1040',ENDROW=>'1-1044'}我想使用上述查询获取cf:s2值。但是,是否会因为每一行都有不同的列而出现性能问题?另一种选择;ROWCOLUMN1-1040-s1cf:value1-1040-

java - HBase 连接拒绝

您好,我正在使用hadoop和HBase。当我尝试启动hadoop时,它启动正常,但是当我尝试启动HBase时,它​​在日志文件中显示异常。在日志文件中,hadoop拒绝本地主机端口54310上的连接。日志如下:MonApr912:28:15PKT2012Startingmasteronhbaseulimit-n10242012-04-0912:28:17,685INFOorg.apache.hadoop.hbase.ipc.HBaseRpcMetrics:InitializingRPCMetricswithhostName=HMaster,port=600002012-04-0912