草庐IT

Hbase常用命令

全部标签

php - 如何将 JSON 请求中的过滤器参数发送到 HBase REST API?

我正在尝试开发一个PHP客户端来与HBaseRESTAPI交互。但是我找不到使用JSON请求创建扫描仪的方法。我能找到的所有示例都使用XML格式。只是想知道是否可以使用JSON格式发送。下面的代码返回错误信息:“HTTP/1.1500无法从START_ARRAYtoken中反序列化java.lang.String的实例”10,'filter'=>array(array('type'=>'PrefixFilter','value'=>'u123',),),)));curl_setopt($ch,CURLOPT_HEADER,1);curl_setopt($ch,CURLOPT_VERBO

hadoop - 在 HBase 中删除一行的单元格

我是HBase的新手,我正在创建一个大表。定期扫描我的表,并删除与某行相关的一些数据。我想知道是否对于特定行,我删除了该行的一些列,它减少了磁盘消耗量,从而减少了正在使用的磁盘量? 最佳答案 Hbase数据一般会存储在HDFS中/hbase显然,删除数据会减少一些空间。请检查如下预检:hadoopfs-ls-Ryourpathtohbaseusally/hbasehadoopfs-du-hyourpathtohbaseusally/hbase删除:现在你运行你的程序来删除...检查后:hadoopfs-du-hyourpathtoh

java - 在 hbase shell 上执行 ValueFilter 和 Count 值

我正在使用HBaseShell,想知道是否可以计算以下扫描命令过滤的值?scan'table',{COLUMNS=>'cf:c',FILTER=>"ValueFilter(=,'substring:myvalue')"}它应该在shell上显示总和。有什么想法吗?感谢您的帮助。 最佳答案 count命令不支持过滤器。只有扫描可以。AFAIK在hbaseshell过滤器中+计数是不可能的。您可以对少量行执行以下操作。对于小数据:所以我建议你必须用hbasejava客户端做一些这样的事情scanwithyourvaluefilterhe

scala 连接 hbase 主机失败

我写的Scala代码如下:44valconfig:Configuration=HBaseConfiguration.create()45config.set("hbase.zookeeper.property.clientPort",zooKeeperClientPort)46config.set("hbase.zookeeper.quorum",zooKeeperQuorum)47config.set("zookeeper.znode.parent",zooKeeperZNodeParent)48config.set("hbase.master",hbaseMaster)49conf

java - Hbase 批量加载附加数据而不是覆盖它们

实际上,我是在Mapreduce和Bulkload的帮助下将数据加载到Hbase中,这是我用Java实现的。所以基本上我创建了一个Mapper并使用HFileOutputFormat2.configureIncrementalLoad(问题末尾的完整代码)用于减少,我使用一个映射器,它只是从文件中读取一些字节并创建一个放置。使用LoadIncrementalHFiles.doBulkLoad写出来将数据写入Hbase。这一切都很好。但可以肯定的是,什么时候这样做会覆盖Hbase中的旧值。所以我正在寻找一种附加数据的方法,就像api的附加函数一样。感谢阅读,希望你们中的一些人有可以帮助我

hadoop - 松鼠访问 Phoenix/HBase

我在hbase0.98/hadoop2.3.0上运行了phoenix4.0,命令行工具给我留下了深刻的印象。在第二步中,我按照网页上的描述使用其捆绑的JDBC驱动程序连接到phoenix。当我尝试连接时,我收到异常消息(在Squirrel端)java.util.concurrent.ExecutionException:java.lang.RuntimeException:java.sql.SQLException:ERROR103(08004):Unabletoestablishconnection.atjava.util.concurrent.FutureTask.report(U

hadoop - MRUnit正确创建HBase结果

我有一个mapreduce作业,其中映射器从几个HBase表中读取。它在我的集群上运行良好。我正在用MRUnit追溯性地编写一些单元测试。我正在尝试从手动实例化的KeyValue对象列表中组合一个Result对象,以用作map()方法的输入。当我随后尝试读取map()方法中的多个列时,似乎只有列表中的第一个KeyValue对象保留在Result对象中——其他列为空。在下面,我有一个名为“0”的列族。privateMapDrivermapDriver;privateHopperHbaseMapperhopperHbaseMapper;@BeforepublicvoidsetUp(){ho

java - 错误 org.apache.hadoop.hbase.regionserver.LeaseException

我的ApacheNutch爬虫在日志文件中生成以下信息。“警告client.ScannerCallable-忽略,可能已经关闭org.apache.hadoop.ipc.RemoteException:org.apache.hadoop.hbase.regionserver.LeaseException:lease'-3687805264051264867'不存在”我已经更改了hbase配置文件(hbase-site.xml)。hbase.client.scanner.caching100但它不会产生任何影响,并且以上相同的警告一次又一次出现。有什么想法吗?

scala - Spark-Scala HBase 表创建失败(MetaException(消息 :file:/user/hive/warehouse/src is not a directory or unable to create one)

我的VM中运行着hortonworks沙盒。我已经完成了所有的hive-site.xml配置并放置在Spark/conf文件中。我可以使用PySpark访问HBase并创建/更新表,但是当我在Scala中执行相同的实现时,会出现以下错误:FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask.MetaException(message:file:/user/hive/warehouse/srcisnotadirectoryorunabletocreateone)我也更改了对“hive/war

java - 无法在 Cloudera VM 中使用 java(在 Eclipse 中)连接到 hbase

我正在尝试在ClouderaVM中使用Java(在Eclipse中)连接到Hbase,但出现以下错误。能够在命令行中运行相同的程序(通过将我的程序转换为jar)我的java程序`importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.HColumnDescriptor;importorg.apache.hadoop.hbase.HTableDescriptor;importorg.apache.had