草庐IT

用于安全 Hbase 的 Java 客户端

您好,我正在尝试为安全的hbase编写一个Java客户端。我也想从代码本身做kinit因为我正在使用用户组信息类。谁能指出我哪里出错了?这是我尝试连接ohbase的主要方法。我必须在CONfiguration对象中添加配置而不是使用xml,因为客户端可以位于任何地方。请看下面的代码:publicstaticvoidmain(String[]args){try{System.setProperty(CommonConstants.KRB_REALM,ConfigUtil.getProperty(CommonConstants.HADOOP_CONF,"krb.realm"));Syste

rest - 如何列出 hbase 表中的所有行键?

如何列出hbase表中的所有行键?我需要使用带有REST接口(interface)的PHP来执行此操作。 最佳答案 如果您列出HBase表中的所有键,那么您使用了错误的工具。HBase适用于无法列出所有键的大型数据系统。可能更明智的做法是从给定键开始并列出接下来的N个键(对于N小于10K的值)。有很好的Java接口(interface)可以通过扫描来完成这种类型的事情——设置开始键和/或结束键。大多数HBase功能都是通过Thrift接口(interface)公开的。我建议去那里看看 关

java - 无法使用 Hbase 连接到远程服务器

我是Hadoop和Hbase的新手。我正在尝试从java代码创建一个表并连接到我的远程服务器(Hbase),它是(172.80.72.86)。它是一台Linux机器(172.80.72.86)。我试过上面的我收到以下错误12/08/2214:06:49INFOzookeeper.ZooKeeper:Clientenvironment:zookeeper.version=3.3.5-1301095,builton03/15/201219:48GMT12/08/2214:06:49INFOzookeeper.ZooKeeper:Clientenvironment:host.name=use

java - HBase:Zookeeper 告诉远程客户端连接到本地主机

这里是HBase/Hadoop的super新手。我启动并运行了一个双节点HBase测试集群,现在我正尝试从远程Java客户端连接到该集群。这是我卡住的地方:客户端成功连接到单服务器Zookeeperquorum(与HBasemaster在同一台服务器上运行),但是Zookeeper传回给客户端的地址是localhost,并且(显然)客户端失败连接到任何东西,因为HBase没有在本地运行。考虑到出于管理原因我无法编辑客户端主机文件(无论如何我都不愿意这样做,因为这看起来像是一个糟糕的hack),有没有办法让Zookeeper为HBase主服务器?Java代码:publicstaticfi

java - 尝试运行 HBase map reduce 时出错

我真的很难在Hadoop上运行Hbase-MapReduce。我确实使用HadoopHortonwork2版本。我使用的HBase版本是0.96.1-hadoop2。现在,当我尝试像这样运行我的MapReduce时:hadoopjartarget/invoice-aggregation-0.1.jarstart="2014-02-0101:00:00"end="2014-02-1901:00:00"firstAccountId=0lastAccountId=10Hadoop告诉我在其文件系统中找不到invoice-aggregation-0.1.jar?!我想知道为什么它需要在那里?这

Java - HBase 客户端停留在 session 建立完成

我正在尝试连接到远程HBase集群以检索数据,但客户端一直在同一个地方挂起:15/02/1111:32:58INFOzookeeper.ZooKeeper:Clientenvironment:zookeeper.version=3.4.5-1392090,builton09/30/201217:52GMT15/02/1111:32:58INFOzookeeper.ZooKeeper:Clientenvironment:host.name=rap-es-1.hidden.host.com15/02/1111:32:58INFOzookeeper.ZooKeeper:Clientenvir

hadoop - 如何使用 HBase 和 Hadoop 为实时流量提供服务并执行分析? (单个集群还是单独的集群?)

我们的主要目的是使用Hadoop进行分析。在此用例中,我们进行批处理,因此吞吐量比延迟更重要,这意味着HBase不一定是合适的(尽管更接近实时分析听起来确实很有吸引力)。我们正在尝试使用Hive,到目前为止我们很喜欢它。虽然分析是我们在不久的将来希望使用Hadoop做的主要事情,但我们也希望有可能将我们的部分操作迁移到HBase并从中提供实时流量。将存储在那里的数据与我们在分析中使用的数据相同,我想知道我们是否可以只拥有一个系统来同时进行实时流量和分析。我阅读了很多报告,似乎大多数组织都选择使用单独的集群来提供流量和分析。出于稳定性目的,这似乎是一个合理的选择,因为我们计划让很多人编写

hadoop - 更详细的在 ubuntu 上安装 hbase 和 hadoop 的链接

我打算在ubuntu上安装hadoop和HBase。当我试图搜索任何好的链接时,我无法找到哪个是完全清晰和更具描述性的。我需要一个详细的链接,从中我可以轻松地设置hsdoop和hbase。谢谢 最佳答案 你没有提到你想在伪分布式模式或多分布式或单节点或多节点中设置这些。无论如何,这里有一些对您有帮助的链接hadoopsinglenodecluster,hadoopmultinodecluster,对于hbase,我认为您应该看到这些链接installHBaseinpseudodistributedmode,hbaseinstalla

hadoop - HBase 中的压缩

我正在使用HBase来存储大量传感器数据。我曾尝试使用一个txt文件来存储我的传感器数据,对于一个20MB的文件,如果我压缩它,它将在磁盘上减少到1MB。我的问题是:HBase本身在存储数据到磁盘时会自动压缩吗?谢谢 最佳答案 您可以使用lzo、gzip或snappy进行hbase压缩。如果您希望将它们用于hbase压缩(包括gzip),则需要自己设置lzo/snappy。通常-lzo比gzip压缩更快,尽管gzip压缩比通常更好。Snappy在压缩方面很稳健,但压缩率通常更差。创建表时-您可以指定压缩/压缩库-如果使用压缩,则hf

hadoop - 使用协处理器 HBase 创建二级索引

我一直在尝试编写自己的协处理器,它使用prePutHook创建二级索引。首先,我一直在尝试让prePut协处理器工作。到目前为止,我可以让协处理器添加到传递给它的put对象。我发现我无法让协处理器写入与传入的put对象正在写入的行分开的行。显然要创建二级索引,我需要弄清楚这一点。下面是我的协处理器的代码,但它不起作用。是的,所有表都存在,'colfam1'也存在。HBase版本:HBase0.92.1-cdh4.1.2来自Cloudera的CDH4有人知道问题出在哪里吗?@OverridepublicvoidprePut(finalObserverContexte,finalPutpu