草庐IT

hbase-client

全部标签

hadoop - 如何让 hbase 区域服务器监听 0.0.0.0?

我的Hbase区域服务器正在监听127.0.0.1。如何让它在0.0.0.0上列出?我尝试更改hbase.regionserver.info.bindAddress的值,但这似乎不起作用。 最佳答案 为了在(伪)分布式模式下的外部接口(interface)上公开端口60020,HBase希望您的/etc/hosts以某种方式显示。如果您运行Ubuntu,您可能会在/etc/hosts中找到类似这样的内容:(我假设您的主机名是regionserver)127.0.0.1localhost127.0.1.1regionserver选择具

hadoop - hbase作为Web应用程序中的数据库

关于在真实网络应用程序中使用hadoop或相关技术的一个大问题。我只是想了解Web应用程序如何使用hbase作为其数据库。我的意思是,这是大数据应用程序所做的事情,还是它们使用普通数据库并仅使用这些技术进行分析?有一个带有Hbase数据库或类似东西的在线商店可以吗? 最佳答案 是的,将hbase作为后端非常好。我正在做些什么来完成这项工作,(我的网站上运行着一个在线社区和论坛)1.使用thrift编写C#代码访问Hbase,非常简单易行。(Thrift是跨语言绑定(bind)平台,Java对HBase来说只是一等公民!)2.使用Am

hadoop - 连接异常 : connect error: No such file or directory when trying to connect to '50010' using importtsv on hbase

我在hdfs-site.xml和hbase-site.xml上配置了短路设置。我在hbase上运行importtsv以将数据从HDFS导入到Hbase集群上的HBase。我查看了每个数据节点上的日志,所有数据节点都有我对标题所说的ConnectException。2017-03-3121:59:01,273WARN[main]org.apache.hadoop.hdfs.shortcircuit.DomainSocketFactory:errorcreatingDomainSocketjava.net.ConnectException:connect(2)error:Nosuchfil

hadoop - HBase 按值排序

我正在使用SingleColumnValueFilter、scan、getScanner,并从hbase表中检索值。结果值在Id-vise行中排序。但我希望结果在值(value)虎钳中排序。示例:HbaseTable:RowId|col1:amount|col1:balance15000100023000150034000500现在,当我在WebUI(我自定义的)中选择金额时。然后,Result应该按amount-vise排序。ExpectedResultafterchosenamountcolumn:RowId|**col1:amount**|col1:balance23000150

hadoop - HBase 表大小比 hadoop hdfs 中的文件大得多

最近用hadoopbulkload把数据放到hbase首先,我调用HDFSAPI向hadoophdfs中的文件写入数据,总共7000,000行数据,大小为503MB。其次,我使用org.apache.hadoop.hbase.mapreduce.ImportTsv和org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles将数据放入hbase。我做的最重要的事情是使用bulkload工具将数据放入hbase,完成bulkload后,我发现hbase表有1.96GB。hdfs复制为1。我不知道为什么。 最佳答

python - 将用于 mapreduce 的 Python 脚本传递给 HBase

我们有一个基于Hadoop的HBase实现。到目前为止,我们所有的Map-Reduce作业都是作为Java类编写的。我想知道是否有一种好的方法可以使用Python脚本传递给HBase进行Map-Reduce。 最佳答案 有一个很好的开源库可以用于此目的。它叫做HappyBase可用here.它使用HBase的ThriftAPI进行连接。这是一个使用HappyBase完成的一些简单HBase操作的示例:importhappybaseconnection=happybase.Connection('localhost')table=co

hadoop - HBase 和 Bigtable 支持单行事务

HBase和Google的Bigtable都支持单行事务不支持多行是什么意思?目前我在本地文件系统之上使用HBase;我怎么才能看到这一点? 最佳答案 你有一行看起来像这样:用户名:fabspro密码:1234帐户活跃:1last_login:2012-10-10last_login_ip:135.23.15.3例如。然后当用户登录时,你需要更新last_login和last_login_ip。如果您在单个放置操作中更新两个字段,则两个字段将同时更新。如果某个字段由于某种原因无法更新,或者更新中途失败,那么这两个值都不会被写入。这意

hadoop - hbase standalone 和 zookeeper standalone 在一台机器上

是否可以在单机中以独立模式同时运行Hbase和外部zookeeper?它卡在clientPort问题上。请澄清一下? 最佳答案 是的,这是可能的。为此,您必须更改外部动物园管理员服务器的客户端端口。进入外部zookeeper的conf目录。打开zoo.cfg文件。如果它不在那里,而是zoo_sample.cfg在那里,那么做mvconf/zoo_sample.cfgconf/zoo.cfg创建它。在zoo.cfg文件中,将clientPort=2181的默认端口号更改为2182。同时将dataDir更改为您希望的某个目录。例如-我会

hadoop - HBase导入命令

我们目前正在从CDH3u4迁移到CDH5。我们创建了新集群并复制了所有数据。感谢Cloudera经理,一切都很顺利。但是我们在将数据从HBase0.90.6迁移到HBase0.96.1.1时遇到了问题。我尝试使用HBase(https://hbase.apache.org/book/ops_mgt.html#export)的导出/导入功能来迁移数据。我已经设法导出数据并将它们复制到新服务器(discp)。当我在目标集群上使用命令时:hbase-Dhbase.import.version=0.90org.apache.hadoop.hbase.mapreduce.Importip/use

java - 使用 Apache Crunch 的 WordCount 到 HBase Standalone

目前我正在评估ApacheCrunch。我遵循了一个简单的WordCountMapReducejobexample:之后我尝试将结果保存到一个独立的HBase中。HBase正在运行(使用jps和HBaseshell检查),如下所述:http://hbase.apache.org/book/quickstart.html下面我采用写入HBase的例子:Pipelinepipeline=newMRPipeline(WordCount.class,getConf());PCollectionlines=pipeline.readTextFile(inputPath);PTablecounts