草庐IT

happybase

全部标签

python - 从 Python 和 happybase/Thrift 连接到 Hbase

我已经安装了ClouderaManagerExpress5.9.0安装了HBase,Thrift服务器在VirtualBox虚拟机中的CentOS7.3上的端口9090上运行。请帮助找出我无法通过happybase成功连接的原因,或者帮助确定下一步要执行的操作。我是一名经验丰富的Java程序员,正在学习Python。我有使用本地接口(interface)从Java使用Hbase的经验,尽管不是在这个特定环境中。我已验证我可以使用hbaseshell创建表、插入数据等。我已验证9090(thrift)正在监听并接受连接。我想我已经验证Thrift服务器正在使用与happybase连接参数

hadoop - HappyBase - 是否有 find_one 或 scan_one 的等价物?

我正在为其制作UI的特定HBase表中的所有行恰好具有相同的列,并且在可预见的将来也会如此。我希望我的html数据可视化应用程序简单地查询单个随机行以记录列名,并将这个列名列表放入一个变量中以在整个程序中引用。我在HappyBase的文档中没有看到任何与find_one或scan_one等价的东西。实现此目标的最佳方法是什么? 最佳答案 这将只获取第一行:row=next(table.scan(limit=1))此外,您可以指定一个过滤字符串以避免检索值,这仅在您的值很大并且您经常执行此查询时才值得。

python - 传输异常

我正在尝试导入happybase但在连接时收到以下错误消息。我有Hadoop伪节点集群和Hbase已经在运行。安装的组件版本如下,Hadoop版本-1.0.4Hbase版本-0.94.4happybase-0.4有人可以查看下面的异常(exception)情况并让我知道是否有任何节俭特定设置或修复此问题的任何指导。谢谢。Python2.6.1(r261:67515,Jun242010,21:47:49) [GCC4.2.1(AppleInc.build5646)]ondarwinType"help","copyright","credits"or"license"formoreinfo

Python使用happybase写入HBase

HBase是一个分布式的、面向列的NoSQL数据库,可以存储大量的非结构化或半结构化的数据。tif是一种常见的影像文件格式,可以存储多波段的栅格数据。本文将介绍如何使用Python的happybase模块和gdal模块,从tif格式的影像文件中读取数据,并将其存储到HBase数据库中。主要内容包括:准备工作:安装Python环境,安装happybase模块和gdal模块,安装HBase数据库,并准备tif影像文件。读取tif影像数据:使用readTif函数读取tif影像数据集,并获取其宽度、高度、波段数、数据数组、仿射变换参数和投影信息。遍历tif影像文件所在的文件夹,获取tif影像文件的日期

python - 带有 HappyBase 连接池的 PySpark dataframe.foreach() 返回 'TypeError: can' t pickle thread.lock 对象'

我有一个PySpark作业可以更新HBase中的一些对象(Sparkv1.6.0;happybasev0.9)。如果我为每一行打开/关闭一个HBase连接,它会有点工作:defprocess_row(row):conn=happybase.Connection(host=[hbase_master])#updateHBaserecordwithdatafromrowconn.close()my_dataframe.foreach(process_row)几千次更新插入后,我们开始看到这样的错误:TTransportException:Couldnotconnectto[hbase_ma

python - 无法在 Python 中使用 Happybase 创建简单表

我正在尝试使用Happybase创建一个表。首先,我输入以下命令让Hbase和Thrift运行:start-hbase.shhbasethriftstart&运行后,我打开Python的命令提示符并键入以下内容:importhappybaseashbconnection=hb.Connection()connection.open()但是当我尝试创建一个表时:connection.create_table('mytable',{'cf1':dict(max_versions=10),'cf2':dict(max_versions=1,block_cache_enabled=False)

hadoop - thrift 在我的 HBase master 上运行吗?如何与Happybase连接?

我正在以伪分布式模式运行krejcmat/hadoop-hbasedocker。那就是主从在同一台机器上的不同容器中运行。启动Hadoop集群和HBase后,我在主节点上启动thrift服务器:hbasethriftstart-threadpool我还公开了节点9090(以--expose=9090开头的默认Thrift端口)。我想使用Happybase库通过ThriftAPI从我的主机连接到Hadoop集群中运行的Hbase。这是我使用的命令:connection=happybase.Connection('hadoop-hbase-master',9090)但我收到错误:TTran

python - 从 python (happybase) 写入 hbase 表

我正在运行一个map-reduce作业,现在我想将值输入到hbase中。我通过stdin从map-reduce作业流式传输值,并有一个python脚本在happybase上插入(放置)行.我遇到了不同类型的问题,从python执行put。据我了解,最近的问题似乎与库兼容性问题有关。错误日志显示iteritems的问题。happybasemanual指的是排序查询所需的额外python库,从python版本2.7开始不需要这些库(我运行的是2.7.6)。有没有人遇到过类似的问题?它们可以很容易地修复吗,或者您会推荐使用不同的界面吗?更多详情我安装了hadoop(2.6.0)和hbase(