草庐IT

BigSQL-HBase

全部标签

hadoop - Hbase 和 apache drill 存储插件

我无法在Hbase和ApacheDrill之间创建连接。我无法理解问题出在Hbase还是ApacheDrill。我可以在Drill中创建存储插件。这是我给出的配置。{"type":"hbase","config":{"hbase.zookeeper.quorum":"localhost","hbase.zookeeper.property.clientPort":"2181"},"size.calculator.enabled":false,"enabled":true}drill的GUI返回成功。但是当我尝试从drill中查询它时,出现多个错误。现在我遇到以下错误。Error:SYS

hadoop - HBase聚合、Get And Put操作、Bulk操作

我想知道如何映射键的值。我知道它可以通过Get然后Put操作来完成。有没有其他方法可以有效地做到这一点?'checkAndPut'不是很有帮助可以用类似的东西来完成吗:(key,value)=>value+g()我读过HBase权威指南这本书,似乎MapReduceJob解释为HBase之上的Put/Get操作。这是否意味着它不是“批量操作”(因为它是每个键的操作)?Spark与此有什么关系? 最佳答案 HBase具有扫描(1)以检索多行;和MapReduce作业可以并且确实使用此命令(2)。对于HBase,“批量”主要是[或仅]是

hadoop - 如果创建一个包含 300 个列族的 hbase 表就可以了?

我有一个场景,其中每个对象都有300个变体,所以我想将它们存储在hbase中,每一行将原始对象和300个变体存储在不同的列族中?访问模型尝试每天早上批量插入对象到表中,然后读取它们。我不知道是否可以为我的场景创建一个包含300个列族的hbase表? 最佳答案 文档suggests列族的数量最多应为10,并且also列族的正常数量在1到3之间。您是否反对将三百列存储到一个列族中? 关于hadoop-如果创建一个包含300个列族的hbase表就可以了?,我们在StackOverflow上找到

mongodb - Hbase 数据应该如何才能快速查询响应?

我的情况符合以下规则:一个用户一次只能在一个地点。如果用户A在地点X签到,然后在fieldY,他们不再在fieldX。签到最多只能“持续”3小时。如果用户A在地点X签到然后3小时内什么都没有,他们不再在地点X。数据将使用Kafka和spark-streaming解析到HBase。我想使用HBase,TTL为3小时,版本控制为1,满足上述条件。问题是我很困惑如何在HBase中组织数据以获得更快的查询响应,我应该使用具有field名称或field名称的单个列作为不同的列名称吗?哪个更好,为什么?需要执行的查询是:1.用户A现在在哪里?2.现在X地点有哪些用户?

hadoop - 将 Pig 与 Hbase 集成

我在linux上安装了hadoop-2.5.0、pig0.13.0和HBase0.98.6.1。尝试运行简单的pig脚本时,出现错误2014-10-1416:01:54,891[main]ERRORorg.apache.pig.tools.grunt.Grunt-ERROR2998:Unhandledinternalerror.org.apache.hadoop.hbase.util.Bytes.equals([BLjava/nio/ByteBuffer;)ZDetailsatlogfile:/home/labuser/pig_1413279561970.log粘贴下面的日志...Pi

hadoop - 三节点hadoop集群中的Hbase安装

我已经安装了我的hadoop三节点集群(master、slave1和slave2)。我想安装Hbase完全分布式模式。我想在我的hadoop集群MASTER机器(即Namenode)中安装HBaseMaster和Zookeepr,并在SLAVE1和SLAVE2(即Datanodes)机器中安装区域服务器。这是正确的做法吗?抱歉,这可能是一个简单的问题,但我是NoSQL系统的新手,想进行此安装。如果有人能够分享安装的任何引用文档,我真的很感激。提前致谢。 最佳答案 为了在三个节点上配置hbase和zookeeper,即1master和

linux - 我是否需要在 Windows 中使用 Hadoop 来连接在 Linux 上运行的 hbase?

我是否需要在我的Windows中使用Hadoop来使用hadoop连接在ununtu上运行的hbase?我的hbase在我的ubuntu机器上运行良好。我可以在同一台机器上连接eclipse(我正在使用kundera连接hbase)。现在我想从我的windows7eclipseIDE连接hbase。我需要在我的Windows上安装hadoop来连接ubuntu上的远程hbase吗??当我尝试时,我得到了这样的东西FailedtolocatethewinutilsbinaryinthehadoopbinarypathReadaboutopen-sourcetechnology.IOExc

hadoop - 有人可以建议 HBase 架构点击流数据吗

我想使用HBase创建一个点击流应用程序,在sql中这将是一个非常简单的任务,但在Hbase中我还没有得到第一条线索。有人可以建议我在HBase中使用的架构设计和key。我提供了一个粗略的数据模型和几个我想查询数据的问题。关于访问数据我想问的问题哪些事件导致了转化?最后一页是什么/浏览了多少页?客户离开了哪些页面?20-30岁的男性顾客喜欢买什么产品?客户购买了产品x也可能购买产品y?第一页的转化量?{PageViews:[{date:"1970010100:00",domain:"http://foobar.com",path:"pageOne.html",timeOnPage:"1

hadoop - HBase 和 Hive 需要放在同一台机器上吗?

我们目前正在构建一个新的hbase集群。架构如下:现在我想添加一个新的Hive集群。但是不知道要不要和hbase在同一个hadoop集群上搭建hive。还是应该为hive构建一个新的hadoop集群?如果我为hive新建一个hadoop集群,执行sql聚合hbase的数据时,hive和hbase之间的流量会不会太大(AFAIK,hive需要将hbase上的数据导入到自己的hdfs存储中)? 最佳答案 让我们首先定义HBase和Hive之间的流量是多少。在每个Hive查询中,您将:使用Hive直接查询HBase使用Hive执行Ware

hadoop - NiFi 或 Streamsets 从 HBase 读取,加入平面文件中的内容并写入 Hive

试图弄清楚是否可以使用apacheNiFi或Streamsets实现连接。这样我就可以定期从HBase读取数据,与其他表连接并将少量字段写入Hive表。或者有没有其他工作流管理器工具支持这个操作? 最佳答案 我不熟悉Streamsets,但我会尽力帮助NiFi。您的平面文件是静态的吗?如果是这样,您是否希望直接替换值?您应该能够使用ReplaceTextWithMapping处理器。如果不是直接替换,您可以预填充DistributedMapCache使用平面文件中的值,然后使用FetchDistributedMapCache对HBa