草庐IT

HBASE_CLASSPATH

全部标签

hadoop - 通过 hive 将数据插入 hbase 时,reducer 卡在 99%

我有2个节点的hbase集群在amazon-ec2(hadoop1.0.1,hive-0.11.0,hbase-0.94.11,zookeeper-3.4.3)上运行并在EMR节点上创建使用ami-2.4.1。所以在EMR实例上,我有一个指向S3上某个位置的外部表。此外,我还创建了一个hbase-hive表(modelvarlarge,modelval)。现在,我试图将数据从logdata插入到modelvar。但是,reducer阶段卡在99%并导致以下错误:仅供引用,通过zkcli我能够从EMR连接到Ec2zookeeper。外部表:createexternaltablelogda

hadoop - HDP2.0 for hbase 中缺少安全 jar

我们已将集群从HDP1.3升级到HDP2.0。由于这次迁移,我们以前工作的代码面临某些问题。使用Importtsv命令批量加载Hbase:HDP1.3中存在的安全jar在HDP2.0中缺失。因此,我们无法正确映射jars。在1.3集群中工作的Pig命令过滤器在2.0中不工作。我们如何解决这个问题? 最佳答案 Hadoop提供了良好的向后兼容性。确保集群中的每个节点(所有Hadoop服务)都从1.3升级到2.0,包括Pig、Hive、HBase、Sqoop.... 关于hadoop-HDP

sql - Hive 无法在 hbase 中为外部表创建分区列

我无法使用以下脚本在配置单元中创建带有分区列的外部表CREATEEXTERNALTABLEOpportunity_par(keystring,Opportunity__Idstring,Campaign__Namestring)>PARTITIONEDBY(eventDatetimestamp)>STOREDBY'org.apache.hadoop.hive.hbase.HBaseStorageHandler'>WITHSERDEPROPERTIES("hbase.columns.mapping"=":key,cf2:Opportunity__Id,cf3:Campaign__Name

shell - Hbase shell 警告 : hadoop. native.lib 已弃用。相反,使用 io.native.lib.available

您好,我一直在配置与Hadopp2.2兼容的Hbase0.96。以前我有版本hbase-0.94.11和hadoop-1.2.1。我按照文档和我以前的经验做了。现在,在0.96中登录到hbaseshell时,我收到以下警告:hadoop.native.lib已弃用。相反,使用io.native.lib.available我试图用http://balanceandbreath.blogspot.com/2013/01/utilnativecodeloader-unable-to-load.html解决这个问题我正在尝试通过http://hadoop.apache.org/docs/cur

hadoop - 接口(interface)错误 : TSocket read 0 bytes when using hue with hbase

这是我在hueconfig中的设置[hbase]#以逗号分隔的HBaseThrift服务器列表#集群,格式为“(name|host:port)”。hbase_clusters=(集群|MasterIP:ThriftPort)#在截断之前获取的每行的行数或列数的硬限制。##truncate_limit=500但是当我连接到hue网页并切换到Hbase选项卡时,它显示日志:[08/Dec/201319:30:13+0000]中间件信息处理异常:Api错误:TSocket读取0字节:回溯(最近调用最后):文件“/home/ubuntu/workspaces/hue/hue-master/bu

hadoop - 无法在 Cloudera Manager 中启动 HBase

在我的设置中,由于电源中断,我的虚拟机在重新启动所有虚拟机后进入停机状态我无法启动Hbase,所有其他服务都可以重新启动/停止/启动,但在CM的UI中在hbaseACTIONS选项卡中,所有选项都被隐藏了..以下是我的hbasemaster日志,现在处于退出模式6:29:05.880AMERRORorg.apache.hadoop.hbase.zookeeper.RecoverableZooKeeperZooKeeperexistsfailedafter3retries6:29:05.880AMWARNorg.apache.hadoop.hbase.zookeeper.ZKUtilhc

java - 使用 Hadoop-2.2.0 启动 hbase 时出错

我已经使用hadoop-2.2.0安装并配置了Hbase-0.94.14。启动HBase时出现以下错误。Error:Couldnotfindorloadmainclassorg.apache.hadoop.util.PlatformName我还没有找到任何合理的Material来解释我为什么会这样。我相信我缺少一些.jar文件,但不知道是哪一个。Hadoop结构发生了巨大的变化。对于hadoop-1.x,只有一个hadoop-core.x.jar文件就足够了。但是在hadoop.2.x中我没有找到hadoop-corejar。如果有人知道为什么会这样,请帮助我。注意:我在启动HBase

hadoop - HBase shell - 为历史数据和审计信息建模和检索数据

我正在寻找有关HBase的一些帮助(对它相当陌生,并试图了解我是否可以将它用于我的POC)。用例:我需要一个历史价格数据表,例如将存储10个不同索引的数据。其中一项要求是追踪或审计追踪对成分股或股票或工具的任何属性所做的更改。另外,如果我想找到在2010年1月的价格变动n%方差的工具列表。数据例如(一些可能性)(下面提到的列只是为了说明)dateinstrumenthighlowmiduserts20130101goog3433.433.8system10:3020130101yhoo2423.423.8system10:5020130101goog34.133.333.8ops10:

hadoop - 哪些版本的 HBase 和 Hive 兼容?

哪些版本的HBase和Hive相互兼容?我目前正在运行HBase0.96和HIVE0.12,我想知道以下错误是否是由于兼容性引起的:失败:执行错误,从org.apache.hadoop.hive.ql.exec.DDLTask返回代码1。java.lang.RuntimeException:无法实例化org.apache.hadoop.hive.metastore.HiveMetaStoreClient编辑:将0.9.6更改为0.96 最佳答案 尝试使用HBase和hive稳定版。hive:http://mirrors.sonic.

hadoop - Hbase 与 Hive 的比较

我试图对HBASE有一个清晰的了解。Hive:-ItjustcreateaTabularStructurefortheUnderlyingFilesinHDFS.SothatwecanenabletheusertohaveQueryingAbilitiesontheHDFSfile.Correctmeifimwronghere?Hbase-Again,wehavecreateaSimilartableStructure,ButbitmoreinStructuredway(ColumnOriented)againoverHDFSFilesystem.考虑到他们从事的工作类型,他们不是一样