草庐IT

HBASE_CLASSPATH

全部标签

hadoop - 在phoenix for hbase 中,插入90000 行数据时插入OOM

运行命令:./jsvc64/jsvc64-pidfile./log/jsvc.pid-outfile./log/out.txt-errfile./log/error.txt-Xmx512m-Djava.util.Arrays.useLegacyMergeSort=true-cp:./tools/lib/:./tools/com.g2us.hbase.cmdlog.monitor.CmdLogHbase./SQL:UPSERTINTOCMDLOG_20130818(game,roleid,otime,logtype,passport,subgame,cmdid,exception,mor

java - hadoop hbase mapreduce 组合器

现在我正在编写一个Java程序,使用HadoopMapReduce将输出写入HBase。问题是关于Combiner类的。因为现在我的reduce类扩展了TableReducer,而不是Reducer。那么我的combiner类呢,它应该也扩展TableReducer,还是仍然扩展Reducer? 最佳答案 您的组合器类应该扩展TableReducer本身而不是Reducer。 关于java-hadoophbasemapreduce组合器,我们在StackOverflow上找到一个类似的问

hadoop - Nutch之hBase数据存储(网页)的理解

我使用HBase作为ApacheNutch抓取数据的存储。我的存储位置在路径/data/hbase/webpage中,在那里我可以看到很多文件夹,例如:64b2feb30073eec24d9dba65d421e7f482062bc554bd45bf198d9edea971a307c8a6eec12d9f6926a1d912be9a0ca81c1f682541b8d1c0559de6df14ae84e2b083b28ee75babc718cc28e66b98c9ff5809eb4bb5f2be087e2c84a2f51d26653还有更多...这些文件夹包含其他文件夹,如:fhilmkm

hadoop - PIG - HBASE - HBaseStorage key 过滤器(gt,lt)

在PIG脚本中,我使用HBaseStorage从HBase表加载所有行。但是,我想通过行键过滤行。我查看了源代码,我可以通过构造函数发送-gt&-lt。但是,我不知道如何将我的值传递给构造函数。它是一个字节[]...这里是我所在的地方:LOAD'hbase://TABLE'USINGorg.apache.pig.backend.hadoop.hbase.HBaseStorage('CF:I','-casterHBaseBinaryConverter')AS(product_id:bytearray);如果可能,请提供示例代码... 最佳答案

hadoop - hbase 0.94.11 和 hadoop 版本

我有一个版本为1.2.1的Hadoop集群,最近我还下载了hbase0.94.11来试用。我能够设置hbaset在分布式模式下运行,但是当我检查webgui状态时,它表明Hadoop版本是1.0.4。我注意到这是因为hbase使用hadoop-core-1.0.4.jar文件与hbase一起提供。所以我的问题是我应该用hadoop-core-1.2.1.jar替换这个jar文件,以便hbase可以使用最新的hadoop-corejar文件吗?这重要吗?顺时针 最佳答案 如果1.0.4适合您,则您不必这样做。因为最新的版本可能会给你带

java - 安装 HDFS/HBase 客户端库

如何在我的Windows机器上安装包org.apache.hadoop和org.apache.hbase,以便我可以开发客户端以连接到现有的HBase集群? 最佳答案 从http://hadoop.apache.org/releases.html#Download下载hadoop转储直接链接下载1.2版本-http://mirror.tcpdiag.net/apache/hadoop/common/stable/hadoop-1.2.1.tar.gz(您也可以选择其他镜像和版本)。从各种文件夹(lib等)中提取jar并添加到ecli

hadoop - 无法从 Windows 连接到 HBase

我正在尝试从Windows运行HBaseJava客户端程序。我所拥有的只是1)没有任何编译器错误的Java程序2)hbase-site.xml(我没有其他HDFS或HBase配置文件。只有上面一个。)当我运行该程序时,在最后一个block中出现以下错误。我想念什么吗?我都在这里给。hbase.zookeeper.quorumIPAddress1,IPAddress2,IPAddress3importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg

java - hbase 独立快速启动失败可通过 maven 项目重复

我必须向私有(private)hadoop集群启动一个hbase进程,并且需要简单地演示最低限度的功能;演示不需要安装hadoop。按照QuickStartapachehbase文档通过shell失败,我已经能够使用自包含的maven项目复制失败。/etc/hosts不是问题。我找到了一个maven项目,它似乎是为deomnstrate这个相同的功能而构建的,并更新了deps。该项目在这里:hbase-demo要重复我的结果需要shell和安装了maven的两行:gitclonehttps://github.com/jnorthrup/hbase-democdhbase-demo$mv

hadoop - 如何在hbase中搜索像 '%test%'这样的列值

我在co列中保存了大文本内容,我想搜索co列是否包含特定单词,就像我们在中所做的那样RDBMSeg:wherecolike%test%,要实现这个我应该写任何过滤器还是Mapreduce?有人可以举例说明如何实现这一目标吗? 最佳答案 你可以做类似的事情RegexStringComparatorcomp=newRegexStringComparator(".test.");//or(\W|^)test(\W|$)ifyouwantcompletewordsonly或SubstringComparatorcomp=newSubstri

hadoop - rowkey 不完全已知时的 HBase 查询

我打算在HBase中存储流式天气数据。我的行键是:[5个字母的城市代码][时间戳]其中时间戳是[日期][HH:mm:ss.SSS中的时间]我只有一栏叫做“温度”。所以样本数据看起来像:NEWYO2013112108093212332.4NEWYO2013112108103434234.6NEWYO2013112108115642431.8NEWYO2013112108122353224.9SINGA2013112109114256323.1SANFR2013112109121476322.1我想查询数据以返回纽约11月21日8:11到8:13之间的温度值(应返回第3行和第4行)如何使用