草庐IT

hbase-parameter-tuning

全部标签

java - Hbase-1.1.x 版本中的 Map reduce

根据http://hbase.apache.org/book.html#mapreduce.example中的示例,我需要使用TableMapReduceUtil来启动HBase上的映射缩减,我的Mapper将扩展TableMapper。但是,我在Hbase1.1.2或1.1.1中找不到这些类。在这些版本中,我需要有关如何通过HBase执行map缩减作业的帮助。我正在下载HBase依赖项作为pom而不是jar。因为,jar无法正常工作并抛出错误,导致maven找不到该repo。org.apache.hbasehbase1.1.2pomPS:当我尝试在IntelliJ中自动导入时,它确实

hadoop - 读取 hbase 表时挂起 Mapreduce 作业

我有一个像这样设置的4节点hadoop分布式集群(包括hbase)。node1-namenode+hbasemaster+zookeepernode2-资源管理器node3-datanode1+hbaseregionserver1+nodemanagernode4-datenode2+hbaseregionserver2+nodemanager集群设置似乎很好,因为所有的WEBUI(hbase、名称节点、资源管理器)都在出现。现在,当我尝试提交读取/写入hbase表的mapreduce作业时,它会被挂起。它不断超时但是,如果我在我的mapreduce代码中明确提及hbase凭据并将它们

java - 无法使用 JAVA 创建表并将表列表到远程 HBase

尝试仅远程连接HBase,相同的代码在本地工作:这是程序:publicstaticvoidmain(String[]args)throwsIOException{HBaseConfigurationhconfig=newHBaseConfiguration(newConfiguration());hconfig.set("hbase.zookeeper.quorum","192.168.*.***");hconfig.set("hbase.master","192.168.*.***:60000");hconfig.set("hbase.zookeeper.property.clien

python - 如何将百万歌曲数据集等大数据集加载到 BigData HDFS 或 Hbase 或 Hive 中?

我已经下载了一个大约2GB的百万歌曲数据集的子集。但是,数据被分解为文件夹和子文件夹。在子文件夹中,它们都是几个“H5文件”格式。我知道它可以使用Python读取。但我不知道如何提取并加载到HDFS中,以便我可以在Pig中运行一些数据分析。我是否将它们提取为CSV并加载到Hbase或Hive?如果有人能指出我正确的资源,那将会有所帮助。 最佳答案 如果它已经在CSV或linux文件系统上的任何格式中,PIG可以理解,只需执行hadoopfs-copyFromLocal即可如果您想在HDFS上使用Python读取/处理原始H5文件格式

hadoop - 部署 HBase Master 和 hadoop namenode

我想知道是否有关于根据HadoopNamenodes安装HBasemaster的一般建议。 最佳答案 您应该使用zookeeper在3个节点上设置HBasemaster以实现高可用性。在生产环境中,您不应该在运行名称节点的节点上运行任何东西。Namenode是HDFS最关键的组件,如果它宕机,集群上就没有其他可用的组件了。因此,最好有完全独立的节点来尽可能地缓解问题。 关于hadoop-部署HBaseMaster和hadoopnamenode,我们在StackOverflow上找到一个类

hadoop - BigSQL-HBase 集成

我是BigSQL的新手。我开始知道HBase可以与BigSQL集成。我曾尝试在创建HBase表之前和之后执行BigSQL-HBase创建命令,但我收到了下面提到的错误。SQL1:CREATEHBASETABLEdbname.reviews_hive(REVIEWIDint,PRODUCTint)COLUMNMAPPING(keyMAPPEDBY(REVIEWID),summary:productMAPPEDBY(PRODUCT));(或)SQL2:CREATEHBASETABLEdbname.reviews_hive(REVIEWIDintprimarykeynotnull,PRODU

hadoop - HBase 中的复制与快照

我们有两个系统-一个离线系统(性能在这里并不重要),其中MapReduce作业在HBase集群上运行。另一个是在线系统(这里性能很关键),API从同一个HBaseCluster读取。但是由于MapReduce作业运行在同一个集群上,在线系统上存在性能问题。因此,我们正在尝试为离线系统设置单独的HBase集群,这是从源集群中复制几个姓氏。因此在源上运行繁重的MapReduce作业。在复制的集群上,只有在线系统运行才能提供最佳性能。我的问题是::我们不能使用HBase中的快照功能来做同样的事情吗?我也想知道它们有什么区别? 最佳答案 如

hadoop - Hbase Standalone模式报错

我的独立hbase启动了,但是当我在shell中执行任何命令时它会出错...我尝试了很多解决方案,但没有任何效果:(错误信息:hbase(main):001:0>create'emp''data'16/02/0818:42:57ERRORzookeeper.RecoverableZooKeeper:ZooKeeperexistsfailedafter3retries16/02/0818:42:57WARNzookeeper.ZKUtil:hconnectionUnabletosetwatcheronznode(/hbase/hbaseid)org.apache.zookeeper.Ke

apache - Hadoop、HBase 和 Apache Nutch 兼容版本

HBase和Nutch。我正在尝试将这3个集成在一起,但遇到了兼容性问题。我想知道是否有人知道我可以一起使用哪些最新版本的Hadoop、HBase和Nutch。非常感谢任何见解非常感谢! 最佳答案 您现在可以拥有的最新兼容版本是:坚果2.3.1hbase0.98.17-hadoop2hadoop2.5.2来源:nutchnews. 关于apache-Hadoop、HBase和ApacheNutch兼容版本,我们在StackOverflow上找到一个类似的问题:

hadoop - 在 hbase 集群上设置多个 tsd

在我的HBase集群上设置多个opentsdb实例需要完成哪些配置?我想设置一些实例用于写入,一些实例用于只读。找到这个链接https://groups.google.com/forum/#!searchin/opentsdb/multiple$20tsd/opentsdb/NiTKnsmm7NI/O7mPzWwwshYJ但我很困惑是否所有实例都需要指向运行HMaster守护进程的我的单一主节点?在不同的实例中如何设置这些属性?https://groups.google.com/forum/#!searchin/opentsdb/multiple$20tsd/opentsdb/nZ59