草庐IT

HBase架构和部署(超级详细)

N.1HBaes介绍N.1.1HBase简介1)HBase是一个分布式的、面向列的开源数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。(1)关系型数据库:————————————————————————————————————————————————(2)非关系型数据库:————————————————————————————————————————————————2)行式存储倾向于结构固定,列式存储倾向于结构弱化。3)行式存储一行数据只需一份主键,列式存储把一行拆多行数据每行都有主键。4)面向列的存储和权限控制,列(簇)独立检索。5)稀疏:

HBase之HBCK2

HBCK2hbck2的使用方法reportMissingRegionsInMetaaddFsRegionsMissingInMetaassignsunassignsextraRegionsInMetafilesystemfixMetasetRegionStatesetTableStatebypassgenerateMissingTableDescriptorFileregionInfoMismatchreplicationscheduleRecoveriesrecoverUnknown发现问题masterlogsMasterUI其他方式对于hbase2.x版本的集群,hbck1已不再适用。hb

使用Java连接Hbase

我在网上试了很多代码,但是大部分都不能实现,Java连接Hbase,一直报一个错java.util.concurrent.ExecutionException:org.apache.zookeeper.KeeperException$NoNodeException:KeeperErrorCode=NoNodefor/hbase/hbaseid一直也不清楚为什么。后面各种尝试,最后尝试出来了,能正常连接hbase,但是也不知道为啥能出来,所以该代码可能只能解决我自己的问题,其他人的问题请谨慎参考,不保证准确与否,因为我也不知道为什么????引入Jar,本公司使用的Hbase是2.0.2.1.7.

HBase常用Shell命令

在使用具体的Shell命令操作HBase数据之前,需要首先启动Hadoop,然后再启动HBase,并且启动HBaseShell,进入Shell命令提示符状态,具体命令如下:cd/usr/local/hadoop./sbin/start-dfs.shcd/usr/local/hbase./bin/start-hbase.sh./bin/hbaseshell1.在HBase中创建表假设这里要创建一个表student,该表包含Sname、Ssex、Sage、Sdept、course等字段。需要注意的是,在关系型数据库(比如MySQL)中,需要首先创建数据库,然后再创建表,但是,在HBase数据库中,

基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(一)案例需求

文章目录Flume+Kafka+Hbase+Flink+FineBI的实时综合案例01:课程回顾02:课程目标03:案例需求Flume+Kafka+Hbase+Flink+FineBI的实时综合案例01:课程回顾Hbase如何解决非索引查询速度慢的问题?原因:Hbase以Rowkey作为唯一索引现象:只要查询条件不是Rowkey前缀,不走索引解决:构建二级索引思想:自己建rowkey索引表,通过走两次索引来代替全表扫描步骤step1:根据自己查询条件找到符合条件的原表的rowkeystep2:根据原表rowkey去原表检索问题:不同查询条件需要不同索引表,维护原表数据与索引数据同步问题解决方案

HBase基础知识(一):HBase简介、HBase数据模型与基本架构

第1章HBase简介1.1HBase定义HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。1.2HBase数据模型逻辑上,HBase的数据模型同关系型数据库很类似,数据存储在一张表中,有行有列。但从HBase的底层物理存储结构(K-V)来看,HBase更像是一个multi-dimensionalmap。1.2.1HBase逻辑结构字典序:按位比较。下图是一张表,但是一张表往往会被切分开来,分配在不同区域。1.2.2HBase物理存储结构该数据结构是对上图的store的一个详解1.2.3数据模型1)NameSpace命名空间,类似于关系型数据库的DatabBase(数据库)概念

HBase基础知识(三):HBase架构进阶、读写流程、MemStoreFlush、StoreFile Compaction、Region Split

1.架构原理1)StoreFile保存实际数据的物理文件,StoreFile以HFile的形式存储在HDFS上。每个Store会有一个或多个StoreFile(HFile),数据在每个StoreFile中都是有序的。2)MemStore写缓存,由于HFile中的数据要求是有序的,所以数据是先存储在MemStore中,排好序后,等到达刷写时机才会刷写到HFile,每次刷写都会形成一个新的HFile。3)WAL由于数据要经MemStore排序后才能刷写到HFile,但把数据保存在内存中会有很高的概率导致数据丢失,为了解决这个问题,数据会先写在一个叫做Write-Aheadlogfile的文件中,然

HBase基础知识(五):HBase 对接 Hadoop 的 MapReduce

通过HBase的相关JavaAPI,我们可以实现伴随HBase操作的MapReduce过程,比如使用MapReduce将数据从本地文件系统导入到HBase的表中,比如我们从HBase中读取一些原始数据后使用MapReduce做数据分析。1官方HBase-MapReduce1.查看HBase的MapReduce任务的执行./bin/hbasemapredcpSLF4J:ClasspathcontainsmultipleSLF4Jbindings.SLF4J:Foundbindingin[jar:file:/opt/module/hbase-1.3.1/lib/slf4j-log4j12-1.7.

HBase高阶(一)基础架构及存储原理

一、HBase介绍简介HBase是Hadoop生态系统中的一个分布式、面向列的开源数据库,具有高可伸缩性、高性能和强大的数据处理能力。广泛应用于处理大规模数据集。HBase是一种稀疏的、分布式、持久的多维排序map稀疏:对比关系型数据库和非关系型数据库,关系型数据库是以表格的形式进行存储,对存储的要求较高,每一行每一列都需要预留对应的存储空间,这就会造成存储空间的浪费。分布式:海量数据保存在多台机器上。持久化:将内存中的对象存储在数据库中,或者存储在磁盘文件中。多维:noSQL数据库的本质是KV结构。像hashMap就是一种单维的kv结构,存储的数据不够全面、较为单一。 排序:无序的数据当想要

头歌——HBase 开发:使用Java操作HBase

第1关:创建表题目任务描述本关任务:使用Java代码在HBase中创建表。相关知识为了完成本关任务,你需要掌握:1.如何使用Java连接HBase数据库,2.如何使用Java代码在HBase中创建表。如何使用Java连接HBase数据库Java连接HBase需要两个类:HBaseConfigurationConnectionFactoryHBaseConfiguration要连接HBase我们首先需要创建Configuration对象,这个对象我们需要通过HBaseConfiguration(HBase配置)对象来进行创建,HBaseConfiguration看名字我们就能猜到它的用途:读取指