1. Hbase-region切分 自动切分，默认情况下2.0版本，第一次region的数据达到256M，会进行切分，以后就是每达到10G切分一次，切分完成后，会进行负载均衡，均衡到其他regionserver预分区+自定义rowkey可以理解为预切分比如预分区，每个regionserver会有10个region，每个region都有startrow和endrow生产上必须要用预分区+自定义rowkey预分区好了之后，即使没有数据，也会新建10个region的空文件以后存数据的时候，会均匀的存到每个region中2. Hbase-大合并和小合并大合并：将过期数据删除，将文件进行合并 企业中7天
client读写请求HMaster管理元数据监控region是否需要进行负载均衡，故障转移和region的拆分RegionServer负责数据cell的处理，例如写入数据put，查询数据get等拆分合并Region的实际执行者，由Master监控，由regionServer执行ZookeeperHBase通过Zookeeper来做Master的高可用、记录RegionServer的部署信息、并且存储有meta表的位置信息。HDFS存储
1、tcpdump抓包tcpdump这个命令是用来抓包的，默认情况下这个命令是没有的，需要安装一下：yuminstall-ytcpdump使用这个命令的时候最好是加上你网卡的名称，不然可能使用不了：tcpdump-nn-i{网卡名称}网卡名称可使用ifconfig查看1.1、指定端口tcpdump-nn-i{网卡名称}port{port}1.2、过滤端口tcpdump-nn-i{网卡名称}notport{port}1.3、指定iptcpdump-nn-i{网卡名称}host{ip}1.4、指定ip过滤指定端口tcpdump-nn-i{网卡名称}notport{port}andhost{ip}1
本文将介绍如何使用Spark操作HBase的数据，实现列之间的计算，以特征值计算为例。特征值是指从原始数据中提取出来的具有代表性或判别性的数值，可以用于数据分析或机器学习等领域。本文将使用hbase-spark连接器，通过SparkRDD的方式，读取和写入HBase的表，实现对Sentinel-2卫星影像数据的特征值计算。主要内容如下：创建SparkSession和HBaseConfiguration对象。读取HBase表的数据，并转化成RDD。进行列式计算，得到特征值，并转化成RDD。写入HBase表的数据。验证HBase表的数据。目录一、环境准备二、创建SparkSession和HBase
1.简介Git是一个开源的分布式版本控制系统，可以有效、高速地处理从很小到非常大的项目版本管理。也是LinusTorvalds为了帮助管理Linux内核开发而开发的一个开放源码的版本控制软件。Torvalds开始着手开发Git是为了作为一种过渡方案来替代BitKeeper。2.常用命令使用命令将代码克隆到本地：gitclonessh链接添加文件到暂存区中gitaddfile1.txtgitaddfile2.txtfile3.txt//添加两个文件到暂存区提交暂存区中的所有内容到当前分支，双引号内的内容为注释，描述。gitcommit-m“add3files”查看git当前状态gitstatus
git安装后-指定名称和邮箱$gitconfig--globaluser.name“YourName”$gitconfig--globaluser.email“email@example.com”本地初始化GIT仓库:#基于远程仓库克隆至本地gitclone#当前目录初始化为git本地仓库gitinit“directory”把文件添加add和提交commit到版本库本地添加#添加指定文件至暂存区gitadd“fileName”#添加指定目录至暂存区gitadd“directory”#添加所有gitadd-A#将指定目录及子目录移除出暂存区gitrm--cachedtarget-r#添加勿略配置
HBase提供了一个非常方便的命令行交互工具HBaseShell。通过HBaseShell，HBase可以与MySQL命令行一样创建表、索引，也可以增加、删除和修改数据，同时集群的管理、状态查看等也可以通过HBaseShell实现。一、数据定义语言数据定义语言（DataDefinitionLanguage，DDL），包括数据库表的创建、修改等语句。1，创建表创建表的语句如下：create's_behavior',{NAME=>'pc'},{NAME=>'ph'}该语句创建了一个s_behavior表，用来存储用户的行为数据，这个表有两个列族，列族pc用来存储用户PC端的用户行为数据，列族ph用
相信来查命令的同学，根本不是来学具体某个命令的作用的，只是想来查看命令的语法，博主深知这一点（因为博主也是这样过来的），相信这篇文章，将会带给你在工作中最常用的命令，让你一打开就是命令大全！！喜欢这么直接的博主，就给博主点个关注，有想法的同学，也可以赞赏一下！！感谢各位同学的支持！！Git最最最常用命令命令名称作用gitconfig--globaluser.name用户名设置全局用户签名gitconfig--globaluser.email邮箱设置全局用户签名gitinit初始化本地库gitstatus查看本地库状态gitadd文件名添加到暂存区gitadd-A将仓库内所有变更都加入到暂存区g
Hbase集群搭建前言详细步骤1、下载安装包2、解压3、修改配置文件3.1修改hbase-env.sh文件3.2修改hbase-site.xml3.3修改regionservers文件4、分发hbase目录5、启动HBase集群6、查看HBaseWebUI大家好，我是风云，欢迎大家关注我的博客，在未来的日子里我们一起来学习大数据相关的技术，一起努力奋斗，遇见更好的自己！前言HBase是一个开源的、分布式的、版本化的非关系型数据库，它利用Hadoop分布式文件系统（HadoopDistributedFileSystem，HDFS）提供分布式数据存储。存储结构化和半结构化的数据，可以进行随机访问的
Hbase集群搭建前言详细步骤1、下载安装包2、解压3、修改配置文件3.1修改hbase-env.sh文件3.2修改hbase-site.xml3.3修改regionservers文件4、分发hbase目录5、启动HBase集群6、查看HBaseWebUI大家好，我是风云，欢迎大家关注我的博客，在未来的日子里我们一起来学习大数据相关的技术，一起努力奋斗，遇见更好的自己！前言HBase是一个开源的、分布式的、版本化的非关系型数据库，它利用Hadoop分布式文件系统（HadoopDistributedFileSystem，HDFS）提供分布式数据存储。存储结构化和半结构化的数据，可以进行随机访问的
