Hive学习（三）1.修改表1.重命名表语法如下：ALTERTABLEtable_nameRENAMETOnew_table_name实例：hive(default)>altertabledept_partition2renametodept_partition3;2.增加、修改和删除表分区见下面分区表的基本操作3.增加/修改/替换列信息语法如下：1.更新列ALTERTABLEtable_nameCHANGE[COLUMN]col_old_namecol_new_namecolumn_type[COMMENTcol_comment][FIRST|AFTERcolumn_name]2.增加和替换

文章目录概述创建分区表查看单个HIVE表分区的行数查看单个HIVE表分区的行数和数据占用批量查询HIVE表分区的行数和数据占用补充概述查询HIVE表分区的数据占用和行数，用于数据治理通常，每天一个分区；通常，今天查看昨天分区数据量本文日期分区字段为ymd创建分区表--创建多级分区表DROPTABLEIFEXISTSt3;CREATETABLEt3(f1STRING,f2INT)PARTITIONEDBY(ymdSTRINGCOMMENT'年月日',hINTCOMMENT'时');--插入数据INSERTINTOTABLEt3PARTITION(ymd='2022-08-08',h=8)VALU

问题1：什么是Hive？答案：Hive是一个基于Hadoop的数据仓库工具，它提供了类似SQL的查询语言（HiveQL）来进行大规模数据的分析和处理。Hive将结构化数据映射到Hadoop的分布式文件系统（HDFS）上，并通过MapReduce任务执行查询操作。问题2：Hive的主要特性是什么？答案：Hive的主要特性包括：类SQL查询语言：Hive提供了类似SQL的查询语言（HiveQL）来方便用户进行数据查询和分析。数据映射：Hive将结构化数据映射到Hadoop的分布式文件系统（HDFS）上，以便进行分布式数据处理。扩展性：Hive能够处理大规模的数据集，并在Hadoop集群上进行并行处

为什么要分层?作为一名数据的规划者，我们肯定希望自己的数据能够有秩序地流转，数据的整个生命周期能够清晰明确被设计者和使用者感知到。直观来讲就是如图这般层次清晰、依赖关系直观。但是，大多数情况下，我们完成的数据体系却是依赖复杂、层级混乱的。如下的右图，在不知不觉的情况下，我们可能会做出一套表依赖结构混乱，甚至出现循环依赖的数据体系。因此，我们需要一套行之有效的数据组织和管理方法来让我们的数据体系更有序，这就是谈到的数据分层。数据分层并不能解决所有的数据问题，但是，数据分层却可以给我们带来如下的好处：1）清晰数据结构：每一个数据分层都有它的作用域和职责，在使用表的时候能更方便地定位和理解；2）减少

目录一、前言二、拉链表业务背景2.1数据同步引发的问题2.1.1解决方案12.1.2解决方案22.1.3解决方案3三、拉链表设计与原理3.1功能与应用场景3.2实现步骤3.2.1Step13.2.2 Step23.2.3Step33.3操作演示3.3.1创建一张表并加载数据3.3.2模拟增量数据变化3.3.3合并数据一、前言做过电商开发的同学对订单的业务应该不陌生，比如对一条订单数据来说，通常会有一个类似于status的字段来标识这个订单的完整的生命周期，从存储的数据来看，一张表只需要存储这一条数据即可。但是对于数据分析来看，为了跟踪这个订单的全生命周期的完整过程来说，这并不是一个很好的设计，

拉链表文章目录拉链表定义用途案例全量流程增量流程合并过程第一步第二步第三步案例二（含分区）创建外部表orders增量分区表历史记录表定义拉链表是一种数据模型，主要是针对数据仓库设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。记录一个事物从开始，一直到当前状态的所有变化的信息。拉链表可以避免按每一天存储所有记录造成的海量存储问题，同时也是处理缓慢变化数据（SCD2）的一种常见方式。用途1.数据量比较大2.表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态等等3。需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态，比如

一、区别：三者通常都会配合窗口函数over()，并结合partitionbyorderbyxxx来分组排序，即形式使用：function_nameover(partitionbyxxxorderbyxxx)。首先三者都是产生一个自增序列，不同的是row_number()排序的字段值相同时序列号不会重复，如：1、2、(2)3、4、5（出现两个2，第二个2继续编号3）rank()排序的字段值相同时序列号会重复且下一个序列号跳过重复位，如：1、2、2、4、5（出现两个2，跳过序号3，继续编号4）dense_rank()排序的字段值相同时序列号会重复且下一个序列号继续序号自增，如：1、2、2、3、4（

上一篇已经把hadoop环境搭建完成了，基于上一篇的Linux环境，把hive环境安装一下；一、hive安装步骤1、到hive官网上hive官网（ApacheHive）下载hive，（下载hive的时候，需要注意跟hadoop的版本兼容问题，一般hadoop是3.x.x,hive的版本也是3.x.x）    2、把下载的hive上传到服务器上，如有FTP上传，没有FTP通过rz命令，上传压缩包命令：rz-be然后回车，选择上传hive的压缩包；3、hive压缩包上传到服务器之后，移动到安装目录进行解压，解压命令：tar-xzvf解压的压缩包（只适用于.tar.gz的压缩包）；4、配置环境变量，

文章目录一、前言1.1写在前面的话1.2为什么有hive1.3Hive的本质1.4hive架构1.5MapReduce图解1.6SQL转化为MapReduce的过程二、什么是执行计划2.1什么是执行计划2.2语法组成三、explainquery3.0一个小实例3.1两个部分3.2Stage理解3.4何时划分Stage3.5划分规则(按照MR为例子)：3.6常见OperatorTableScan：表扫描操作SelectOperator：选取操作GroupByOperator：分组聚合操作ReduceOutputOperator：输出到reduce操作FilterOperator：过滤操作MapJ

参考资料为： 教材代码-林子雨编著《大数据基础编程、实验和案例教程（第2版）》教材所有章节代码_厦大数据库实验室博客1.实验学时4学时2.实验目的熟悉Hive的安装熟悉Hive的基本用法3.实验内容（一）完成Hive的安装和配置Mysql接口。先进行hive安装包的安装。然后修改文件名和文件权限；之后加入环境变量的路径：加入：然后输入命令使得配置立即生效。之后进入对应文件夹修改文件名：然后创建一个新的文件.xml输入信息：javax.jdo.option.ConnectionURLjdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist