1.练习一1.数据准备在hdfs上创建文件夹，上传csv文件[root@kb129~]#hdfsdfs-mkdir-p/app/data/exam查看csv文件行数[root@kb129~]#hdfsdfs-cat/app/data/exam/meituan_waimai_meishi.csv|wc-l2.分别使用RDD和SparkSQL完成以下分析（不用考虑数据去重）开启sparkshell[root@kb129~]#spark-shell（1）加载csv文件,创建RDDscala>valfileRdd=sc.textFile("/app/data/exam/meituan_waimai_m
hive支持的文件类型：textfile、sequencefile（二进制序列化文件）、rcfile（行列式文件）、parquet、orcfile（优化的行列式文件）一、orc文件带有描述式的行列式存储文件。将数据分组切分，一组包含很多行，每一行再按例进行存储。orc文件结合了行式和列式存储结构的优点，在有大数据量扫描读取时，可以按行进行数据读取。如果要读取某列的数据，可以在读取行组的基础上读取指定的列，而不需要读取行组内所有数据以及一行内的所有字段数据。1.1orc文件的结构：条带（stripe）orc文件存储数据的地方文本脚注（filefooter）包含了stripe列表，每个stripe
前置知识：1.了解hadoop基础知识，并能够搭建hadoop集群 2.了解hive基础知识3.Iceberg学习笔记（1）——基础知识-CSDN博客可以参考：Hadoop基础入门（1）：框架概述及集群环境搭建_THEWHY的博客-CSDN博客Hive基础知识总结-CSDN博客环境准备hive和iceberg的适配关系Hive版本官方推荐Hive版本Iceberg版本2.x2.3.80.8.0-incubating–1.1.03.x3.1.20.10.0–1.1.0注意：Iceberg与Hive2和Hive3.1.2/3的集成，支持以下特性：创建表删除表读取表插入表（INSERTinto）更多
配置开启Hive远程连接Hive远程连接默认方式远程连接Hive自定义身份验证类远程连接Hive权限问题额外说明Hive远程连接要配置Hive远程连接，首先确保HiveServer2已启动并监听指定的端口hive/bin/hiveserver2检查HiveServer2是否正在运行#lsof-i:10000COMMANDPIDUSERFDTYPEDEVICESIZE/OFFNODENAMEjava660root565uIPv6899170t0TCP*:ndmp(LISTEN)默认方式远程连接Hive如果Hive运行在与Hadoop集成的环境中，HiveServer2可以与Hadoop中的用户验
1.利用中间表，先将double强转为string（会出现科学计数法）2.sethive.exec.dynamic.partition=true;sethive.exec.dynamic.partition.mode=nonstrict;insertoverwritetable --注意是覆盖写目标表 PARTITION(dt)select cast((concat('0.',repeat('0',cast(regexp_extract(字段名,'(E)(-)([0-9]+)',3)asint)-1),regexp_replace(regexp_extract(字段名,'(.+)(E)',1)
Hive版本：3.1.21、需求：使用Hive自带函数将13位时间戳：1682238448915转成今天的时间（北京时间），格式样例：‘2023-04-2316:27:28’2、结果：3、源码：selectfrom_utc_timestamp(1682238448915,'GMT+8');--结果：2023-04-2316:27:28.915000000，包含毫秒了selectfrom_unixtime(cast(1682238448915/1000asbigint),'yyyy-MM-ddHH:mm:ss');--结果：2023-04-2308:27:28，差了8小时selectfrom_u
✨作者主页：IT毕设梦工厂✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、部分代码设计五、论文参考六、系统视频结语一、前言随着工业4.0和物联网（IoT）的快速发展，设备环境监测平台在各行各业中的应用越来越广泛。课题的产生基于对设备环境进行实时、便捷的监测和管理，以提高设备利用率，减少设备故障率，优化维修流程，降低运营成本，增强企业的竞争
Hive内置UDTF1、UDF、UDAF、UDTF简介2、Hive内置UDTF1、UDF、UDAF、UDTF简介在Hive中，所有的运算符和用户定义函数，包括用户定义的和内置的，统称为UDF（User-DefinedFunctions）。如下图所示：UDF官方文档：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF其中，用户自定义聚合函数和内置聚合函数统称为UDAF（User-DefinedAggregateFunctions），用户自定义表生成函数和内置表生成函数统称为UDTF（User-DefinedTab
#所需安装包下载路径(1)mysqlrpm包路径：https://downloads.mysql.com/archives/community/connect路径：https://downloads.mysql.com/archives/c-j/(2)hivehttps://mirrors.huaweicloud.com/apache/hive/hive-3.1.3/(3)sparkhttps://mirrors.huaweicloud.com/apache/spark/spark-2.3.0/1.mysql安装部署1.1安装包下载 1.1.1所需下载的rpm包 1.1.2所需驱动包下载1.2
Hive动态分区hive提供了一个动态分区功能，其可以基于查询参数的位置去推断分区的名称，从而建立分区。1、配置参数1.1主要配置参数以下为Hive动态分区涉及的配置参数：sethive.exec.dynamic.partition=true--表示开启动态分区功能，默认是falsesethive.exec.dynamic.partition.mode=nonstrict--表示允许所有分区都是动态的，否则必须有静态分区字段，默认strict。1.2调优相关参数动态分区相关的调优参数：sethive.exec.max.dynamic.partitions.pernode=100--默认100，
