Hive中的substr函数可以用来截取字符串的一部分，并返回截取后的结果。该函数有三个参数：第一个参数是要截取的字符串，第二个参数是截取的起始位置（从1开始），第三个参数是截取的长度。语法：substr(str,pos,len)举个例子，假设有一个字符串"HelloWorld"，我们想截取它的前5个字符，可以这样写：selectsubstr("HelloWorld",1,5);这个查询会返回"Hello"。如果想截取从第3个字符开始的所有字符，可以这样写：selectsubstr("HelloWorld",3);这个查询会返回"lloWorld"。如果想截取从倒数第5个字符开始的所有字符，可
文章目录介绍概述基本概念认证原理优点和缺点安装和使用安装Kerberos相关服务修改配置文件初始化KDC数据库修改管理员权限配置文件启动Kerberos相关服务创建Kerberos管理员用户使用概述Kerberos数据库操作Kerberos认证操作创建Hadoop系统用户HadoopKerberos配置(※)为Hadoop各服务创建Kerberos主体（Principal）修改Hadoop配置文件配置HDFS使用HTTPS安全传输协议配置Yarn使用LinuxContainerExecutor安全模式下启动Hadoop集群修改特定本地路径权限启动HDFS修改HDFS特定路径访问权限启动Yarn
1.cast()更改数据类型cast(column_nameastype)2.get_dt_date()自定义日期操作函数（返回不带横线的日期）selectget_dt_date();–获取当前日期，返回20170209selectget_dt_date(get_date(-2));–获取当前日期偏移，转为不带横杆的格式selectget_dt_date(‘2017-02-02’,-2);–201701313.ROW_NUMBER()，它为结果集的分区中的每一行分配一个连续的整数。行号以每个分区中第一行的行号开头。ROW_NUMBER()OVER([PARTITIONBYpartition_e
Hive的四种排序方法hive排序方法,hive的排序方式hive有四种排序方法:ORDERBY、SORTBY、DISTRIBUTEBY、CLUSTERBY0.测试数据准备--数据准备WITHt_emp_infoAS(SELECT*FROM(VALUES(1001,'研发部',16000),(1002,'市场部',17000),(1003,'销售部',11000),(1004,'研发部',15000),(1005,'销售部',12000),(1006,'研发部',21000),(1007,'产品部',16000),(1008,'研发部',18000),(1009,'市场部',17000),(1
参考学习https://github.com/apache/hive/blob/2b57dd27ad61e552f93817ac69313066af6562d9/ql/src/java/org/apache/hadoop/hive/ql/ErrorMsg.java#L47为啥学习errorcode开发过程中遇到以下错误，大家觉得应该怎么办？从哪方面入手呢？1.百度？2.源码查看报错地方3.忽略(这个错是偶发的)Error:Errorwhilecompilingstatement:FAILED:ExecutionError,returncode40000fromorg.apache.hadoop
1、条件过滤leftjoin中on后面加条件where和and的区别1、on条件是在生成临时表时使用的条件，它不管and中的条件是否为真，都会保留左边表中的全部记录。2、where条件是在临时表生成好后，再对临时表进行过滤的条件。这时已经没有leftjoin的含义（必须返回左表的记录）了，条件不为真的就全部过滤掉。条件加在where可能会导致主表/左表的最终记录数变少的情况发生。举个例子：有表a和表b表a：idname1a2b3c4d表b：idname1A2B1、on后面条件用and，不管条件是否成立都会把左表的数据全部展示select*fromaleftjoinbona.id=b.idand
写在前面：博主是一只经过实战开发历练后投身培训事业的“小山猪”，昵称取自动画片《狮子王》中的“彭彭”，总是以乐观、积极的心态对待周边的事物。本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。同时，博主也想通过此次尝试打造一个完善的技术图书馆，任何与文章技术点有关的异常、错误、注意事项均会在末尾列出，欢迎大家通过各种方式提供素材。对于文章中出现的任何错误请大家批评指出，一定及时修改。有任何想要讨论和学习的问题可联系我：zhuyc@vip.163.com。发布文章的风格因专栏而异，均自成体系，不足之处请大家指正
业务场景中Hive解析Json常用案例json在线工具json格式转换在线工具https://tool.lu/json/format格式互转：//格式化可以合并整行显示{"name":"JohnDoe","age":35,"email":"john@example.com"}//格式化可以展开显示，示例数据更清晰{"name":"JohnDoe","age":35,"email":"john@example.com"}转化常用yaml格式工具提供了各种跨格式转化age:35email:john@example.comname:'JohnDoe'根据json串自动生成生成Java类等功能也非常实
文章目录前言一、Hive基本数据类型二、Hive集合数据类型三、Hive数据定义与操作1.创建数据库2.查看数据库3.删除数据库4.创建表5.修改表6.删除表7.分区表四、数据的导入导出1.数据导入2.数据导出前言Hive作为数据仓库，用来存放企业的海量数据，Hive提供了丰富的数据类型，如关系型数据库，且提供了关系型数据库不支持的数据类型。一、Hive基本数据类型数据类型长度例子TINYINT1byte有符号整数30SMALLINT2byte有符号整数30INT4byte有符号整数30BIGIN8byte有符号整数30BOOLEAN布尔类型true或者falsetrueFLOAT单精度浮点数
1、安装DolphinScheduler2、创建租户信息注意：租户名称就是Linux的执行命令的用户名称，所以不能出错3、根据实际情况确定是否需要创建工作组，存在一个default默认工作组，是当前的所有机器，可以通过组信息来确定定特定的机器执行某个任务，比如DataX插件执行同步任务，可以只在某个机器上安装DataX，之后通过组信息来确定某个安装了同步插件的机器执行同步任务，这样可以降低每台机子上安装的插件个数，但可能会存在，某个机子宕机，任务不能执行的风险4、环境管理默认使用./dolphinscheduler/conf/env/dolphinscheduler_env.sh文件配置的环境
