提示：本文采用IDEA编写代码文章目录操作步骤：一、在linux上二、在IDEA上1.创建一个maven项目2.安装scala插件3.在项目结构的全局库导入scala至项目4.在pom文件导入以下两个依赖5.编写代码6.将写好的代码打成jar包7.将jar包放入linux里执行总结操作步骤：一、在linux上搭建好spark，推荐一篇较好的文章：spark3.3.0安装&部署过程。注：如果需要运行yarn模式，在spark-env.sh文件末尾添加：exportYARN_CONF_DIR=/opt/hadoop-3.1.3/etc/hadoopexportHADOOP_CONF_DIR=/op
提示：本文采用IDEA编写代码文章目录操作步骤：一、在linux上二、在IDEA上1.创建一个maven项目2.安装scala插件3.在项目结构的全局库导入scala至项目4.在pom文件导入以下两个依赖5.编写代码6.将写好的代码打成jar包7.将jar包放入linux里执行总结操作步骤：一、在linux上搭建好spark，推荐一篇较好的文章：spark3.3.0安装&部署过程。注：如果需要运行yarn模式，在spark-env.sh文件末尾添加：exportYARN_CONF_DIR=/opt/hadoop-3.1.3/etc/hadoopexportHADOOP_CONF_DIR=/op
substring_index(str,delim,count)str:要处理的字符串delim:分隔符count:计数例子：str=www.wikibt.comsubstring_index(str,'.',1)结果是：wwwsubstring_index(str,'.',2)结果是：www.wikibt如果count是正数，那么就是从左往右数，第N个分隔符的左边的所有内容如果count是负数，那么就是从右往左数，第N个分隔符的右边的所有内容substring_index(str,'.',-2)结果为：wikibt.com有人会问，如果我要中间的的wikibt怎么办？很简单的，两个方向：从右
关注微信公共号：小程在线关注CSDN博客：程志伟的博客hive版本：2.1.1报错：FAILED:ParseExceptionline28:35cannotrecognizeinputnear''''''insubquerysource解决方法：给子表添加别名。报错SQL：selectafrom(selecta,b,c,dfromasdf);正确SQL：selectafrom(selecta,b,c,dfromasdf)t1;
需求：每个uid，有很多对应的dates(时间)，每个dates都对应一个分数(score)，我们需要按uid分组，将score按dates升序排序，将dates和score放在一个列表。数据集如下：原始数据集，如果直接使用collect_list，结果如下(日期没有排序)：使用以下的方法能解决问题(也有其他方法比较麻烦，这里不赘述)：详细sql：selectuid,collect_list(dates)asdates_list,collect_list(score)asscore_listfrom(select*frombase_datadistributebyuidsortbyuid,da
Hive初始化问题Failedtogetschemaversion.要细看自己的问题是什么！引起Failedtogetschemaversion.的原因有很多，我遇到的如下：1.PublicKeyRetrievalisnotallowed原因分析：如果用户使用了sha256_password认证，密码在传输过程中必须使用TLS协议保护，但是如果RSA公钥不可用，可以使用服务器提供的公钥；可以在连接中通过ServerRSAPublicKeyFile指定服务器的RSA公钥，或者AllowPublicKeyRetrieval=True参数以允许客户端从服务器获取公钥；解决方法：在hive-site.
hive的高级分组聚合是指在聚合时使用GROUPINGSETS、CUBE和ROLLUP的分组聚合。高级分组聚合在很多数据库类SQL中都有出现，并非hive独有，这里只说明hive中的情况。使用高级分组聚合不仅可以简化SQL语句，而且通常情况下会提升SQL语句的性能。1.Groupingsets的使用示例：--使用方式selecta,b,sum(c)fromtblgroupbya,bgroupingsets(a,b)Groupingsets的子句允许在一个groupby语句中，指定多个分组聚合列。所有含有Groupingsets的子句都可以用union连接的多个groupby查询逻辑来表示。如下
Hiveexplode+lateralgroupby+collect_list一、列转行(对某列拆分，形成新列)使用函数：lateralviewexplode(split(column,‘,’))numeg:如表：t_row_to_column_tmp数据如下，对tag列进行拆分selectid,tag,tag_newfromt_row_to_column_tmplateralviewexplode(split(tag,','))numastag_newwhereid=212022894;二、行转列(根据主键，对某列进行合并)使用函数：concat_ws(‘,’,collect_set(col
sparkSQL怎么将一个时间戳字符串转换成hive支持的时间日期类型？在SparkSQL中，可以使用to_timestamp函数将一个时间戳字符串转换成Hive支持的时间日期类型。这个函数的语法如下：to_timestamp(timestampStr,format)其中，timestampStr表示要转换的时间戳字符串，format表示时间戳字符串的格式，格式必须与时间戳字符串的实际格式相匹配。如果不指定格式，Spark会使用默认的格式“yyyy-MM-ddHH:mm:ss”进行转换。例如，假设有一个时间戳字符串“2022-03-0712:34:56”，需要将它转换成Hive支持的时间日期类
报错信息：cannotrecognizeinputnear'(''select''uid'injoinSource网上查到有说是因为子查询没有起别名，自查没有这个问题后来发现是在注释里使用了'，场景类似这样selectdistincta,b,cfrom(--A'XXX--BXXXselectdistinctx,y,zfromtb)ast0把这段注释移动到代码最顶部依然报错，怀疑是'导致的，删除后就成功运行了没有查到关于hivesql里注释中使用了'为什么会导致报错的信息
