草庐IT

method-group

全部标签

java - 如何在 Hive 嵌入式模式下运行包含 "select count(*)"和 "group by"子句的 Hive Sql 查询?

如何在Hive嵌入式模式下运行此查询(1)selectproduct,count(*)ascntfromhive_bigpetstore_etlgroupbyproduct在Maven控制台中,我得到一个InvocationTargetException异常在我找到的Hive日志文件中java.lang.Exception:java.lang.NullPointerExceptionatorg.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:354)Causedby:java.lang.NullPointe

hadoop - Hive QL 中的条件 GROUP BY 子句

我正在尝试在HiveQL脚本中参数化GROUPBY子句。SELECTCOUNT(*)ASsales,country,state,cityFROMtestdb.dataWHEREPRICE>5GROUPBYIF(TRUE,(country,state,city),(country,state))如何实现这样的查询? 最佳答案 我曾尝试在GROUPBY及其作品中使用CASE语句。不过,您可能想要验证查询结果。如果您可以将您的条件转换为case语句,则此查询可以工作。SELECT*FROMtestdb.dataWHEREprice>5GR

python - 如何使用 Group_Map 使用 Python 3 修复 Spark.SQL 中的 "Cannot use null as map key!"错误

我正在使用Spark.SQL并尝试使用MAP语句创建一个数据透视表,以便将一列的值作为不同的列。我用这个查询准备了第一个表:spark.sql("""CREATETABLETABLE_01STOREDASPARQUETASselectROWS,COLUMNS,count(*)asNUM_ROWSfromTABLE_00groupbyROWS,COLUMNSorderbyROWS,COLUMNS""")想法是将其转换为:ROWSCOLUMNSNUM_ROWSVALUE1COL22VALUE1COL350VALUE2COL120VALUE2COL21VALUE2COL330进入这个:COL

hadoop - pig 脚本 : Find sum of items in a group

这是我要运行的行counts=FOREACHz{sum=SUM(B::counter);GENERATEgroupasA::month,sum;};但是我收到以下错误:Invalidfieldprojection.Projectedfield[B::counter]doesnotexistinschema:group:chararray,y:bag{:tuple(A::id:chararray,A::month:chararray,B::counter:int)}.如何对这样一个包含基于一列分组的元组包的模式进行求和聚合? 最佳答案

hadoop - Hive group by with cube 和 group by 在同一个查询中

假设我正在观察表架构如下的超速事​​故:createtablespeeding_data(date_of_occurrencedate,yearint,makestring,modelstring,speedint);我想观察这些特征的不同组合下的平均速度,但希望它始终按date_of_occurrence分组,例如可能是这样的selectdate_of_occurrence,year,make,model,avg(speed)fromspeeding_datagroupbydate_of_occurrencegroupbyyear,make,modelwithcube;只是想知道在h

azure - HDInsight : Selection method not accepting Storage account

在部署HDInsight群集时,在DataSource下,无论我选择哪种选择方法(“来自所有订阅”或“访问key”),我都无法附加我的存储帐户。我在东南亚地区创建了一个新的存储帐户(它是与“存储”分开创建的)并希望使用它。这是我的做法:第一部分:选择方法:来自所有订阅-配置所需的设置(按照屏幕截图中的1、2和3)一切都很好。上面写着“正在获取访问key”。到目前为止,一切都很好。它还会选择默认容器。然后它抛出这个错误:第二部分:选择方法:访问键-我选择“访问key”,输入存储名称,它会选择默认容器......一切都很好。然后我从存储帐户粘贴访问key然后它抛出这个错误:存储帐户是Sta

hadoop - 配置单元 : group column based on max value

我有一个包含字段的表datevalue10-02-19002309-05-19012210-03-19001010-02-190124....我必须返回每年的最大值即,190023190124我尝试了以下查询,但得到了错误的答案。SELECTYEAR(FROM_UNIXTIME(UNIX_TIMESTAMP(date,'dd-mm-yyyy')))asdate,MAX(value)FROMtebGROUPBYdate;有人可以建议我查询吗? 最佳答案 选项1selectyear(from_unixtime(unix_timestam

java - MAPREDUCE 错误 : method write in interface TaskInputOutputContext<KEYIN, VALUEIN、KEYOUT、VALUEOUT> 无法应用于给定类型

packagebr.edu.ufam.anibrata;importjava.io.*;importjava.util.ArrayList;importjava.util.Collections;importjava.util.Iterator;importjava.util.List;importjava.util.StringTokenizer;importjava.util.Arrays;importjava.util.HashSet;importorg.apache.commons.lang.StringUtils;importorg.apache.hadoop.conf.Co

hadoop - Hive中Group By对分区列的性能

我有一个包含4列的表,其中col4作为Hive中的分区列。这是一个巨大的表,每5小时插入约900万行。我有一个限制,我不能更改此表的设计,因为它也用于其他报告。CREATEEXTERNALTABLEtestdb.table1(col1string,col2int,col3int)PARTITIONEDBY(col4string)ROWFORMATDELIMITEDSTOREDASTEXTFILELOCATION'/path/to/input/';对于其中一个用例,我正在尝试创建一个查找表来识别col4中每个值的一些数据点,例如selectcol1,col4fromtestdb.tabl

hadoop - 与 apache pig latin 中的 GROUP 相对?

假设我在apachepig中有以下输入:(123,((1,2),(3,4)))(666,((8,9),(10,11),(3,4)))我想将这两行转换为以下7行:(123,(1,2))(123,(3,4))(666,(8,9))(666,(10,11))(666,(3,4))即这有点像“做与GROUP相反的事情”。这在pig拉丁语中可能吗? 最佳答案 看看FLATTEN.它可以满足您可能需要的功能。但是,使用上面的符号,元组列表看起来像是一个元组。这应该是一个包才能正常工作。代替:(123,((1,2),(3,4)))(666,((8