草庐IT

input-group

全部标签

hadoop - Hive QL 中的条件 GROUP BY 子句

我正在尝试在HiveQL脚本中参数化GROUPBY子句。SELECTCOUNT(*)ASsales,country,state,cityFROMtestdb.dataWHEREPRICE>5GROUPBYIF(TRUE,(country,state,city),(country,state))如何实现这样的查询? 最佳答案 我曾尝试在GROUPBY及其作品中使用CASE语句。不过,您可能想要验证查询结果。如果您可以将您的条件转换为case语句,则此查询可以工作。SELECT*FROMtestdb.dataWHEREprice>5GR

java - 配置单元顶点失败 : killed/failed due to:ROOT_INPUT_INIT_FAILURE Caused by: java. lang.NullPointerException

我正在查询一个表,一个简单的计数(*)并收到以下错误:Vertexfailed,vertexName=Map1,vertexId=vertex_1486982569467_0809_3_00,diagnostics=[Vertexvertex_1486982569467_0809_3_00[Map1]killed/faileddueto:ROOT_INPUT_INIT_FAILURE,VertexInput:table_nameinitializerfailed,vertex=vertex_1486982569467_0809_3_00[Map1],java.lang.RuntimeE

arrays - 配置单元 : ParseException line 3:23 cannot recognize input near 'from'

我试图创建这个表:createtabletmp_test(id_string,myelementarray>)STOREDASPARQUETLOCATION'/donne/tmp_test'我有这个错误:编译语句时出错:失败:ParseException行3:23无法识别列规范中“来自”“:”“字符串”附近的输入。我如何转义单词“from”,因为我必须使用这个词?谢谢你的帮助 最佳答案 FROM是Hive中的保留关键字。使用反引号(`)来引用它,createtabletmp_test(id_string,myelementarray

hadoop - Druid 批量索引 inputSpec 类型粒度,错误为 "no input paths specified in job"

我正在按照此处编写的说明进行操作:http://druid.io/docs/0.9.2/ingestion/batch-ingestion.html(滚动到“InputSpecspecification”,寻找“granularity”)。我的索引任务JSON中有:"inputSpec":{"type":"granularity","dataGranularity":"DAY","inputPath":"hdfs://hadoop:9000/druid/events/interview","filePattern":".*","pathFormat":"'y'=yyyy/'m'=MM/

sql - 失败 : ParseException line 1:36 cannot recognize input near '1987'

我正在尝试用它在Hive中创建一个外部表CREATEEXTERNALTABLEIFNOTEXISTS1987(YEARINT,MONTHINT,DAYOFMONTHINT,DAYOFWEEKINT,DEPTIMEINT,CRSINT,ARRTIMETIME,CARRIERSTRING,FLIGHTNUMINT,TAILNUMSTRING,ACTUALELAPSEDINT,CRSELAPSEDINT,AIRTIMEINT,ARRDELAYINT,DEPDELAYINT,ORIGINSTRING,DESTSTRING,DISTANCEINT,TAXIININT,TAXIOUTINT,CAN

python - 如何使用 Group_Map 使用 Python 3 修复 Spark.SQL 中的 "Cannot use null as map key!"错误

我正在使用Spark.SQL并尝试使用MAP语句创建一个数据透视表,以便将一列的值作为不同的列。我用这个查询准备了第一个表:spark.sql("""CREATETABLETABLE_01STOREDASPARQUETASselectROWS,COLUMNS,count(*)asNUM_ROWSfromTABLE_00groupbyROWS,COLUMNSorderbyROWS,COLUMNS""")想法是将其转换为:ROWSCOLUMNSNUM_ROWSVALUE1COL22VALUE1COL350VALUE2COL120VALUE2COL21VALUE2COL330进入这个:COL

hadoop - pig 脚本 : Find sum of items in a group

这是我要运行的行counts=FOREACHz{sum=SUM(B::counter);GENERATEgroupasA::month,sum;};但是我收到以下错误:Invalidfieldprojection.Projectedfield[B::counter]doesnotexistinschema:group:chararray,y:bag{:tuple(A::id:chararray,A::month:chararray,B::counter:int)}.如何对这样一个包含基于一列分组的元组包的模式进行求和聚合? 最佳答案

hadoop - Hive group by with cube 和 group by 在同一个查询中

假设我正在观察表架构如下的超速事​​故:createtablespeeding_data(date_of_occurrencedate,yearint,makestring,modelstring,speedint);我想观察这些特征的不同组合下的平均速度,但希望它始终按date_of_occurrence分组,例如可能是这样的selectdate_of_occurrence,year,make,model,avg(speed)fromspeeding_datagroupbydate_of_occurrencegroupbyyear,make,modelwithcube;只是想知道在h

hadoop - 配置单元 : group column based on max value

我有一个包含字段的表datevalue10-02-19002309-05-19012210-03-19001010-02-190124....我必须返回每年的最大值即,190023190124我尝试了以下查询,但得到了错误的答案。SELECTYEAR(FROM_UNIXTIME(UNIX_TIMESTAMP(date,'dd-mm-yyyy')))asdate,MAX(value)FROMtebGROUPBYdate;有人可以建议我查询吗? 最佳答案 选项1selectyear(from_unixtime(unix_timestam

hadoop - Airflow 失败 : ParseException line 2:0 cannot recognize input near

我正在尝试在Airflow上运行测试任务,但我不断收到以下错误:FAILED:ParseException2:0cannotrecognizeinputnear'create_import_table_fct_latest_values''.''hql'这是我的AirflowDag文件:importairflowfromdatetimeimportdatetime,timedeltafromairflow.operators.hive_operatorimportHiveOperatorfromairflow.modelsimportDAGargs={'owner':'raul','s