草庐IT

sort_order

全部标签

hadoop - 使用 Hive 'Order By' 查询时获取无序输出

我试过使用“Orderby”如下:selectfieldA,fieldB,fieldC,fieldDfromtestfilterwherefieldA='000009000002'orderbyfieldA,fieldB,fieldC,fieldD;但是,这会导致像这样的无序输出:00000900000272120236530000090000029999058159000009000002999905815900000900000299990581590000090000029999058159000009000002999905815900000900000299990582400

sql - HIVE SELECT 可以结合 GROUP BY 和 ORDER BY 吗?

我在Hive中做一些相对简单的查询,似乎无法在单个语句中组合GROUPBY和ORDERBY。我可以毫无问题地选择GROUPBY查询的临时表,然后使用ORDERBY在该表上进行选择,但我无法将它们组合起来在一起。例如,我有一个表a,可以执行这个查询:SELECTplace,count(*),sum(weight)fromagroupbyplace;我可以执行这个查询:createtemporarytableresult(placestring,countint,sumweightint);insertoverwritetableresultselectplace,count(*),sum

sorting - 在 Hbase 中的日期之间搜索

我有这样的Hbase表和rowKeys(delimter='#')0CE5C485#1481400000#A#B#C#T00C6F485#1481600000#F#J#C#G065ED485#1481500000#T#X#C#G......第一部分实际上是时间戳的十六进制反转(第二部分是时间戳)。我有这种rowkey格式,这样我就可以将key均匀地分成不同的区域。我的区域根据rowKey的前两个字符('00'、'01'、...、'FE'、'FF')进行拆分。共256个有没有办法在不覆盖值中的时间戳的情况下获取两个时间戳之间的所有行?ItriedRegexComparatorsontop

sql - Hive ORDER BY 查询结果出错

我有这个查询工作:SELECTmovieid,COUNT(movieid)FROMratingGROUPBYmovieid但是当我尝试添加订单时出现错误:SELECTmovieid,COUNT(movieid)FROMratingGROUPBYmovieidORDERBYcount(movieid)DESC;我知道SQL查询适用于sqldeveloper。因为我还需要子集,所以我创建了一个嵌套循环(使用desc限制不起作用),但这也不起作用:SELECT*FROM(SELECTmovieid,COUNT(movieid)FROMratingGROUPBYmovieidORDERBYco

sorting - 冒泡排序不是排序 - IntDoublePair

为了对IntDoublePair进行排序,我实现了冒泡排序。例如:[10.5][10.8][10.67]排序为:[10.5][10.67][10.8]当我执行代码时,它给我的数据没有按排序顺序排列。我很困惑我哪里出错了。我需要一些帮助。privateArrayListsortCollection(ArrayListcollection){for(intcurrent=0;current=collection.get(next).getFirst().get()){if(collection.get(current).getSecond().get()>collection.get(ne

sorting - Hadoop 在 Reduce Side Join 中按值排序

所以我只是在进行一些Hadoop培训,以了解这片土地的情况,并且我正在尝试进行reducesidejoin,我已经在运行,除了次要排序。所以基础知识:两个文件一个有球员,球队,薪水另一个有球员,球队,本垒打输出应该是球队,球员,薪水,本垒打纽约大都会队应该被划分到一个文件中,而所有其他蹩脚的球队应该被划分到另一个文件中。这些文件中的每一个都应按球队排序,其次按球员薪水排序。我正在使用团队keyplayerID加入并且有效,但我不知道我将如何按薪水排序,因为两个文件中只有一个有它。这是一项可能的任务还是只能通过map端连接来完成? 最佳答案

date - hive cast string to date in 'dd/MMM/yyyy' format order by and group by issue

我将日期存储为[27/Feb/2016:00:24:31+0530]。我想要27/Feb/2016中的日期格式,并且还想按它排序。我试过了this解决方案,但它以2016-02-27形式返回,并且也正确排序。SELECTTO_DATE(FROM_UNIXTIME(UNIX_TIMESTAMP(SUBSTR(time,2,11),'dd/MMM/yyyy')))ASreal_date,urlFROMcleanned_logsORDERBYreal_dateASC;为了获得所需的格式,我尝试使用date_format()函数。它在1.2.1中不可用,所以我从1.0.1切换到它。SELECT

hadoop - 使用 hive.optimize.sort.dynamic.partition 选项避免单个文件

我正在使用配置单元。当我使用INSERT查询编写动态分区并打开hive.optimize.sort.dynamic.partition选项(SEThive.optimize.sort.dynamic.partition=true)时,总是有单个每个分区中的文件。但是如果我关闭该选项(SEThive.optimize.sort.dynamic.partition=false),我会遇到这样的内存不足异常。TaskAttempt3failed,info=[Error:Errorwhilerunningtask(failure):attempt_1534502930145_6994_1_01

hadoop - 如何更改每个作业的 io.sort.mb?

我想知道是否可以更改每个作业的io.sort.mb值?我知道您可以在mapred-site.xml中为参数设置一个值,但我想以编程方式在不同的作业中使用不同的值。我尝试了conf.setInt("io.sort.mb",someValue)但它似乎不起作用。JVM设置有足够的内存(如2.25GB)并且没有其他作业在运行。 最佳答案 可以,提交前在Configuration(早期版本为JobConf)中设置即可。它确实有效;我在Mahout中使用它。确保在设置值之后和提交之前将conf设置到您的Job上。确保您也设置了正确的conf!

sorting - 执行辅助排序时获取空指针异常

我只是hadoop.im的初学者,在执行seconday排序时得到空指针异常这是我的制图师课publicvoidmap(LongWritablekey,Textvalue,OutputCollectoroutputCollector,Reporterreporter)throwsIOException{//TODOAuto-generatedmethodstubStringemployeeId=value.toString().split(",")[0];StringemployeeName=value.toString().split(",")[1];StringemployeeDe