草庐IT

query-optimization

全部标签

hadoop - 使用 hive.optimize.sort.dynamic.partition 选项避免单个文件

我正在使用配置单元。当我使用INSERT查询编写动态分区并打开hive.optimize.sort.dynamic.partition选项(SEThive.optimize.sort.dynamic.partition=true)时,总是有单个每个分区中的文件。但是如果我关闭该选项(SEThive.optimize.sort.dynamic.partition=false),我会遇到这样的内存不足异常。TaskAttempt3failed,info=[Error:Errorwhilerunningtask(failure):attempt_1534502930145_6994_1_01

php - 发送 QUERY 数据包时出错

我试图向数据库中插入一些数据,但我收到了这个错误“发送查询数据包时出错”$insertDeta=$conPat->prepare("insertintotable1(data)VALUES(:data)");$insertDeta->bindParam(':data',$data);$conPat->beginTransaction();$insertDeta->execute();$conPat->commit();但我认为问题在于数据的大小超过16MB。该列的数据类型设置为longtext,我认为可以将数据保持到4​​GB。我不知道PDO是否在运行查询或将16MB数据传输到数据库时

php - 发送 QUERY 数据包时出错

我试图向数据库中插入一些数据,但我收到了这个错误“发送查询数据包时出错”$insertDeta=$conPat->prepare("insertintotable1(data)VALUES(:data)");$insertDeta->bindParam(':data',$data);$conPat->beginTransaction();$insertDeta->execute();$conPat->commit();但我认为问题在于数据的大小超过16MB。该列的数据类型设置为longtext,我认为可以将数据保持到4​​GB。我不知道PDO是否在运行查询或将16MB数据传输到数据库时

sql - Hive Query : Trying to string match using WHERE, LIKE on map<string, string>

我是Hive的新手,正在尝试进行类似于以下内容的搜索:SELECT*FROMtable1WHEREcol1LIKE"%abcd%";但是,当我这样做时,出现以下错误:Errorwhilecompilingstatement:FAILED:SemanticException[Error10014]:Line1:30Wrongarguments'"%abcd%"':Nomatchingmethodforclassorg.apache.hadoop.hive.ql.udf.UDFLikewith(map,string).Possiblechoices:FUNC(string,string)看

grails - 亚马逊 Redshift : query execution hangs

我使用amazonredshift,有时查询执行挂起,没有任何错误消息,例如此查询将执行:selectextract(yearfromdate),extract(weekfromdate),count(*)fromsome_tablewheredate>'2015-01-0100:00:00'anddate这不是:selectextract(yearfromdate),extract(weekfromdate),count(*)fromsome_tablewheredate>'2014-01-0100:00:00'anddate但只有当我将项目部署到服务器并且在我的本地计算机上执行所有

regex - 使用 REGEX 在 Hive Create 和 Load Query 中获取空值

我有一个日志文件,我需要在其中使用REGEX存储数据。我尝试了下面的查询,但加载了所有NULL值。我已经用http://www.regexr.com/检查了正则表达式,它对我的​​数据工作正常。CREATEEXTERNALTABLEIFNOTEXISTSavl(imeiSTRING,packetSTRING)ROWFORMATSERDE'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'WITHSERDEPROPERTIES("input.regex"="(IMEI\\s\\d{15}(\\b(\\d{15})([A-Z0-9]+)))"

mysql - 如何解决mysql警告: "InnoDB: page_cleaner: 1000ms intended loop took XXX ms. The settings might not be optimal "?

我在服务器上运行了一个mysqlimportmysqldummyctrad这些正常消息/状态是否“等待表刷新”以及消息InnoDB:page_cleaner:1000ms预期循环花费了4013ms。设置可能不是最佳的mysql日志内容2016-12-13T10:51:39.909382Z0[Note]InnoDB:page_cleaner:1000msintendedlooptook4013ms.Thesettingsmightnotbeoptimal.(flushed=1438andevicted=0,duringthetime.)2016-12-13T10:53:01.170388

mysql - 如何解决mysql警告: "InnoDB: page_cleaner: 1000ms intended loop took XXX ms. The settings might not be optimal "?

我在服务器上运行了一个mysqlimportmysqldummyctrad这些正常消息/状态是否“等待表刷新”以及消息InnoDB:page_cleaner:1000ms预期循环花费了4013ms。设置可能不是最佳的mysql日志内容2016-12-13T10:51:39.909382Z0[Note]InnoDB:page_cleaner:1000msintendedlooptook4013ms.Thesettingsmightnotbeoptimal.(flushed=1438andevicted=0,duringthetime.)2016-12-13T10:53:01.170388

hadoop - 以下字段 : 'totalSize' and 'rawDataSize' mean in DESCRIBE EXTENDED query output in hive? 是什么意思

如果在任何配置单元表上运行DESCRIBEEXTENDED命令,结果会在输出末尾附近显示totalSize和rawDataSize值。这些字段是什么意思?例如:hive>DESCRIBEEXTENDEDOutputResults:Table(tableName:TablenameXXXXX,dbName:XXxXXX,.................................numRows=116429472,totalSize=3835205544,rawDataSize=35040221600}) 最佳答案 rawDat

hadoop - 大数据信号分析 : better way to store and query signal data

我要使用Hadoop/Spark进行一些信号分析,我需要有关如何构建整个过程的帮助。信号现在存储在数据库中,我们将使用Sqoop读取它,并将转换为HDFS上的文件,其模式类似于:其中信号值只是由浮点逗号分隔的数字组成的字符串。000123S0012015/04/22T10:00:00.000Z0.0,1.0,200.0,30.0...100.0000124S0012015/04/22T10:05:23.245Z0.0,4.0,250.0,35.0...10.0...000126S0032015/04/22T16:00:00.034Z0.0,0.0,200.0,00.0...600.0我