草庐IT

hadoop - 我如何避免 Hive 表的第一个 "NULL"中的 "Field Name"

首先,我使用以下命令在Hive中创建了表“emp”:createtableemp(idINT,nameSTRING,addressSTRING)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t';然后通过以下命令将数据加载到这个“emp”表中:LOADDATALOCALINPATH'\home\cloudera\Desktop\emp.txt'覆盖到表emp;当我从“emp”表中选择数据时:它显示了表Null的第一个字段像这样: 最佳答案 您的文件中有一个标题行,第一个值id无法转换为INT,因此被替换

hadoop - 从 Hive 的列表中查找最大值

我需要从HIVE的列表中找到最大值。例如:如果我有值(value)观[5,4,3]在列表中我需要得到5。max(list_name)无效。有没有解决方法。 最佳答案 你可以看到这个doc在你的情况下,如果你有一个表名example|id|arr||1|[1,2]||2|[3,4]|如果你想得到的结果|id|max_arr||1|2||2|4|试试这个SQLSELECTid,max(arr_val)asmax_arrFROMexampleLATERALVIEWexplode(arr)arrtableASarr_valgroupbyid

hadoop - NiFi 或 Streamsets 从 HBase 读取,加入平面文件中的内容并写入 Hive

试图弄清楚是否可以使用apacheNiFi或Streamsets实现连接。这样我就可以定期从HBase读取数据,与其他表连接并将少量字段写入Hive表。或者有没有其他工作流管理器工具支持这个操作? 最佳答案 我不熟悉Streamsets,但我会尽力帮助NiFi。您的平面文件是静态的吗?如果是这样,您是否希望直接替换值?您应该能够使用ReplaceTextWithMapping处理器。如果不是直接替换,您可以预填充DistributedMapCache使用平面文件中的值,然后使用FetchDistributedMapCache对HBa

hadoop - Hive 表列日期格式

我正在尝试创建一个字段类型为date的表。我只存储年份字段。所以我试图将其格式化为YYYY。但是hive没有接受格式命令。我的陈述如下...CREATETABLEIFNOTEXISTSla1(vendorvarchar(20),countryvarchar(25),name1varchar(256),cityvarchar(40),districtvarchar(40),poboxvarchar(40),poboxpostelcodevarchar(20),createdondateformat'YYYY')timestamp字段类型也不起作用关于如何实现这个有什么建议吗?谢谢

hadoop - Hive:如何转换毫秒时间戳?

我正在尝试使用HIVEUDF(https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-DateFunctions)从Sparklyr中正确读入一些时间戳。不幸的是,我无法正确解析以下时间戳:unix_timestamp('2011-03-01T00:00:04.226Z','yyyy-MM-ddThh:mm:ss.SSS')返回NA..有什么想法吗?这里的正确模式是什么?谢谢! 最佳答案 你需要引用T和Zhive>se

sql - Hive:需要指定分区列,因为目标表已分区

我想知道在Hive中是否可以将未分区的表插入到已已分区的表中。第一张表如下:hive>describeextendeduser_ratings;OKuseridintmovieidintratingintunixtimeintDetailedTableInformationTable(tableName:user_ratings,dbName:ml,owner:cloudera,createTime:1500142667,lastAccessTime:0,retention:0,sd:StorageDescriptor(cols:[FieldSchema(name:userid,typ

json - 为嵌套的 JSON 数据创建 Hive 表

我无法将嵌套的JSON数据加载到Hive表中。有人可以帮我吗?以下是我尝试过的:示例输入:{"DocId":"ABC","User1":{"Id":1234,"Username":"sam1234","Name":"Sam","ShippingAddress":{"Address1":"123MainSt.","Address2":null,"City":"Durham","State":"NC"},"Orders":[{"ItemId":6789,"OrderDate":"11/11/2012"},{"ItemId":4352,"OrderDate":"12/12/2012"}]}}

eclipse 中的 java.lang.ClassNotFoundException : org. apache.hadoop.hive.jdbc.HiveDriver

我还添加了usr/local/share/hadoop/mapreduce/*jars、usr/local/hadoop/common、hive-exec-xxx.jar、hive-metastore-xxx.jar和hive-的所有jars文件jdbc-xxx.jar.Hive终端运行良好。我的代码是:privatestaticStringdriverName="org.apache.hadoop.hive.jdbc.HiveDriver";try{Class.forName(driverName);Connectioncon;con=DriverManager.getConnect

hadoop - Hive 中的 RANK OVER 函数

我试图在Hive中运行此查询以仅返回在adimpression表中出现频率最高的前10个url。selectranked_mytable.url,ranked_mytable.cntfrom(selectiq.url,iq.cnt,rank()over(partitionbyiq.urlorderbyiq.cntdesc)rnkfrom(selecturl,count(*)cntfromstore.adimpressionaiinnerjoinzuppa.adgroupcreativesubscriptionagcsonagcs.id=ai.adgroupcreativesubscri

hadoop - 将列添加到Hive外部表错误

尝试将列添加到配置单元中的外部表,但出现以下错误。这个表目前已经注册了1000个分区,我希望避免重新创建这个表,然后运行msckrepair,这需要很长时间才能完成。此外,该表使用opencsvserde格式。如何添加列hive>ALTERTABLEschema.Table123ADDCOLUMNS(Column1000STRING);FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask.Unabletoaltertable.java.lang.IllegalArgumentExcepti