草庐IT

hadoop - 在 HDP Hue Pig UI 中运行任何 Pig 作业时出错。错误 : "Please initialize HIVE_HOME"

当我尝试从HuePigUI启动PigScriptJob时,进程会启动一个作业,然后进度条在那里停留1-3分钟并最终变成红色,唯一的输出是:“PleaseinitializeHIVE_HOME”我尝试运行的Pig脚本来自PigvalidationintheHDPinstallationmanual.pig脚本:A=使用PigStorage(':')加载'passwd';B=foreachA生成\$0作为id;将B存入'/tmp/id.out';我正在尝试让Hortonworks数据平台的Hue版本(v2.3,根据他们的website)运行PigScriptUI。我正在手动执行此操作,使用

hadoop - 在配置单元中加载数据时出现 nameservice1 错误

我试图在配置单元的表中加载一个平面文件并出现以下错误。失败:IllegalArgumentExceptionjava.net.UnknownHostException:nameservice1不确定这里需要做什么。表创建为CREATETABLEIFNOTEXISTSpoc_yi2(IndexValid_fgSTRING)ROWFORMAT分隔字段以','结尾,存储为文本文件数据文件包含一行是是的,加载数据的命令是:加载数据本地inpath'/home/user1/testx/1'覆盖到表poc_yi2;这是配置参数吗?我对Hive比较陌生。有人可以帮忙吗 最

azure - HDInsight 上的 Hive 存在证书问题

我正在浏览http://azure.microsoft.com/en-us/documentation/articles/hdinsight-use-hive/但是得到Start-AzureHDInsightJob:Requestfailedafter(12)attemptsoveraperiodof(00:03:10.4800236)withcode:ForbiddenContent:ForbiddenErrorTheserverfailedtoauthenticatetherequest.Verifythatthecertificateisvalidandisassociatedw

hadoop - HDInsight Hive 在 ADD JAR 语句中找不到 SerDe jar

我已经将json-serde-1.1.9.2.jar上传到路径为“/lib/”的blob存储并添加了ADDJAR/lib/json-serde-1.1.9.2.jar但是我得到了/lib/json-serde-1.1.9.2.jardoesnotexist我在没有路径的情况下进行了尝试,并且还向ADDJAR语句提供了完整的url,结果相同。非常感谢对此的一些帮助,谢谢! 最佳答案 如果您不包含该方案,那么Hive将在本地文件系统上查找(您可以查看thesource的第768行附近的代码)当您包含URI时,请确保使用完整形式:ADDJ

hadoop - Hive - 比较表之间的数据

我需要比较具有相同列的2个外部表(A和A')之间的数据,我实际上制作了一些sql脚本来执行此操作,但不够高效和健壮。有没有办法用UDAF或外部工具来做到这一点?这里有一个示例:表A+----+----+----+|C1|C2|C3|+----+----+----+|01|A|02||02|B|03||03|C|04|+----+----+----+表A'+----+----+----+|C1|C2|C3|+----+----+----+|01|B|02||02|B|03||04|D|04|+----+----+----+输出+------+------+------+------+--

java - Hive GenericUDF 错误 - RuntimeException typeInfo 不能为 null

在AmazonEMR、Hive0.11上运行,我正在尝试使用GenericUDF类创建一个简单的UDF。我想用UDF做的是简单地从列中获取一个值,然后将它打印回屏幕。重点是看看我是否可以在构建更复杂的东西之前让这个工作。我编译jar,加载到配置单元中,并创建一个临时函数。addjar..../GenericTest.jar;createtemporaryfunctiongen_testas'GenericTest';当我使用错误数量的参数运行该函数时,我得到了预期的错误:SemanticException[Error10015]:Line1:13Argumentslengthmisma

hadoop - Hive 索引无法重建 - DAG 由于顶点故障而失败

我在HDP2.2上使用Hive14,在Hive上建立索引时遇到问题。我可以创建一个索引。createINDEXix_keyONTABLEDbTest.Tbl_test(TEST_KEY)as'org.apache.hadoop.hive.ql.index.compact.CompactIndexHandler'WITHDEFERREDREBUILD;之后我将数据加载到表中并建立索引。ALTERINDEXix_keyONDbTest.Tbl_testREBUILD;Hive构建了索引,它运行良好,性能得到提升。现在想重建索引,总是报错:INFO:SessionisalreadyopenI

hadoop - GROUP BY 语句 HiveQL

我是Hive的新手。我的问题是为什么我们需要在执行GROUPBY时使用collect_set(col)?从歌曲列表GROUPBY歌手中选择歌手,collect_set(song);;非常感谢任何帮助。提前致谢! 最佳答案 兄弟!!恰恰相反:)所有求和/聚合事物都需要分组依据。在您的查询中,当您尝试执行collect_set(col)时,您需要一个分组依据。所以在你的例子中,你试图将歌手演唱的所有歌曲归为一组。因此collect_set(songs)的分组依据 关于hadoop-GROUP

hadoop - 任何人都可以澄清 HIVE 0.14 上的查询吗

我们在我们的应用程序中使用Hive0.14,当执行引擎在MR中时,我们能够更新ORC表,当我们设置执行引擎有TEZ并执行插入/更新/删除时,它会抛出异常“”异常:org.apache.hadoop.hive.ql.lockmgr.LockException:与Metastore通信时出错杀死DAG...java.io.IOException:org.apache.hadoop.hive.ql.lockmgr.LockException:与Metastore通信时出错在org.apache.hadoop.hive.ql.exec.Heartbeater.heartbeat(Heartbe

azure - HDinsight 配置单元输出到 blob

我在HDinsight上使用Hive,我想将作业的输出存储在Azure存储(blob)中。我试过了INSERTOVERWRITEDIRECTORY'wasb://mycontainer@myaccount.blob.core.windows.net/'SELECTname,COUNT(*)ascountFROMtestGROUPBYnameORDERBYcountDESC但这返回错误“错误:java.lang.RuntimeException:配置对象时出错”。你能帮我把作业的输出重定向到Azureblob存储吗? 最佳答案 要指向