草庐IT

hadoop - 您可以不通过 WebHCat (Templeton) 向 HDInsight 提交作业吗?

我正在使用一个提交MapReduce作业的现有工具,并且宁愿不必更改它以通过RESTAPI(WebHCat/Templeton)提交作业-有人知道这样做的方法吗?也许是一种将MapReduce服务公开到我想从中提交作业的服务器的方法? 最佳答案 Microsoft已发布HDInsight.NETSDK。参见http://www.windowsazure.com/en-us/manage/services/hdinsight/submit-hadoop-jobs-programmatically/

spring - 回调参数如何使用 WebHCat/Hive 工作?

我只是按照文档WebHCatReferenceHive我的目标是在配置单元作业状态成功后调用我的springController。**herearemyinputs:****url**:http://localhost:50111/templeton/v1/hive?user.name=hduser**Parameter:**callback:http://domain:port/project-name/mycall/$jobId$jobId只是一个参数,一旦处理完成,它将被替换为实际的jobId。**hereismycontroller:**@RequestMapping(valu

hadoop - super 用户未授权连接 : hcat"when trying to query Hive through WebHCat

我正在尝试使用WebHCat/Templeton执行Hive查询。我将查询发布到/templeton/v1/hive,并将“执行”参数设置为等于我的查询(现在是一个简单的“selectcount(*)”查询)。但是当我这样做的时候,我总是得到这个错误:{"error":"Unauthorizedconnectionforsuper-user:hcatfromIP172.31.27.207"}从目前我所发现的情况来看,这些“super用户未经授权的连接”错误似乎通常与代理用户设置有关,因此我将以下内容添加到我的core-site.xml中:hadoop.proxyuser.hcat.ho

hadoop - 使用 WebHCat 访问/templeton/v1/jobs 时出现错误 500

我的WebHCat服务器正在运行,我可以使用hadoop(使用hadoop-example-mapreduce-examples-2.2.0.jar)提交作业。当我去http://localhost:8080/templeton/v1/status它正在运行,所以服务器已启动。当我去http://localhost:8080/templeton/v1/jobs它给出了缺少的user.name参数,所以我用GET给它user.name参数,但是这个URL,http://localhost:8080/templeton/v1/jobs?user.name=出现以下错误:HTTPERROR: