草庐IT

access-specifier

全部标签

hadoop - Hive 中的堆栈函数 : how to specify multiple aliases?

我想使用此处描述的堆栈功能:https://cwiki.apache.org/Hive/languagemanual-udf.html#LanguageManualUDF-BuiltinTableGeneratingFunctions%2528UDTF%2529Hive要求我为结果列提供多个别名(“AS子句中的别名数与UDTF输出的列数不匹配,预期有3个别名但得到了1个”)。提供多个别名的语法是什么? 最佳答案 语法如下:SELECTstack(n,col1,col2,...,colk)AS(alias1,alias2,...)FR

hadoop - Sqoop Teradata 连接器问题 - 错误 : The user does not have CREATE TABLE access to database

当我尝试从TeradataView导入表时,我遇到了Sqoop的Teradata连接器问题。我只能访问View。但不知何故,当sqoop作业开始时,它试图在我正在访问的TeradataDB中创建一个表,但无权在该DB/schema中创建任何表我低于错误13/05/3103:40:12ERRORtool.ImportTool:EncounteredIOExceptionrunningimportjob:com.teradata.hadoop.exception.TeradataHadoopSQLException:com.teradata.jdbc.jdbc_4.util.JDBCExc

java - Hadoop Java : how to specify map key as one of the index of input split?

我有一个看起来像这样的输入数据:3070801,1963,1096,,"BE","",,1,,269,6,69,,1,,0,,,,,,,3070802,1963,1096,,"US","TX",,1,,2,6,63,,0,,,,,,,,,3070803,1963,1096,,"US","IL",,1,,2,6,63,,9,,0.3704,,,,,,,3070804,1963,1096,,"US","OH",,1,,2,6,63,,3,,0.6667,,,,,,,3070805,1963,1096,,"US","CA",,1,,2,6,63,,1,,0,,,,,,,3070806,196

斯卡拉 Spark /鲨鱼 : How to access existing Hive tables in Hortonworks?

我正在尝试查找有关该主题的方法的一些文档/描述,请帮忙。我安装了Hortonworks的Hadoop2.2.0以及一些我需要查询的现有Hive表。HiveSQL在单个节点和集群上的运行速度极慢且不合理。我希望鲨鱼能更快地工作。从Spark/Shark文档中我无法弄清楚如何让Shark与现有的Hive表一起工作。任何想法如何实现这一目标?谢谢! 最佳答案 您需要在特定于shark的配置单元目录中配置Metastore。在我回答的类似问题中提供了详细信息here.总而言之,您需要将hive-default.xml复制到hive-site

windows - 在 Windows7 中从 c# 代码执行时 Hadoop 命令不工作,错误显示 : "Access is denied"

我正在使用winutils.exetaskcreateipipconfig从cmd以管理员权限执行Hadoop命令并显示结果。但是,如果我在具有管理员权限的C#程序中尝试相同的操作,则会显示Accessisdenied错误。错误:C:Hadoop\bin>winutils.exetaskcreateipipconfigcreateTaskerror(5):Accessisdenied. 最佳答案 问题出在WinUtils.exe上。WinUtils.exe在task.c文件的createTask()方法中使用了AssignProce

hadoop - Druid 批量索引 inputSpec 类型粒度,错误为 "no input paths specified in job"

我正在按照此处编写的说明进行操作:http://druid.io/docs/0.9.2/ingestion/batch-ingestion.html(滚动到“InputSpecspecification”,寻找“granularity”)。我的索引任务JSON中有:"inputSpec":{"type":"granularity","dataGranularity":"DAY","inputPath":"hdfs://hadoop:9000/druid/events/interview","filePattern":".*","pathFormat":"'y'=yyyy/'m'=MM/

java - 错误 : org. apache.hadoop.security.AccessControlException : Permission denied: user=root, access=READ_EXECUTE,

我在CentOS6机器上使用的是hadoop-1.2.1版本,并且已经配置好,它运行成功,我还在Eclipsekepler中安装了hadoop的插件,但不幸的是我得到了一个权限被拒绝的错误,我有如图所示,我试图通过阅读许多博客来解决这个问题,但我仍然被困在那里..有人可以解决这个问题吗? 最佳答案 我从您的问题中了解到,我想您正在使用操作系统的“root”登录以启动Hadoop。我建议重新启动您的系统并从“Hadoop”(在用户列表中给出,例如root、Guest、Hadoop)登录,然后启动Hadoop。然后它就会工作。

scala - 星火 SQL : access file in current worker node directory

我需要使用spark-sql读取一个文件,该文件在当前目录中。我使用此命令解压缩存储在HDFS上的文件列表。valdecompressCommand=Seq(laszippath,"-i",inputFileName,"-o","out.las").!!该文件在当前工作节点目录中输出,我知道这一点是因为通过scala执行"ls-a"!!我可以看到该文件在那里。然后我尝试使用以下命令访问它:valdataFrame=sqlContext.read.las("out.las")我假设sql上下文会尝试在当前目录中查找文件,但事实并非如此。此外,它不会抛出错误,而是会发出一条警告,指出找不到

angular - 如何在 Webhdfs - HDFS - Hadoop - Origin http ://localhost:4200 is not allowed by Access-Control-Allow-Origin 中启用 cors origin allow

当我尝试从我的Angular6应用程序访问Webhdfs时,我收到如下所示的错误。在我看来,我几乎尝试了所有方法,包括更改core-site.xml和hdfs-site.xml中的设置,不幸的是没有得到积极的结果。显然,很可能需要正确配置Hadoop。有谁知道我该如何解决这个问题?[Error]Originhttp://localhost:4200isnotallowedbyAccess-Control-Allow-Origin.[Error]XMLHttpRequestcannotloadhttp://192.168.0.16:9870/webhdfs/v1/user/myuser/

java - 在 Hadoop 上运行 MapReduce 字数统计会给出异常消息 : The system cannot find the path specified

这是我的第一个StackOverflow问题。我已经在伪分布式模式下设置了我的hadoop(2.9.2)单节点集群。当我尝试运行hadoopjarC:/MapReduceClient.jarwordcount/input_dir/output_dir时,我得到以下错误日志19/01/1620:19:17INFOclient.RMProxy:ConnectingtoResourceManagerat/0.0.0.0:803219/01/1620:19:18INFOinput.FileInputFormat:Totalinputfilestoprocess:119/01/1620:19:1