草庐IT

TOOLS_DIR

全部标签

hadoop - 错误 org.apache.pig.tools.grunt.Grunt - 错误 1000

我正在从事PIG编程,grunt>dividends=load'NYSE_dividends'as>>(exchange:chararray,symbol:chararray,date:chararray,dividend:float);grunt>LIMITdividends10;但我不确定为什么会出现此错误:[main]ERRORorg.apache.pig.tools.grunt.Grunt-ERROR1000:Errorduringparsing.Encountered""LIMIT""atline3,column1.我的数据链接是DataLink请帮我找出问题所在!!!

java - tools.jar 的文件位置?

我正在尝试在我的iMac10.9.5上配置单节点Hadoop环境。这比我预期的要痛苦得多,我要感谢Java。过去两个小时我一直在处理这个问题。Error:Couldnotfindorloadmainclasscom.sun.tools.javac.Main我查看了JDK8文档和大量论坛来寻找原因,并将其缩小到两个。当我安装JDK8时,出了点问题,它没有包含在安装中。无论出于何种原因,tools.jar都没有达到JAVA_HOME的距离。这将需要找出Java8中tools.jar的路径并链接到JAVA_HOME,我一直找不到。我真的很想更好地了解出了什么问题以及原因。此外,tools.j

hadoop - oozie - sqoop $SQOOP_CONF_DIR 尚未在环境中设置

我正在尝试使用oozie(霍顿作品)运行sqoop。这是我第一次尝试运行oozie工作流,但出现以下错误InvokingSqoopcommandlinenow1811[main]WARNorg.apache.sqoop.tool.SqoopTool-$SQOOP_CONF_DIRhasnotbeensetintheenvironment.Cannotcheckforadditionalconfiguration.2015-12-2116:58:45,913WARN[main]tool.SqoopTool(SqoopTool.java:loadPluginsFromConfDir(177

hadoop - Hadoop 2.x 系列是否弃用了 `dfs.data.dir` 属性?

dfs.data.dir属性在2.x系列中是否仍然有效?从这个hdfs-site.xmldocumentation大概版本1.2.1和这个hdfs-site.xmldocumentation是什么对于大概2.4.1来说,很明显dfs.data.dir已被弃用。我的推断是真的吗?如果是这样,现在它的等价物是什么?在生产中更改hadoop.tmp.dir并保留它? 最佳答案 请查看此链接Deprecatedproperty,由于该属性被标记为已弃用,您仍然可以利用该属性的功能行为。最好使用Deprecated属性。

java - Hadoop编译错误: Could not find or load main class com. sun.tools.javac.Main

我正在尝试使用HadoopMapReduce编译简单的WordCount.java程序,使用以下命令:hadoopcom.sun.tools.javac.MainWordCount.java但我不断收到消息:Error:Couldnotfindorloadmainclasscom.sun.tools.javac.Main我的导出如下:exportJAVA_HOME=/Library/Java/JavaVirtualMachine/jdk1.8.0_101.jdk/Contents/HomeexportHADOOP_HOME=/usr/local/Cellar/hadoop/2.7.1e

scala - 监听器异常 : Mkdirs failed to create/tmp/temporary ( full permission given to the dir. )

当我编写流数据时显示此错误时,我正在学习结构化流CountQuery:org.apache.spark.sql.streaming.StreamingQuery=org.apache.spark.sql.execution.streaming.StreamingQueryWrapper@604770e3org.apache.spark.sql.streaming.StreamingQueryException:QueryCount[id=4ce8572a-24c9-4cde-97e4-051426cbb15e,runId=59c60d53-73ee-43a4-8792-d5907a88

hadoop - SparkR 错误 : The root scratch dir:/tmp/hive on HDFS should be writable

我正在尝试初始化SparkR,但出现权限错误。我的Spark版本是spark-2.2.1-bin-hadoop2.6。我搜索了这个错误以及如何解决它,我发现了几个相关的主题。但是,我无法使用与这些主题相同的方法来解决它,他们提供的解决方案(以及我尝试过的解决方案)是使用以下命令授予/tmp/hive目录权限:sudo-uhdfshadoopfs-chmod-R777/tmp/hive有足够知识的人可以给我另一种可能的解决方案吗?错误堆栈跟踪如下:$sudo./bin/sparkRRversion3.4.2(2017-09-28)--"ShortSummer"Copyright(C)20

hadoop - namenode.NameNode : Could not initialize shared edits dir

您好,我在HA集群配置时间遇到了所有这些错误。请帮助我哪里错了。14/09/0811:13:38INFOnamenode.AclConfigFlag:ACLsenabled?false14/09/0811:13:38INFOcommon.Storage:Lockon/usr/local/hadoop/dfs/tmp/dfs/name/in_use.lockacquiredbynodename1170@n314/09/0811:13:38WARNnamenode.FSNamesystem:Encounteredexceptionloadingfsimagejava.io.IOExcept

hadoop - Sqoop增量导入 "Cannot append files to target dir"

我在使用Sqoop将数据从MySQL导入Hive时遇到问题...这个查询:sqoopimport--connectjdbc:mysql://xx.xx.xx.xx/database\--usernamesqoop--passwordsqoop--tabledatatable\--target-dir/home/cloudera/user/hive/warehouse/database.db/datatable\--as-parquetfile-m1--append返回这个错误:15/01/1416:27:28WARNutil.AppendUtils:Cannotappendfilest

hadoop - Sqoop 中拆分 <column> --target-dir 的目的是什么

当我们在sqoop中编写--split-by时,内部发生了什么?例子:sqoopimport--connectjdbc:mysql://localhost/test--usernameroot--passwordtraining123--query'select*fromtransactionwhere$CONDITIONS'--split-byTxnid--target-dirinput/transaction 最佳答案 HadoopMAPReduce就是分而治之。为了将数据分割成多个独立的切片并行传输,Sqoop需要找到--sp