草庐IT

Msw-Tools

全部标签

hadoop - 错误 org.apache.pig.tools.grunt.Grunt - 错误 1000

我正在从事PIG编程,grunt>dividends=load'NYSE_dividends'as>>(exchange:chararray,symbol:chararray,date:chararray,dividend:float);grunt>LIMITdividends10;但我不确定为什么会出现此错误:[main]ERRORorg.apache.pig.tools.grunt.Grunt-ERROR1000:Errorduringparsing.Encountered""LIMIT""atline3,column1.我的数据链接是DataLink请帮我找出问题所在!!!

java - tools.jar 的文件位置?

我正在尝试在我的iMac10.9.5上配置单节点Hadoop环境。这比我预期的要痛苦得多,我要感谢Java。过去两个小时我一直在处理这个问题。Error:Couldnotfindorloadmainclasscom.sun.tools.javac.Main我查看了JDK8文档和大量论坛来寻找原因,并将其缩小到两个。当我安装JDK8时,出了点问题,它没有包含在安装中。无论出于何种原因,tools.jar都没有达到JAVA_HOME的距离。这将需要找出Java8中tools.jar的路径并链接到JAVA_HOME,我一直找不到。我真的很想更好地了解出了什么问题以及原因。此外,tools.j

java - Hadoop编译错误: Could not find or load main class com. sun.tools.javac.Main

我正在尝试使用HadoopMapReduce编译简单的WordCount.java程序,使用以下命令:hadoopcom.sun.tools.javac.MainWordCount.java但我不断收到消息:Error:Couldnotfindorloadmainclasscom.sun.tools.javac.Main我的导出如下:exportJAVA_HOME=/Library/Java/JavaVirtualMachine/jdk1.8.0_101.jdk/Contents/HomeexportHADOOP_HOME=/usr/local/Cellar/hadoop/2.7.1e

hadoop - 使用 Parquet-tools.jar 从 Parquet 文件转储特定列

我想使用parquet-tools-1.8.1.jar仅转储某些文本文件中的特定列。但无法这样做。我正在尝试以下命令。请注意我的列名有正斜杠。parquet-tools-1.8.1.jardump--column'dir1/log1/job12121''/hdfs-path/to/parquetfilewithspace.parquet'>/home/local/parquet/output.text 最佳答案 运行hadoopjarparquet-tools-1.8.1.jarparquet.tools.Maindump--col

java - 无法找到或加载主类 com.sun.tools.javac.Main hadoop mapreduce

我正在尝试学习MapReduce,但我现在有点迷茫。http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html#Usage特别是这组指令:CompileWordCount.javaandcreateajar:$bin/hadoopcom.sun.tools.javac.MainWordCount.java当我在终端中输入hadoop时,我能够看到提供参数的“帮助”,所以我相信我已经安装了hadoop。当我输入命令时:编译W

hadoop - 使用命令行 parquet-tools 查看 parquet 中的模式

我正在尝试运行parquet-tools命令仅查看我的Parquet文件的文件模式。我目前正在运行:$parquet-toolsmeta/tmp/my-file.parquet但这会显示文件架构加上数百个行组。我不想看到行组,只想看到文件架构。 最佳答案 尝试parquet-toolsschema/tmp/my-file.parquet 关于hadoop-使用命令行parquet-tools查看parquet中的模式,我们在StackOverflow上找到一个类似的问题:

java - Hadoop 上的错误 : Could not find or load main class org. apache.hadoop.hdfs.tools.GetConf

Error:Couldnotfindorloadmainclassorg.apache.hadoop.hdfs.tools.GetConf在[]上启动名称节点localhost:启动namenode,记录到/usr/local/hadoop/hadoop-2.6.0/logs/hadoop-ingreens-namenode-ingreens-desktop.outlocalhost:启动datanode,记录到/usr/local/hadoop/hadoop-2.6.0/logs/hadoop-ingreens-datanode-ingreens-desktop.out错误:无法找到

hadoop - 在cloudera中安装apache hadoop-tools

我有cloudera5.14开发环境。我想在cloudera发行版中安装apachehadoop-tools(link)。具体来说,我需要hadoop-resourceestimator(link)。没有可用的文档说明如何安装相同的.我们将不胜感激任何潜在客户。 最佳答案 AFAIKcdh5.14.x基于旧的hadoop版本2.6.0,它没有resourceestimator工具。它可用但在CDH6中不受支持(“不支持”与“不可用”不同)。你可以在CDH6.x发行版中找到resourceestimator,-rw-r--r--1ro

java - Hadoop : Tools for visualizing key value data and files for development

是否有任何简单、易于启动的java工具来可视化来自mapreduce作业目录的键/值数据?具体来说,我想浏览一个20个作业的mapreduceworkflow,点击单个文件并查看数据,甚至可能看到文件大小的直方图。这里有一些注意事项,例如-一些文件有序列化数据(不仅仅是文本)显然,这个系统在“云规模”上使用可能会很愚蠢,而不是一个开发工具。尽管如此,这样的工具对于开发和本地调试大型连接的m/r管道很有用。这是出于开发目的(我不是试图在真实集群中可视化分布式键/值hadoop数据)。 最佳答案 检查KarmaSphereStudioM

java - Maven 从源代码安装 Hadoop,寻找 tools.jar 的错误路径

我正在尝试使用“mvncleaninstall”构建hadoop-2.4.0-src。大约一半成功完成,但随后HDFSprojetc失败并显示:线程“主”java.lang.AssertionError中的异常:缺少tools.jar位于:/Library/Java/JavaVirtualMachines/jdk1.7.0_55.jdk/Contents/Home/Classes/classes.jar。表达式:file.exists()....../Home/Classes/不存在,tools.jar在......./Home/lib.我的$JAVA_HOME环境变量肯定设置正确,并