草庐IT

java - Mapreduce 作业吐出 java.io.IOException : com. mysql.jdbc.Driver

hadoop-2.7.3我正在创建一个mapreduce作业,它从HDFS输入文件读取数据并将数据写入mysql。它在启动连接时抛出错误。没有其他信息,例如连接被拒绝或classNotFound异常。简单的IO异常,对我来说没有任何意义。Error:java.io.IOException:com.mysql.jdbc.Driveratorg.apache.hadoop.mapreduce.lib.db.DBOutputFormat.getRecordWriter(DBOutputFormat.java:185)atorg.apache.hadoop.mapred.ReduceTask$

java - 无法找到或加载主类 com.sun.tools.javac.Main hadoop mapreduce

我正在尝试学习MapReduce,但我现在有点迷茫。http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html#Usage特别是这组指令:CompileWordCount.javaandcreateajar:$bin/hadoopcom.sun.tools.javac.MainWordCount.java当我在终端中输入hadoop时,我能够看到提供参数的“帮助”,所以我相信我已经安装了hadoop。当我输入命令时:编译W

hadoop - com.cloudera.sqoop.SqoopOptions 与 org.apache.sqoop.SqoopOptions 之间有什么区别吗?

Iamnewinsqoop.Actualiamusedsqoopimport&exportthroughcommandlinearguments.Butnowiamtryingtoimplmentwithjava.IgotcompiletimeerrorwhencallingexpTool.run(sqoopoptions)whenusingtheorg.apache.sqoop.SqoopOptionspackage.Ifiamtryingtouseclouderapackageinsteadofapachesqooppackage.thereisnocompiletimeexecp

hadoop - Faunus 测试在未找到 com.hadoop.compression.lzo.LzoCodec 时失败,HDP1.3

你好,我在HDP1.3上安装了Faunus0.32当我按照https://github.com/thinkaurelius/faunus/wiki/Getting-Started中的入门测试用例进行操作时,我遇到了以下错误gremlin>g=FaunusFactory.open('bin/faunus.properties')==>faunusgraph[graphsoninputformat->graphsonoutputformat]gremlin>g.V.type.groupCount13/09/2921:38:49WARNmapreduce.FaunusCompiler:Usi

hadoop - flume-kite-morphline : com. fasterxml.jackson.core.JsonParseException:意外的输入结束:OBJECT 的预期关闭标记

在使用flume(1.6&1.7)时遇到以下错误2016-12-0200:57:11,634(pool-3-thread-1)[WARN-org.apache.flume.serialization.LineDeserializer.readLine(LineDeserializer.java:143)]Linelengthexceedsmax(2048),truncatingline!2016-12-0200:57:11,777(pool-3-thread-1)[ERROR-org.apache.flume.source.SpoolDirectorySource$SpoolDirec

java - 无法找到 LoginModule 类 : com. sun.security.auth.module.UnixLoginModule

尝试使用Kerberose身份验证访问HDFS位置,但收到以下错误消息:java.io.IOException:failuretologinatorg.apache.hadoop.security.UserGroupInformation.loginUserFromSubject(UserGroupInformation.java:839)atorg.apache.hadoop.security.UserGroupInformation.getLoginUser(UserGroupInformation.java:775)atorg.apache.hadoop.security.Use

java - com.sun.jdi.InvocationException 发生调用方法

我只想创建一个类的对象,但在调试时出现此错误。谁能告诉我问题是什么?此代码的位置在某个Spring(2.5)服务类中。有一个类似的问题:OJBReferenceDescriptor1:0relationship?ShouldIsetauto-retrievetofalse?非常感谢~ 最佳答案 根本原因是java调试接口(interface)在调试的时候会调用你类的toString()在弹出框中显示类信息,所以如果toString方法定义不正确,就有可能出现这种情况。 关于java-co

java - com.sun.jdi.InvocationException 发生调用方法

我只想创建一个类的对象,但在调试时出现此错误。谁能告诉我问题是什么?此代码的位置在某个Spring(2.5)服务类中。有一个类似的问题:OJBReferenceDescriptor1:0relationship?ShouldIsetauto-retrievetofalse?非常感谢~ 最佳答案 根本原因是java调试接口(interface)在调试的时候会调用你类的toString()在弹出框中显示类信息,所以如果toString方法定义不正确,就有可能出现这种情况。 关于java-co

java - Spark : java. lang.NoClassDefFoundError: com/mongodb/hadoop/MongoInputFormat

我正在尝试使用mongo-hadoop连接器使用spark从mongodb读取数据。我尝试了不同版本的hadoop-mongo连接器jar,但仍然出现此错误。编译时没有错误我该怎么做才能解决这个问题?提前致谢。Exceptioninthread"main"java.lang.NoClassDefFoundError:com/mongodb/hadoop/MongoInputFormatatcom.geekcap.javaworld.wordcount.Mongo.main(Mongo.java:47)Causedby:java.lang.ClassNotFoundException:c

java - 使用 maven 构建的 spark 1.2 包 com.google.common 有错误

中央操作系统6.2Hadoop2.6.0scala2.10.5java版“1.7.0_75”OpenJDK运行时环境(rhel-2.5.4.0.el6_6-x86_64u75-b13)OpenJDK64位服务器VM(构建24.75-b04,混合模式)mvn版本ApacheMaven3.3.1(cab6659f9874fa96462afef40fcf6bc033d58c1c;2015-03-13T21:10:27+01:00)Maven主页:/opt/mavenJava版本:1.7.0_75,供应商:OracleCorporationJava主页:/usr/lib/jvm/java-1.