草庐IT

uber-jar

全部标签

hadoop - 如何在 HDP 2.2 中安装 hadoop-examples* 和 hadoop-test* jar?

如何在HortonworksDataPlatform2.2上安装hadoop-examples*和hadoop-test*jar?这些jar在任何服务器上都不存在。我需要安装其他软件包吗?我找到了一个reference也就是说,它们应该位于/usr/share/hadoop,但该目录在我的集群中的任何节点上都不存在。 最佳答案 对于HDP2.2,大多数内容都移到了/usr/hdp下,所以这些可能就是您要找的内容。[hdpdemo@hdp-demo-mas5hdp]$pwd/usr/hdp[hdpdemo@hdp-demo-mas5h

java - 向我的 Storm 集群提交字数统计拓扑,使用 Eclipse 创建 jar,但它显示异常

我正在尝试向我的Storm集群提交一个字数统计拓扑。我使用Eclipse创建了一个jar,但它显示异常。谁能告诉我该怎么做。我在这里附上我的代码和异常。Spout创建-publicclassWordReaderimplementsIRichSpout{privateSpoutOutputCollectorcollecter;privateBufferedReaderbufferedreader;privateFileReaderfilereader;privateBooleancompleted=false;privateTopologyContextcontext;privatefi

hadoop - sqoop 导入无法定位 sqoop-1.4.6.jar

我正在使用sqoop从mysql表导入数据以与hadoop一起使用。导入时显示错误。Hadoop版本:2.5.0Sqoop版本:1.4.6用于导入的命令sqoopimport--connectjdbc:mysql://localhost/--usernameroot--passwordpass@123--table-m1显示错误15/05/2723:13:59ERRORtool.ImportTool:EncounteredIOExceptionrunningimportjob:java.io.FileNotFoundException:Filedoesnotexist:hdfs://l

java - 用于 hadoop mapreduce 的 jar

我正在关注thishadoopmapreducetutorial由Apache提供。那里给出的Java代码使用了这些Apache-hadoop类:importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Job;importorg.apache.hadoop.mapreduce.Mappe

java - 什么相当于hadoop 2.7.1中的hadoop-core-xxx.jar

我正在研究用于图形分布式处理的斯坦福GPS(图形处理系统)框架。该框架使用hadoop。根据GPS文档,安装GPS需要将hadoop-core-xxx.jar文件复制到其libs目录中。但是,我发现hadoop-core-xxx.jar不存在于hadoop2.7.1中。2.7.1版本的hadoopcore文件相当于什么?提前致谢... 最佳答案 您正在寻找hadoop-common.这是hadoop-common-2.7.1. 关于java-什么相当于hadoop2.7.1中的hadoo

hadoop - 不应该在包安装期间配置 Oozie/Sqoop jar 位置吗?

我在CentOS6.7中使用HDP2.4。我已经用Ambari创建了集群,所以Oozie是由Ambari安装和配置的。我在运行与jar文件位置相关的Oozie/Sqoop时遇到两个错误。第一个涉及postgresql-jdbc.jar,因为Sqoop作业是从Postgres增量导入的。我将postgresql-jdbc.jar文件添加到HDFS并在workflow.xml中指向它:/user/hdfs/sqoop/postgresql-jdbc.jar问题解决了。但第二个错误似乎与kite-data-mapreduce.jar有关。然而,对这个文件做同样的事情:/user/hdfs/s

java - Hive ClassNotFoundException 即使所有 jar 都添加到 Maven 存储库中

我添加了该项目所需的所有jar,但我无法解决此异常。任何人都可以就此提出建议。你也能告诉我如何授予配置单元数据库访问权限吗?提前致谢。java.lang.ClassNotFoundException:org.apache.hadoop.hive.jdbc.HiveDriveratjava.net.URLClassLoader$1.run(URLClassLoader.java:366)atjava.net.URLClassLoader$1.run(URLClassLoader.java:355)atjava.security.AccessController.doPrivileged(

scala - 为什么我的jar 看不到环境中的HBase 配置?

我编写了一个试图创建默认HBaseConfiguration的应用程序,但是当我将应用程序打包为jar时,它无法正常工作,因为它正在尝试使用127.0.0.1的zookeeper而不是我在/etc/hbase/conf/hbase-site.xml。该应用程序可以简化为如下所示:objectTestUtilextendsApp{valhbaseTable=newHTable(HBaseConfiguration.create,"tableName")println(hbaseTable)}当我使用以下命令运行它时,它工作正常:CLASSPATH=`hbaseclasspath`java

hadoop - 在 Hadoop 中包含第三方 Jar

我是Hadoop新手。我已将GsonAPI添加到我的MapReducing程序中。当我运行程序时得到;Error:java.lang.ClassNotFoundException:com.google.gson.Gson谁能建议我如何将第三方库添加到Hadoop? 最佳答案 请务必在提交作业时向HADOOP_CLASSPATH和-libjars添加任何依赖项,如以下示例所示:使用以下命令添加当前目录和lib目录中的所有jar依赖项:exportHADOOP_CLASSPATH=$HADOOP_CLASSPATH:`echo*.jar

java - 使用 mahout 和 hadoop jar 运行 K-means 集群时出现 IO 异常

这个问题不太可能帮助任何future的访问者;它只与一个小的地理区域、一个特定的时间点或一个非常狭窄的情况相关,这些情况并不普遍适用于互联网的全局受众。为了帮助使这个问题更广泛地适用,visitthehelpcenter.关闭9年前。我正在尝试使用Mahout运行集群程序。以下是我正在使用的java代码packagecom;importjava.io.File;importjava.io.IOException;importjava.util.ArrayList;importjava.util.List;importorg.apache.hadoop.conf.Configuratio