草庐IT

exec-maven-plugin

全部标签

hadoop - 基于 maven 生成的源运行 hadoop

我正在尝试对hadoop框架进行一些更改,但我在设置我的开发环境时遇到了困难。我已经从git中克隆了hadoop并生成了所有java项目以使用maven导入到eclipse中,如此处所述EclipseEnvironment.在eclipse中导入所有项目后,我生成了一个正常的java项目,它应该在hadoop中运行一个作业,我在项目的构建路径上为hadoop-common和hadoop-mapreduce-client-core设置了两个项目依赖项,所有依赖项都已解决。当我运行项目时出现错误2013-05-2312:58:01,531ERRORutil.Shell(Shell.java

maven - Hadoop的版本和Hadoop-common的版本有什么关系?

我正在使用Maven构建一个Hadoop项目,并在http://search.maven.org/中搜索依赖项.Hadoop-common的结果只包括版本0.2x和2.x,版本1呢。×?这是searchlink.看来Hadoop的版本与其Hadoop-common的版本不对应。顺便说一下,DifferencesbetweenHadoop-common,Hadoop-coreandHadoop-client?那么如果我选择Hadoop1.2.1,我应该在.pom文件中为mavendecencies编写哪个版本?(或者,是否一定要写一个特定版本的Hadoop-Common和Hadoop-C

maven - 在 Windows 8 上构建 Hadoop 2.6 时出错

我正在按照教程构建和安装hadoop。http://www.srccodes.com/p/article/38/build-install-configure-run-apache-hadoop-2.2.0-microsoft-windows-os但是,当我在VS2010命令提示符下输入以下命令时:mvnpackage-Pdist,native-win-DskipTests-Dtar我收到以下错误:main:[mkdir]SkippingC:\hdfs\hadoop-hdfs-project\hadoop-hdfs\target\nativebecauseitalreadyexists

maven - 使用 Maven 编译 Hadoop 需要运行 surefire 测试?

我正在尝试使用Java7使用maven3.1.1在ubuntu14上编译Hadoop2.6.0>因为我想实现一个新的调度程序。我在stackoverflow上找到了ThomasJungblut的答案,建议跳过surefire测试(mvnpackage-DskipTests)并且有效。我的问题是跳过测试是否有缺点。这是测试的错误:"Failedtoexecutegoalorg.apache.maven.plugins:maven-surefire-plugin:2.16:test(default-test)onprojecthadoop-common:Therearetestfailur

maven - DataTorrent - 开发 Hello World 应用程序

我是DataTorrent的新手。我正在尝试使用this使用数据洪流构建示例应用程序链接,但此页面上提供的信息没有太大帮助。我使用以下命令创建了一个maven项目,如页面上所述。mvnarchetype:generate-DarchetypeRepository=https://www.datatorrent.com/maven/content/repositories/releases-DarchetypeGroupId=com.datatorrent-DarchetypeArtifactId=apex-app-archetype-DarchetypeVersion=3.0.0-Dg

hadoop - 缺少 Hive 执行 Jar :/usr/local/apache-hive-2. 1.0-bin/lib/hive-exec-*.jar

运行hive时出现以下错误MissingHiveExecutionJar:/usr/local/apache-hive-2.1.0-bin/lib/hive-exec-*.jar查看所有相关帖子,例如MissingHiveExecutionJar:/usr/local/hadoop/hive/lib/hive-exec-*.jar但没有帮助..!!几乎什么都试过了按照这里的步骤安装http://www.bogotobogo.com/Hadoop/BigData_hadoop_Hive_Install_On_Ubuntu_16_04.php这是我的所有设置#HADOOPVARIABLES

linux 配置MAVEN

linux下简单配置MAVEN 1.MAVEN介绍Maven是一个项目管理和构建工具,旨在帮助开发人员更轻松地管理软件项目的构建过程、依赖管理和文档生成等任务。它使用一种称为POM(ProjectObjectModel)的XML文件来描述项目的结构、依赖关系和构建配置。以下是一些关键概念和功能:POM文件:POM是Maven项目的核心,它定义了项目的元信息、依赖关系、插件配置等。这个文件位于项目根目录下的pom.xml。依赖管理:Maven管理项目依赖的方式非常强大。您可以在POM文件中声明所需的外部库或模块依赖项,Maven会自动下载这些依赖项并确保它们的版本一致性。生命周期和构建阶段:Ma

maven - 为 hadoop 安装 snappy 失败

我正在按照此处https://code.google.com/p/hadoop-snappy/的snappy安装说明进行操作.但是,我无法完成第3步。我进行了配置、制作、sudomakeinstall和snappy位于/usr/local中的正确字典中。所以下一步是为hadoop安装snappy。因此,正如我所说,我调用snappy-1.1.2Tom$mvn-epackage[INFO]Errorstacktracesareturnedon.[INFO]Scanningforprojects...[INFO]---------------------------------------

maven - Apache Bigtop 未构建

我正在关注theseinstructionforsettingupApacheBigtop,最终支持我运行Oozie。我正在尝试使用Bigtop,因为如果我想在Hadoop2+上运行我的Oozie安装,Oozie网站建议使用Bigtop。运行步骤后makehadoop-deb我收到以下错误消息(完整消息HERE):[INFO]------------------------------------------------------------------------[INFO]ReactorSummary:[INFO][INFO]ApacheHadoopMain...........

maven - Apache Spark 依赖问题

我正在尝试在Hadoop集群中运行我的spark应用程序。集群中运行的spark版本为1.3.1。在集群中打包和运行我的spark应用程序时,出现如下错误。我也查看了其他帖子,好像我搞砸了库依赖项,但无法弄清楚是什么!以下是可能对你们帮助我有帮助的其他信息:hadoop-版本:Hadoop2.7.1.2.3.0.0-2557Subversiongit@github.com:hortonworks/hadoop.git-r9f17d40a0f2046d217b2bff90ad6e2fc7e41f5e1Compiledbyjenkinson2015-07-14T13:08ZCompiled