草庐IT

Eclipse-Only-Configuration

全部标签

eclipse - 在 eclipse 中安装 MAP-REDUCE 插件时出错

当我尝试在eclipseINDIGO中安装MAP-REDUCE插件时,出现以下错误截图:我已经安装了hadoop1.2.1。 最佳答案 您尝试使用的插件是使用Java8编译的,但您正在使用早期版本的Java运行Eclipse。您必须使用Java8运行Eclipse才能使用此插件。 关于eclipse-在eclipse中安装MAP-REDUCE插件时出错,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/

java - 使用凭据缓存的 Kerberos 身份验证通过 Eclipse 工作,但不能通过命令行工作

描述:我构建了一个应用程序,它从应用了Kerberos身份验证的远程集群中获取HDFS(Hadoop分布式文件系统)文件。我可以从Eclipse执行HDFS.copyToLocalFile(path1,path2)并且它工作正常。但是当我将项目导出为可运行的jar并尝试通过命令行运行它时,它会抛出以下错误。注意:我已按照@https://sourceforge.net/p/jsch/mailman/message/26939797/中提到的步骤进行操作并成功地从Eclipse运行该项目。我已经检查了Eclipse中的其他文件,但找不到任何文件。我安装了KerberosV5MIT和Net

azure - 尼菲 java.lang.NoSuchMethodError : org. apache.hadoop.conf.Configuration.reloadExistingConfigurations

我正在点击此链接以设置NifiputHDFS以写入AzureDataLake。ConnectingtoAzureDataLakefromaNiFidataflowNifi在HDF3.1VM中,Nifi版本为1.5。我们从一个HDInsight(v3.6,whichsupportshadoop2.7)headnode得到了上面链接中提到的jar文件,这些jar文件是:adls2-oauth2-token-provider-1.0.jarazure-data-lake-store-sdk-2.1.4.jarhadoop-azure-datalake.jarjackson-core-2.2.

java - 从 eclipse 运行 hadoop(Cloudera-2.0.0-cdh4.4.0) 作业时出错?

您好,我正在从eclipse运行hadoopwordcount示例,但出现以下错误:-13/11/2422:17:08DEBUGipc.Client:IPCClient(2010005445)connectiontolocalhost/127.0.0.1:8020fromharindersending#1213/11/2422:17:08DEBUGipc.Client:IPCClient(2010005445)connectiontolocalhost/127.0.0.1:8020fromharindergotvalue#1213/11/2422:17:08DEBUGipc.Proto

java - 如何用eclipse配置hadoop

我是hadoop的新手,我已经下载了hortonworkssanbox镜像并使用virtualBox安装了它。当我在Chrome中输入192.168.56.101/时,sanboxui将进入本地主机。我也可以使用hue/hadoop用户名密码登录到hadoopshell。现在我想在eclipse中运行一个简单的程序。我已将hadoop-0.18.3-eclipse-plugin添加到eclipse,然后尝试了以下步骤。1.choosedmap/reducefromeclipse.2.wenttohadooplocationediterlocalhostname:localhostund

hadoop - eclipse wordcount 程序中找不到类异常

我正在从eclipse运行一个字数统计程序,它说找不到类。我导出了与jar文件相同的程序并从命令行执行,它工作正常。错误堆栈跟踪14/02/1423:46:16WARNmapred.JobClient:UseGenericOptionsParserforparsingthearguments.ApplicationsshouldimplementToolforthesame.14/02/1423:46:16WARNmapred.JobClient:Nojobjarfileset.Userclassesmaynotbefound.SeeJobConf(Class)orJobConf#se

推送项目到Gitcode失败warning: missing OAuth configuration for gitcode.net remote: HTTP Basic: Access denied

问题描述推送项目到Gitcode时总是出现Gitlab的弹框(怎么输入都不对),项目一直处于推送状态,推送失败报错:warning:missingOAuthconfigurationforgitcode.net-seehttps://aka.ms/gcm/gitlabformoreinformationremote:HTTPBasic:Accessdenied我用的是网上说的:Gitcode设置的的邮箱和CSDN的密码解决办法网上搜索到有以下几种办法:1.通过gitcmd输入gitconfig--system--unsetcredential.helper2.可能是密钥文件有问题,建议重新生成

eclipse - hadoop 将输出写入 hdfs 文件

我已经编写了我的第一个mapreduce程序,当我在eclipse中运行它时,它会写入输出文件并按预期工作。但是,当我使用hadoopjarmyjar.jar从命令行运行它时,结果没有写入输出文件。正在创建输出文件(_SUCCESS和part-r-0000),但它们是空的。有任何持久性问题吗?减少输入记录=12但减少输出记录=0。但是如果我在eclipse中这样做,那么它就不为零。在Eclipse中,减少输出记录不是0。任何帮助表示赞赏。谢谢[cloudera@quickstartDesktop]$sudohadoopjarcheckjar.jarhdfs://quickstart.c

maven - 由 : java. lang.ClassNotFoundException : org. apache.hadoop.fs.CanSetDropBehind issue in eclipse 引起

我有以下spark字数统计程序:packagecom.sample.spark;importjava.util.Arrays;importjava.util.List;importjava.util.Map;importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.*;importorg.apache.spark.api.java.function.FlatMapFunction;importorg.apache.spark.api.java.function.Function;importorg.apache.s

hadoop - 作为 Map only 作业执行的 Hive 查询

最近遇到一个问题WillallHivequeriesbeconvertedintomapandreducejobs?我知道Hive查询被转换为一系列MapReduce作业。我不是在谈论在Hive中调用外部脚本。是否存在不需要reduce作业且Hive可以通过Map作业本身获得结果的情况。你有什么想法? 最佳答案 是的。这仅取决于您正在运行的作业类型。例如,如果您有一个具有架构(姓名、ID、部门)的员工表。以下查询运行仅map作业。Mapper从配置单元表中接收(Name,id,department)作为值,并发出Name和Nullw