草庐IT

Property

全部标签

java - 执行Map-Reduce程序时出错

我使用hadoop3.1.0在Ubuntu上运行MapreduceWordCount程序,但它总是得到这个信息。我看到有人问这个类似question之前,但这行不通。我想知道我应该修改哪个文件,或者我错过了什么。我的java程序来自here.master@kevin-VirtualBox:~/MapReduceTutorial$$HADOOP_HOME/bin/hadoopjarProductSalePerCountry.jar/inputMapReduce/mapreduce_output_sales$HADOOP_HOME/bin/hadoopjarProductSalePerCo

hadoop - 将可选属性从主 oozie 工作流传递到子工作流

我有一个HDFS_file_path或属性需要从workflow-1传递到common_subworkflow。我还有没有该属性或HDFS_file_path的workflow-2。但是workflow-2调用common_subworkflow。在common_subworkflow中,我使用${HDFS_file_path}获取属性值。当workflow-1调用common_subworkflow时工作正常,但当workflow-2调用common_subworkflow时失败,因为HDFS_file_path在workflow-2中不存在。有什么办法可以读取动态属性(如果存在),

hadoop - 如何增加 AM 可以在 Hadoop 中使用的最大 vCores?

我正在努力处理一些hadoop配置。我正在寻求增加ApplicationsMaster可以使用的最大vCore数量。我的问题是目前只能使用1个vCore(见下图),因此我一次只能运行一项作业。其他作业将保持在ACCEPT阶段。我已经找到如何增加文件capacity-scheduler.xml中允许的内存。就我而言:yarn.scheduler.capacity.maximum-am-resource-percent0.8yarn.scheduler.capacity.maximum-applications10000yarn.scheduler.capacity.node-locali

hadoop - YARN 无法找到或加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster

我的查询:我在ubantu上安装了配置单元。我之前测试过它是工作文件,但后来它开始出错。insertintotest2values(1,'Mahendra');我的hive错误:QueryID=mahendra_20180827145546_86973630-5eff-4764-ade8-cfc3a8ce5c37Totaljobs=3LaunchingJob1outof3Numberofreducetasksdeterminedatcompiletime:1Inordertochangetheaverageloadforareducer(inbytes):sethive.exec.re

hadoop - HBase 未连接到 ZooKeeper

我正在努力让我的HBaseshell运行。它在主题行中抛出上述异常。我检查过hbase-site.xml与hadoop完美匹配。请帮忙。我挣扎了2天,有一个项目到期。我附上hadoop和hbase的两个xml文件。hbase-site.xmlhbase.rootdirhdfs://localhost:54310/hbasehbase.zookeeper.property.dataDir/home/hduser/zookeeperhbase.zookeeper.property.clientPort2222PropertyfromZooKeeper'sconfigzoo.cfg.Thep

hadoop - Hbase 和 apache drill 存储插件

我无法在Hbase和ApacheDrill之间创建连接。我无法理解问题出在Hbase还是ApacheDrill。我可以在Drill中创建存储插件。这是我给出的配置。{"type":"hbase","config":{"hbase.zookeeper.quorum":"localhost","hbase.zookeeper.property.clientPort":"2181"},"size.calculator.enabled":false,"enabled":true}drill的GUI返回成功。但是当我尝试从drill中查询它时,出现多个错误。现在我遇到以下错误。Error:SYS

hadoop - 使用 Capacity Scheduler 在 Hadoop 集群中设置队列

我尝试设置3个队列。为此,我配置了CapacityScheduler.xml,如下所示。但在此之后,jobtracker正在关闭。我还将这些队列的名称添加到mapred-site.xml中。谁知道原因。entercodehere*mapred.capacity-scheduler.queue.BatchJobsQueue.capacity70mapred.capacity-scheduler.queue.BatchJobsQueue.supports-priorityfalsemapred.capacity-scheduler.queue.BatchJobsQueue.minimum-

hadoop - 关于分布式运行在hadoop上的hbase

Hadoop版本=2.4.1hbase版本=0.98.6我已经在下面的conf上启动并运行得很好:107.108.86.119-hadoopnamenode,SecondaryNameNode107.109.155.100-datanode1107.109.155.102-datanode2现在我安装hbase如下conf:-107.108.86.114:-hmaster,HQuorumPeer107.109.155.100-regionserver1107.109.155.102-regionserver2当我执行jps时,以下进程正在运行:107.109.155.102:-hreg

java - nodemanager连接到resourcemanager,但datanode没有连接到namenode

我在CentOS7.0上安装了hadoop2.5.1。(1)当我在hadoop上运行应用程序时,我怀疑下面的消息路径“/tmp/hadoop-yarn/staging/hadoop/.staging/job_1424775783787_0001/files”是由于兼容性导致的。如果是兼容性问题,我该如何修补??15/02/2420:27:41ERRORstreaming.StreamJob:ErrorLaunchingjob:File/tmp/hadoop-yarn/staging/hadoop/.staging/job_1424775783787_0001/files/Formatt

java - Reduce 任务被 Hadoop 多节点 (10x) 集群中的太多获取失败消息停止

我将Hadoop1.0.3用于一个10桌面集群系统,每个系统都有Ubuntu12.04LTS32位操作系统。JDK是7u75。每台机器有2GBRAM和core2-duo处理器。对于一个研究项目,我需要运行一个类似于“字数统计”的hadoop作业。我需要对大量数据集运行此操作,例如至少1GB的大小。我正在尝试使用hadoop的示例jarhadoop-examples-1.0.3.jar来计算输入数据集的单词数。不幸的是,我无法运行任何输入数据超过5-6MB的实验。对于输入,我使用来自https://www.gutenberg.org的纯文本共振峰故事书.我还使用了来自https://ww