草庐IT

mapred-site

全部标签

hadoop - 将 MapR 安装到 20 节点集群的分步过程

我想知道将MapR安装到20节点集群上的分步过程,我还想拥有一个边缘节点。我没有使用Edge节点安装任何hadoop发行版。请帮忙。 最佳答案 你应该看看MapRinstalldocumentation.他们还有一个易于使用的UIinstaller. 关于hadoop-将MapR安装到20节点集群的分步过程,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/41163466/

hadoop - 必须具有 core-site hdfs-site mapred-site 和 yarn-site.xml 的属性

谁能告诉我Core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml必须具备的属性,没有这些属性hadoop就无法启动? 最佳答案 以下设置适用于Hadoop2.x.x的独立和伪节点设置。核心站点.xmlfs.default.namehdfs://localhost:9000hdfs-site.xmldfs.replication1dfs.name.dirfile:///home/hadoop/hadoopdata/hdfs/namenodedfs.data.dirfile:/

java - Hadoop input.FileSplit 不能大小写为 mapred.FileSplit

我正在尝试使用以下代码在HadoopMapper中获取文件名:FileSplitfileSplit=(FileSplit)context.getInputSplit();Stringfilename=fileSplit.getPath().getName();我导入的库是:importorg.apache.hadoop.mapred.FileSplit;我得到异常:org.apache.hadoop.mapreduce.lib.input.FileSplitcannotbecasttoorg.apache.hadoop.mapred.FileSplit有人可以帮忙吗?

java - 在 org.apache.hadoop.mapred.MapTask$NewOutputCollector 关闭期间忽略异常

我创建了一个hadoop自定义可写对象,如下所示publicclassResultTypeimplementsWritable{privateTextxxxx;privateTextyyyy;privateTextzzzz;publicResultType(){}publicResultType(Textxxxx,Textyyyy,Textzzzz){this.xxxx=xxxx;this.yyyy=yyyy;this.zzzz=zzzz;}publicTextgetxxxx(){returnthis.xxxx;}publicTextgetyyyy(){returnthis.yyyy;

hadoop - 哪些进程需要访问 core-site.xml 和 hdfs-site.xml

Thecore-site.xmlfileinformsHadoopdaemonwhereNameNoderunsinthecluster.ItcontainstheconfigurationsettingsforHadoopCoresuchasI/OsettingsthatarecommontoHDFSandMapReduce.Thehdfs-site.xmlfilecontainstheconfigurationsettingsforHDFSdaemons;theNameNode,theSecondaryNameNode,andtheDataNodes.Here,wecanconfi

hadoop - 是否可以将 mapR 与纯 apache hadoop 结合起来?

我是hadoop的新手。我听说mapR是挂载hadoopHDFS的更好方法,而不是fuse。但大多数相关文章只是描述mapRhadoop而不是纯apachehadoop。有人有使用mapR安装纯apachehadoop的经验吗?提前致谢。 最佳答案 MapR不仅仅是一种挂载HDFS的方式。MapR包括Hadoop和许多Apache生态系统组件以及许多其他非Apache组件,例如Cascading。它还包括包含Solr的LucidWorks。MapR还包括HDFS的重新实现,称为MaprFS。MaprFS具有更高的性能,具有读写语义,

java - Hadoop Map/Reduce WARN mapred.LocalJobRunner : job_local_0001 java. io.EOFException?

在Eclipse6.91中运行Hadoop0.20.2M/R应用。我在执行后收到这些错误和警告:13/07/2416:52:52INFOjvm.JvmMetrics:InitializingJVMMetricswithprocessName=JobTracker,sessionId=13/07/2416:52:52WARNmapred.JobClient:UseGenericOptionsParserforparsingthearguments.ApplicationsshouldimplementToolforthesame.13/07/2416:52:52WARNmapred.Jo

java - apache avro 中的 mapred 和 mapreduce 包有什么区别?

我正在从事我的项目以整合apacheavro进入我的MapR程序。然而,我很困惑与ma​​pred相比,通过使用新的ma​​preduce包。latter详细说明如何使用在不同的情况下,新的信息较少。但是我知道的是,它们分别对应hadoop的新旧接口(interface)。有没有人有使用ma​​preduce接口(interface)的经验或例子对于输入为非Avro数据的作业(例如TextInputFormat)文件输出为avro文件。 最佳答案 这两个包代表相应的Hadoopmapred和mapreduceAPI的输入/输出格式、

r - 避免在运行时在 HDP 上修改 mapred.child.env,以便 R 可以使用 RHive 建立与 hiveserver2 的连接

我正在尝试让R的RHive包与hiveserver2很好地通信。我在尝试使用以下方式连接到hiveserver2时收到错误消息:>rhive.connect(host="localhost",port=10000,hiveServer2=TRUE,user="root",password="hadoop")初始运行的输出:SLF4J:ClasspathcontainsmultipleSLF4Jbindings.SLF4J:Foundbindingin[jar:file:/usr/hdp/2.2.0.0-2041/hadoop/client/slf4j-log4j12-1.7.5.jar

hadoop - MapR 是 MapReduce 的替代品吗

我看到了mapreduce作业的替代品MapR,它可以直接从流中读取数据并进行处理。我的理解正确吗?有没有我可以引用的sample?它是商业广告吗?使用它有什么问题吗?它是水槽的替代品吗?我们可以将它与apachehadoop一起使用吗?如果是,那么为什么发行版只讨论yarn和mapreduce而没有讨论MapR?提前致谢。 最佳答案 MapR是ApacheHadoop的商业发行版,HDFS被MapR-FS取代。本质上,它是相同的Hadoop和相同的Map-Reduce作业在上面运行,覆盖了大量的营销,导致像你这样的困惑和问题。这是