草庐IT

start-mapred

全部标签

hadoop - 将 MapR 安装到 20 节点集群的分步过程

我想知道将MapR安装到20节点集群上的分步过程,我还想拥有一个边缘节点。我没有使用Edge节点安装任何hadoop发行版。请帮忙。 最佳答案 你应该看看MapRinstalldocumentation.他们还有一个易于使用的UIinstaller. 关于hadoop-将MapR安装到20节点集群的分步过程,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/41163466/

hadoop - 必须具有 core-site hdfs-site mapred-site 和 yarn-site.xml 的属性

谁能告诉我Core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml必须具备的属性,没有这些属性hadoop就无法启动? 最佳答案 以下设置适用于Hadoop2.x.x的独立和伪节点设置。核心站点.xmlfs.default.namehdfs://localhost:9000hdfs-site.xmldfs.replication1dfs.name.dirfile:///home/hadoop/hadoopdata/hdfs/namenodedfs.data.dirfile:/

java - Hadoop input.FileSplit 不能大小写为 mapred.FileSplit

我正在尝试使用以下代码在HadoopMapper中获取文件名:FileSplitfileSplit=(FileSplit)context.getInputSplit();Stringfilename=fileSplit.getPath().getName();我导入的库是:importorg.apache.hadoop.mapred.FileSplit;我得到异常:org.apache.hadoop.mapreduce.lib.input.FileSplitcannotbecasttoorg.apache.hadoop.mapred.FileSplit有人可以帮忙吗?

macos - Hadoop2.7.3 : Cannot see DataNode/ResourceManager process after starting hdfs and yarn

我使用的是mac和java版本:$java-versionjavaversion"1.8.0_111"Java(TM)SERuntimeEnvironment(build1.8.0_111-b14)JavaHotSpot(TM)64-BitServerVM(build25.111-b14,mixedmode)点击此链接:https://dtflaneur.wordpress.com/2015/10/02/installing-hadoop-on-mac-osx-el-capitan/我先brewinstallhadoop,根据需要配置ssh连接和xml文件,start-dfs.shst

java - 在 org.apache.hadoop.mapred.MapTask$NewOutputCollector 关闭期间忽略异常

我创建了一个hadoop自定义可写对象,如下所示publicclassResultTypeimplementsWritable{privateTextxxxx;privateTextyyyy;privateTextzzzz;publicResultType(){}publicResultType(Textxxxx,Textyyyy,Textzzzz){this.xxxx=xxxx;this.yyyy=yyyy;this.zzzz=zzzz;}publicTextgetxxxx(){returnthis.xxxx;}publicTextgetyyyy(){returnthis.yyyy;

java - Hadoop 的命令 start-dfs.sh 显示一个奇怪的错误

当我尝试运行下面的命令时,弹出一个错误Alis-Mac:hadoop-2.7.3naziaimran$sbin/start-dfs.sh错误如下,2018-06-0501:04:31.424java[1879:21215]UnabletoloadrealminfofromSCDynamicStore18/06/0501:04:31WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicableStartingnamenod

hadoop - 是否可以将 mapR 与纯 apache hadoop 结合起来?

我是hadoop的新手。我听说mapR是挂载hadoopHDFS的更好方法,而不是fuse。但大多数相关文章只是描述mapRhadoop而不是纯apachehadoop。有人有使用mapR安装纯apachehadoop的经验吗?提前致谢。 最佳答案 MapR不仅仅是一种挂载HDFS的方式。MapR包括Hadoop和许多Apache生态系统组件以及许多其他非Apache组件,例如Cascading。它还包括包含Solr的LucidWorks。MapR还包括HDFS的重新实现,称为MaprFS。MaprFS具有更高的性能,具有读写语义,

java - Hadoop Map/Reduce WARN mapred.LocalJobRunner : job_local_0001 java. io.EOFException?

在Eclipse6.91中运行Hadoop0.20.2M/R应用。我在执行后收到这些错误和警告:13/07/2416:52:52INFOjvm.JvmMetrics:InitializingJVMMetricswithprocessName=JobTracker,sessionId=13/07/2416:52:52WARNmapred.JobClient:UseGenericOptionsParserforparsingthearguments.ApplicationsshouldimplementToolforthesame.13/07/2416:52:52WARNmapred.Jo

java - apache avro 中的 mapred 和 mapreduce 包有什么区别?

我正在从事我的项目以整合apacheavro进入我的MapR程序。然而,我很困惑与ma​​pred相比,通过使用新的ma​​preduce包。latter详细说明如何使用在不同的情况下,新的信息较少。但是我知道的是,它们分别对应hadoop的新旧接口(interface)。有没有人有使用ma​​preduce接口(interface)的经验或例子对于输入为非Avro数据的作业(例如TextInputFormat)文件输出为avro文件。 最佳答案 这两个包代表相应的Hadoopmapred和mapreduceAPI的输入/输出格式、

hadoop - 作业跟踪器和名称节点不以 start-all.sh 开头

我正在尝试安装hadoop单节点,但它无法正常工作。当我执行start-all.shnamenode和jobtracker时,不要启动。您是否在我的文件中看到什么可能是错误的,所以我得到了这个结果?hadoopjps命令的结果:14878日元14823任务追踪器14605二级名称节点14456数据节点start-all.sh命令的结果:admin@vm-sgd10:/usr/local$start-all.shstartingnamenode,loggingto/usr/local/hadoop/libexec/../logs/hadoop-admin-namenode-vm-10.v