记录一下Hadoop的配置和说明，用到新的配置项会补充进来，不定期更新。以配置文件名划分以hadoop1.x配置为例core-site.xml namevalue Description fs.default.namehdfs://hadoopmaster:9000定义HadoopMaster的URI和端口 fs.checkpoint.dir/opt/data/hadoop1/hdfs/namesecondary1定义hadoop的name备份的路径，官方文档说是读取这个，写入dfs.name.dir fs.checkpoint.period1800定义name备份的备份间隔时间，秒为单位
记录一下Hadoop的配置和说明，用到新的配置项会补充进来，不定期更新。以配置文件名划分以hadoop1.x配置为例core-site.xml namevalue Description fs.default.namehdfs://hadoopmaster:9000定义HadoopMaster的URI和端口 fs.checkpoint.dir/opt/data/hadoop1/hdfs/namesecondary1定义hadoop的name备份的路径，官方文档说是读取这个，写入dfs.name.dir fs.checkpoint.period1800定义name备份的备份间隔时间，秒为单位
1场景在实际过程中，遇到这样的场景：日志数据打到HDFS中，运维人员将HDFS的数据做ETL之后加载到hive中，之后需要使用Spark来对日志做分析处理，Spark的部署方式是SparkonYarn的方式。从场景来看，需要在我们的Spark程序中通过HiveContext来加载hive中的数据。如果希望自己做测试，环境的配置可以参考我之前的文章，主要有下面的需要配置：1.Hadoop环境Hadoop环境的配置可以参考之前写的文章；2.Spark环境Spark环境只需要在提交job的节点上进行配置即可，因为使用的是SparkonYarn的方式；3.Hive环境需要配置好Hive环境，因为在提交
1场景在实际过程中，遇到这样的场景：日志数据打到HDFS中，运维人员将HDFS的数据做ETL之后加载到hive中，之后需要使用Spark来对日志做分析处理，Spark的部署方式是SparkonYarn的方式。从场景来看，需要在我们的Spark程序中通过HiveContext来加载hive中的数据。如果希望自己做测试，环境的配置可以参考我之前的文章，主要有下面的需要配置：1.Hadoop环境Hadoop环境的配置可以参考之前写的文章；2.Spark环境Spark环境只需要在提交job的节点上进行配置即可，因为使用的是SparkonYarn的方式；3.Hive环境需要配置好Hive环境，因为在提交
源码见：https://github.com/hiszm/hadoop-trainYARN产生背景ApacheYARN(YetAnotherResourceNegotiator)是hadoop2.0引入的集群资源管理系统。用户可以将各种服务框架部署在YARN上，由YARN进行统一地管理和资源分配。ThefundamentalideaofMRv2istosplitupthetwomajorfunctionalitiesoftheJobTracker,resourcemanagementandjobscheduling/monitoring,intoseparatedaemons.Theideai
源码见：https://github.com/hiszm/hadoop-trainYARN产生背景ApacheYARN(YetAnotherResourceNegotiator)是hadoop2.0引入的集群资源管理系统。用户可以将各种服务框架部署在YARN上，由YARN进行统一地管理和资源分配。ThefundamentalideaofMRv2istosplitupthetwomajorfunctionalitiesoftheJobTracker,resourcemanagementandjobscheduling/monitoring,intoseparatedaemons.Theideai
部署完全分布式高可用HadoophdfsHA+yarnHA标签（空格分隔）：大数据运维专栏一：hadoopHDFSHA与yarnHA的概述二：部署环境概述三：部署zookeeper四：部署HDFSHA与yarnHA五：关于HA的测试一：hadoopHDFSHA与yarnHA的概述1.1HA的概述HA概述1）所谓HA（HighAvailable），即高可用（7*24小时不中断服务）。2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。4）NameNo
