故障问题：由于vSphere虚拟化平台中的一台VM虚拟机MAC地址与另一VC中的VM冲突需要修改，在VC中删除VM的网卡并重新添加一张新的虚拟网卡之后，在VM的RHEL系统中配置网卡IP网关之后，发现IP能正常起，但网关无论如何都无法生效，使用ipr命令无法查看到网关。检查/etc/sysconfig/network-scripts/ifcfg-enX文件无异常，检查/var/log/messages中无相关异常日志。原因分析：RHEL中配置网关的配置文件，一般有如下几个：/etc/sysconfig/network-scripts/ifcfg-en*/etc/sysconfig/networ

一、概述 上篇blog记录了些在用spark-sql时遇到的一些问题，今天继续记录用Spark提供的RDD转化方法开发公司第一期标签分析系统（一部分scala作业逻辑代码后面blog再给大家分享）遇到的一些SPARK作业错误信息。其中有些问题可能一些数据量或者shuffle量比较小的作业时不会遇到的，我们整套标签系统的初级输入数据大概是8T左右，这里也是个参考。(下面的Spark部署模式为sparkonyarn)二、问题1、大规模数据往HDFS中写时候，报了HDFS读写超时，具体日志看下面。（1）具体到某个Excutor的错误日志:（2）具体到各个数据节点DataNode的日志:分析：从这两个

一、概述 上篇blog记录了些在用spark-sql时遇到的一些问题，今天继续记录用Spark提供的RDD转化方法开发公司第一期标签分析系统（一部分scala作业逻辑代码后面blog再给大家分享）遇到的一些SPARK作业错误信息。其中有些问题可能一些数据量或者shuffle量比较小的作业时不会遇到的，我们整套标签系统的初级输入数据大概是8T左右，这里也是个参考。(下面的Spark部署模式为sparkonyarn)二、问题1、大规模数据往HDFS中写时候，报了HDFS读写超时，具体日志看下面。（1）具体到某个Excutor的错误日志:（2）具体到各个数据节点DataNode的日志:分析：从这两个