了解Yarn基础库是后面阅读Yarn源码的基础，本节对Yarn基础库做总体的介绍。并对其中使用的第三方库ProtocolBuffers和Avro是什么、怎么用做简要的介绍。一、主要使用的库ProtocolBuffers：是Google开源的序列化库，具有平台无关、高性能、兼容性好等优点。YARN将其用到了RPC通信中，默认情况下，YARNRPC中所有参数采用ProtocolBuffers进行序列化/反序列化。ApacheAvro：是Hadoop生态系统中的RPC框架，具有平台无关、支持动态模式(无需编译)等优点，Avro的最初设计动机是解决YARNRPC兼容性和扩展性差等问题。RPC库：YAR

了解Yarn基础库是后面阅读Yarn源码的基础，本节对Yarn基础库做总体的介绍。并对其中使用的第三方库ProtocolBuffers和Avro是什么、怎么用做简要的介绍。一、主要使用的库ProtocolBuffers：是Google开源的序列化库，具有平台无关、高性能、兼容性好等优点。YARN将其用到了RPC通信中，默认情况下，YARNRPC中所有参数采用ProtocolBuffers进行序列化/反序列化。ApacheAvro：是Hadoop生态系统中的RPC框架，具有平台无关、支持动态模式(无需编译)等优点，Avro的最初设计动机是解决YARNRPC兼容性和扩展性差等问题。RPC库：YAR

也是知识，要了解URL：https://zhuanlan.zhihu.com/p/459444652为什么我们需要不同的文件格式？对于MapReduce和Spark等支持HDFS的应用程序来说，一个巨大的瓶颈是在特定位置查找相关数据所需的时间以及将数据写回另一个位置所需的时间。这些问题随着管理大型数据集的困难而变得复杂，例如不断发展的模式或存储限制。在处理大数据时，存储此类数据所需的成本更高（Hadoop冗余存储数据以实现容错）。除了存储成本之外，处理数据还伴随着CPU、网络、IO成本等。随着数据的增加，处理和存储的成本也随之增加。各种Hadoop文件格式在数据工程解决方案中得到了发展，以缓解

也是知识，要了解URL：https://zhuanlan.zhihu.com/p/459444652为什么我们需要不同的文件格式？对于MapReduce和Spark等支持HDFS的应用程序来说，一个巨大的瓶颈是在特定位置查找相关数据所需的时间以及将数据写回另一个位置所需的时间。这些问题随着管理大型数据集的困难而变得复杂，例如不断发展的模式或存储限制。在处理大数据时，存储此类数据所需的成本更高（Hadoop冗余存储数据以实现容错）。除了存储成本之外，处理数据还伴随着CPU、网络、IO成本等。随着数据的增加，处理和存储的成本也随之增加。各种Hadoop文件格式在数据工程解决方案中得到了发展，以缓解