对数据集的shuffle处理需要设置相应的buffer_size参数，相当于需要将相应数目的样本读入内存，且这部分内存会在训练过程中一直保持占用。完全的shuffle需要将整个数据集读入内存，这在大规模数据集的情况下是不现实的，故需要结合设备内存以及Batch大小将TFRecord文件随机划分为多个子文件，再对数据集做localshuffle（即设置相对较小的buffer_size，不小于单个子文件的样本数）。Shuffle和划分下文以一个异常检测数据集（正负样本不平衡）为例，在生成第一批TFRecord时，我将正负样本分别写入单独的TFrecord文件以备后续在对正负样本有不同处理策略的情况

对数据集的shuffle处理需要设置相应的buffer_size参数，相当于需要将相应数目的样本读入内存，且这部分内存会在训练过程中一直保持占用。完全的shuffle需要将整个数据集读入内存，这在大规模数据集的情况下是不现实的，故需要结合设备内存以及Batch大小将TFRecord文件随机划分为多个子文件，再对数据集做localshuffle（即设置相对较小的buffer_size，不小于单个子文件的样本数）。Shuffle和划分下文以一个异常检测数据集（正负样本不平衡）为例，在生成第一批TFRecord时，我将正负样本分别写入单独的TFrecord文件以备后续在对正负样本有不同处理策略的情况

ProtocolbuffersareGoogle'slanguage-neutral,platform-neutral,extensiblemechanismforserializingstructureddata.Protocolbuffers是由Google设计的无关程序语言、平台的、具有可扩展性机制的序列化数据结构。Thetf.train.Examplemessage(orprotosun)isaflexiblemessagetypethatrepresentsa{"string":value}mapping.ItisdesignedforusewithTensorFlowandisus

ProtocolbuffersareGoogle'slanguage-neutral,platform-neutral,extensiblemechanismforserializingstructureddata.Protocolbuffers是由Google设计的无关程序语言、平台的、具有可扩展性机制的序列化数据结构。Thetf.train.Examplemessage(orprotosun)isaflexiblemessagetypethatrepresentsa{"string":value}mapping.ItisdesignedforusewithTensorFlowandisus