一，前言学术界的SOTA模型在落地部署到工业界应用到过程中，通常是要面临着低延迟（Latency）、高吞吐（Throughpout）、高效率（Efficiency）挑战的。而模型压缩算法可以将一个庞大而复杂的预训练模型转化为一个精简的小模型，从而减少对硬件的存储、带宽和计算需求，以达到加速模型推理和落地的目的。近年来主流的模型压缩方法包括：数值量化（DataQuantization，也叫模型量化），模型稀疏化（Modelsparsification，也叫模型剪枝ModelPruning），知识蒸馏（KnowledgeDistillation），**轻量化网络设计（LightweightNetw

一，前言学术界的SOTA模型在落地部署到工业界应用到过程中，通常是要面临着低延迟（Latency）、高吞吐（Throughpout）、高效率（Efficiency）挑战的。而模型压缩算法可以将一个庞大而复杂的预训练模型转化为一个精简的小模型，从而减少对硬件的存储、带宽和计算需求，以达到加速模型推理和落地的目的。近年来主流的模型压缩方法包括：数值量化（DataQuantization，也叫模型量化），模型稀疏化（Modelsparsification，也叫模型剪枝ModelPruning），知识蒸馏（KnowledgeDistillation），**轻量化网络设计（LightweightNetw

这几天在参加52cto博客年度博主和年度博文评选活动，希望各位读者可以帮忙投下票。点拉票可以多投2票，每天都可以投。年度博主https://blog.51cto.com/activity-selection?key=0310_0年度博文https://blog.51cto.com/activity-selection?key=0305_1一，剪枝分类所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差（weigths/bias）的模型压缩技术。关于什么参数才是“不必要的”，这是一个目前依然在研究的领域。1.1，非结构化剪枝非结构化剪枝（UnstructuredPuning）是指修剪参数

这几天在参加52cto博客年度博主和年度博文评选活动，希望各位读者可以帮忙投下票。点拉票可以多投2票，每天都可以投。年度博主https://blog.51cto.com/activity-selection?key=0310_0年度博文https://blog.51cto.com/activity-selection?key=0305_1一，剪枝分类所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差（weigths/bias）的模型压缩技术。关于什么参数才是“不必要的”，这是一个目前依然在研究的领域。1.1，非结构化剪枝非结构化剪枝（UnstructuredPuning）是指修剪参数