一，剪枝分类1.1，非结构化剪枝1.2，结构化剪枝1.3，本地与全局修剪二，PyTorch的剪枝2.1，pytorch剪枝工作原理2.2，局部剪枝2.2.1，局部非结构化剪枝2.2.2，局部结构化剪枝2.2.3，局部结构化剪枝示例代码2.3，全局非结构化剪枝三，总结参考资料一，剪枝分类所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差（weigths/bias）的模型压缩技术。关于什么参数才是“不必要的”，这是一个目前依然在研究的领域。1.1，非结构化剪枝非结构化剪枝（UnstructuredPuning）是指修剪参数的单个元素，比如全连接层中的单个权重、卷积层中的单个卷积核参数元素
最近从一个朋友那里看到了一些基恩士的资料，本来是想看下那个比较有特色的浓淡补正滤波器的（因为名字叫ShadingCorrectionFilter,翻译过来的意思有点搞笑），不过看到起相关文档的附近有一个也比价有意思的功能，如下面的截图所示： 左侧有个叫RemovingBackGroundInformation的算法，看测试图片，他能够把背景的纹理去除，然后只留下一些细小的线条特征。在我的已经实现的算法里，也确实有一个菜单叫做RemoveBackGruond，尝试利用那个算法对这个图像进行处理，可以得到如下所示图像： 结果也相当不错。 在基恩士里这个功能的结果大概如
最近从一个朋友那里看到了一些基恩士的资料，本来是想看下那个比较有特色的浓淡补正滤波器的（因为名字叫ShadingCorrectionFilter,翻译过来的意思有点搞笑），不过看到起相关文档的附近有一个也比价有意思的功能，如下面的截图所示： 左侧有个叫RemovingBackGroundInformation的算法，看测试图片，他能够把背景的纹理去除，然后只留下一些细小的线条特征。在我的已经实现的算法里，也确实有一个菜单叫做RemoveBackGruond，尝试利用那个算法对这个图像进行处理，可以得到如下所示图像： 结果也相当不错。 在基恩士里这个功能的结果大概如
摘要：模型压缩算法旨在将一个大模型转化为一个精简的小模型。工业界的模型压缩方法有：知识蒸馏、轻量化模型架构、剪枝、量化。本文分享自华为云社区《深度学习模型压缩方法综述》，作者：嵌入式视觉。一，模型压缩技术概述因为嵌入式设备的算力和内存有限，因此深度学习模型需要经过模型压缩后，方才能部署到嵌入式设备上。在一定程度上，网络越深，参数越多，模型也会越复杂，但其最终效果也越好。而模型压缩算法是旨在将一个庞大而复杂的预训练模型转化为一个精简的小模型。本文介绍了卷积神经网络常见的几种压缩方法。按照压缩过程对网络结构的破坏程度，《解析卷积神经网络》一书中将模型压缩技术分为“前端压缩”和“后端压缩”两部分:前
摘要：模型压缩算法旨在将一个大模型转化为一个精简的小模型。工业界的模型压缩方法有：知识蒸馏、轻量化模型架构、剪枝、量化。本文分享自华为云社区《深度学习模型压缩方法综述》，作者：嵌入式视觉。一，模型压缩技术概述因为嵌入式设备的算力和内存有限，因此深度学习模型需要经过模型压缩后，方才能部署到嵌入式设备上。在一定程度上，网络越深，参数越多，模型也会越复杂，但其最终效果也越好。而模型压缩算法是旨在将一个庞大而复杂的预训练模型转化为一个精简的小模型。本文介绍了卷积神经网络常见的几种压缩方法。按照压缩过程对网络结构的破坏程度，《解析卷积神经网络》一书中将模型压缩技术分为“前端压缩”和“后端压缩”两部分:前
摘要：所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差的模型压缩技术。本文分享自华为云社区《模型压缩-pytorch中的模型剪枝方法实践》，作者：嵌入式视觉。一，剪枝分类所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差（weigths/bias）的模型压缩技术。关于什么参数才是“不必要的”，这是一个目前依然在研究的领域。1.1，非结构化剪枝非结构化剪枝（UnstructuredPuning）是指修剪参数的单个元素，比如全连接层中的单个权重、卷积层中的单个卷积核参数元素或者自定义层中的浮点数（scalingfloats）。其重点在于，剪枝权重对象是随机的，没有特定结构，因
摘要：所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差的模型压缩技术。本文分享自华为云社区《模型压缩-pytorch中的模型剪枝方法实践》，作者：嵌入式视觉。一，剪枝分类所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差（weigths/bias）的模型压缩技术。关于什么参数才是“不必要的”，这是一个目前依然在研究的领域。1.1，非结构化剪枝非结构化剪枝（UnstructuredPuning）是指修剪参数的单个元素，比如全连接层中的单个权重、卷积层中的单个卷积核参数元素或者自定义层中的浮点数（scalingfloats）。其重点在于，剪枝权重对象是随机的，没有特定结构，因
在搜索推荐中，通常使用相似Embedding进行推荐，此时就会有一个问题：如何快速找到与一个Embedding相近的其他Embedding如果两个Embedding在同一个向量空间中，我们就可以通过很多种方式（内积、余弦、欧氏距离等）计算其相似度；例如在推荐系统中，用户和物品的Embedding都在同一个空间中，物品总数为\(n\)，那么计算一个用户和所以物品向量相似度的时间复杂度是\(O(n)\)，而\(n\)通常都能达到百万甚至上亿，这样的计算方式是无法接受的；1朴素方法1.1聚类如果将相似点聚类在一起，在检索相似向量的时候则可以快速缩小范围，只计算目标Embedding所在的聚类范围内的
在搜索推荐中，通常使用相似Embedding进行推荐，此时就会有一个问题：如何快速找到与一个Embedding相近的其他Embedding如果两个Embedding在同一个向量空间中，我们就可以通过很多种方式（内积、余弦、欧氏距离等）计算其相似度；例如在推荐系统中，用户和物品的Embedding都在同一个空间中，物品总数为\(n\)，那么计算一个用户和所以物品向量相似度的时间复杂度是\(O(n)\)，而\(n\)通常都能达到百万甚至上亿，这样的计算方式是无法接受的；1朴素方法1.1聚类如果将相似点聚类在一起，在检索相似向量的时候则可以快速缩小范围，只计算目标Embedding所在的聚类范围内的
前言近些日子在很多线上比赛中都遇到了smc文件加密技术,比较出名的有Hgame杭电的比赛,于是我准备实现一下这项技术，但是在网上看了很多文章，发现没有讲的特别详细的，或者是无法根据他们的方法进行实现这项技术，因此本篇文章就是分享我在学习以及尝试smc文件加密技术时所遇到的麻烦以及心得。该篇文章将会从我学习这项技术的视角，讲述我屡次失败的经历，一点点深入。SMC局部代码加密技术简介：SMC（Software-BasedMemoryEncryption）是一种局部代码加密技术，它可以将一个可执行文件的指定区段进行加密，使得黑客无法直接分析区段内的代码，从而增加恶意代码分析难度和降低恶意攻击成功的可
