人脸关键点检测指的是用于标定人脸五官和轮廓位置的一系列特征点的检测，是对于人脸形状的稀疏表示。关键点的精确定位可以为后续应用提供十分丰富的信息。因此，人脸关键点检测是人脸分析领域的基础技术之一。许多应用场景(如人脸识别、人脸三维重塑、表情分析等)均将人脸关键点检测作为其前序步骤来实现。本文将通过深度学习的方法来搭建一个人脸关键点检测模型。
1995年，Cootes提出 ASM(active shape model) 模型用于人脸关键点检测，掀起了一波持续多年的研究浪潮。这一阶段的检测算法常常被称为传统方法。2012年,AlexNet 在 ILSVRC 中力压榜眼夺冠，将深度学习带进人们的视野。随后 Sun 等在 2013 年提出了 DCNN 模型，首次将深度方法应用于人脸关键点检测。自此，深度卷积神经网络成为人脸关键点检测的主流工具。本期主要使用 Keras 框架来搭建深度模型。
目前，开源的人脸关键点数据集有很多。例如AFLW、300W、MTFL/MAFL 等，关键点个数也从 5 个到上千个不等。本章中采用的是 CVPR 2018 论文Look at Boundary: A Boundary-Aware Face Alignment Algorithm中提出的 WFLW(wider facial landmarks in-the-wild) 数据集。这一数据集包含了 10000 张人脸信息，其中 7500 张用于训练，剩余 2500 张用于测试。每张人脸图片被标注以 98 个关键点，人脸关键点分布如图1所示。
■ 图1 人脸关键点分布
由于关键点检测在人脸分析任务中的基础性地位，工业界往往拥有标注了更多关键点的数据集。但是由于其商业价值，这些信息一般不会被公开，因此目前开源的数据集还是以 5 点和 68 点为主。在本项目中使用的 98 点数据集不仅能够更加精确地训练模型，同时还可以更加全面地对模型表现进行评估。
然而另一方面，数据集中的图片并不能直接作为模型输入。对于模型来说，输入图片应该是等尺寸且仅包含一张人脸的。但是数据集中的图片常常会包含多个人脸，这就需要首先对数据集进行预处理，使之符合模型的输入要求。
数据集中已经提供了每张人脸所处的矩形框，可以据此确定人脸在图像中的位置，人脸矩形框示意如图2所示。但是直接按照框选部分进行裁剪会导致两个问题：一是矩形框的尺寸不同，裁剪后的图片还是无法作为模型输入；二是矩形框只能保证将关键点包含在内，耳朵、头发等其他人脸特征则排除在外，不利于训练泛化能力强的模型。
■ 图2 人脸矩形框示意
为了解决上述的第一个问题，将矩形框放大为方形框，因为方形图片容易进行等比例缩放而不会导致图像变形。对于第二个问题，则单纯地将方形框的边长延长为原来的1.5倍，以包含更多的脸部信息。相关代码如代码清单1所示。
代码清单1
代码清单1以及其余的全部代码中涉及的 image 对象均为 PIL.Image 类型。PIL(python imaging library) 是一个第三方模块，但是由于其强大的功能与广泛的用户基础，几乎已经被认为是 Python 官方图像处理库了。PIL 不仅为用户提供了 jpg、png、gif 等多种图片类型的支持，还内置了十分强大的图片处理工具集。上面提到的 Image 类型是 PIL 最重要的核心类，除了具备裁剪 (crop) 功能外，还拥有创建缩略图(thumbnail)、通道分离 (split) 与合并 (merge)、缩放 (resize)、转置 (transpose) 等功能。下面给出一个图片缩放的例子，如代码清单2所示。
代码清单2
代码清单2将人脸图片和关键点坐标一并缩放至 128×128px。在 Image.resize（）函数的调用中，第一个参数表示缩放的目标尺寸，第二个参数表示缩放所使用的过滤器类型。在默认情况下，过滤器会选用 Image.NEAREST ，其特点是压缩速度快但压缩效果较差。因此，PIL官方文档中建议是如果对于图片处理速度的要求不是那么苛刻，推荐使用 Image.ANTIALIAS 以获得更好的缩放效果。在本项目中，由于 _resize() 函数对每张人脸图片只会调用一次，因此时间复杂度并不是问题。况且图像经过缩放后还要被深度模型学习，缩放效果很可能是决定模型学习效果的关键因素，所以这里选择了 Image.ANTIALIAS 过滤器进行缩放。图2经过裁剪和缩放处理后的效果图如图3所示。
■ 图3 经过裁剪和缩放处理后的效果示意
经过裁剪和缩放处理所得到的数据集已经可以用于模型训练了，但是训练效果并不理想。对于正常图片，模型可以以较高的准确率定位人脸关键点。但是在某些过度曝光或者经过了滤镜处理的图片面前，模型就显得力不从心了。为了提高模型的准确率，这里进一步对数据集进行归一化处理。所谓归一化，就是排除某些变量的影响。例如，希望将所有人脸图片的平均亮度统一，从而排除图片亮度对模型的影响，如代码清单3所示。
代码清单3
mageStat和 ImageEnhance 分别是 PIL 中的两个工具类。顾名思义 ImageStat 可以对图片中每个通道进行统计分析，代码清单3中就对图片的三个通道分别求得了平均值；ImageEnhance 用于图像增强，常见用法包括调整图片的亮度、对比度以及锐度等。
提示/
颜色通道是一种用于保存图像基本颜色信息的数据结构。最常见的 RGB 模式图片由红、绿、蓝三种基本颜色组成。也就是说，RGB 图片中的每个像素都是用这三种颜色的亮度值来表示的。在一些印刷品的设计图中会经常遇到另一种称为 CYMK 的颜色模式，这种模式下的图片包含四个颜色通道，分别表示青、黄、红、黑。PIL 可以自动识别图片文件的颜色模式，因此多数情况下用户并不需要关心图像的颜色模式。但是在对图片应用统计分析或增强处理时，底层操作往往是针对不同通道分别完成的。为了避免因为颜色模式导致的图像失真，用户可以通过 PIL.Image.mode 属性查看被处理图像的颜色模式。
类似地，希望消除人脸朝向所带来的影响。这是因为训练集中朝向左边的人脸明显多于朝向右边的人脸，导致模型对于朝向右侧的人脸识别率较低。具体做法是随机地将人脸图片进行左右翻转，从而在概率上保证朝向不同方向的人脸图片具有近似平均的分布，如代码清单4所示。
代码清单4
图片的翻转比较容易完成，只需要调用 PIL.Image 类的转置方法即可，但是关键点的翻转则需要一些额外的操作。举例来说，左眼 96 号关键点在翻转后会成为新图片的右眼 97 号关键点(见图1)，因此其在 pts 数组中的位置也需要从 96 变为 97 。为了实现这样的功能，定义全排列向量 perm 来记录关键点的对应关系。为了方便程序调用， perm 被保存在文件中。但是如果每次调用 _fliplr()函数时都从文件中读取，显然会拖慢函数的执行；而将 perm 作为全局变量加载，又会污染全局变量空间，破坏函数的封装性。这里的解决方案是将 perm 作为函数对象 _fliplr() 的一个属性，从外部加载并始终保存在内存中，如代码清单5所示。
代码清单5
提示/
熟悉 C/C++ 的读者可能会联想到 static 修饰的静态局部变量。很遗憾的是， Python 作为动态语言是没有这种特性的。代码清单5就是为了实现类似效果所做出的一种尝试。
前面定义了对于单张图片的全部处理函数，接下来就只需要遍历数据集并调用即可，如代码清单6所示。由于训练集和测试集在 WFLW 中是分开进行存储的，但是二者的处理流程几乎相同，因此可以将其公共部分抽取出来作为 preprocess()函数进行定义。训练集和测试集共享同一个图片库，其区别仅仅在于人脸关键点的坐标以及人脸矩形框的位置，这些信息被存储在一个描述文件中。preprocess()函数接收这个描述文件流作为参数，依次处理文件中描述的人脸图片，最后将其保存到 dataset 目录下的对应位置。
代码清单6
在preprocess()函数中，将 50 个数据组成一批 (batch) 进行存储，这样做的目的是方便模型训练过程中的数据读取。在机器学习中，模型训练往往是以批为单位的，这样不仅可以提高模型训练的效率，还能充分利用 GPU 的并行能力加快训练速度。处理后的目录结构如代码清单7所示。
代码清单7
导读：随着叮咚买菜业务的发展，不同的业务场景对数据分析提出了不同的需求，他们希望引入一款实时OLAP数据库，构建一个灵活的多维实时查询和分析的平台，统一数据的接入和查询方案，解决各业务线对数据高效实时查询和精细化运营的需求。经过调研选型，最终引入ApacheDoris作为最终的OLAP分析引擎，Doris作为核心的OLAP引擎支持复杂地分析操作、提供多维的数据视图，在叮咚买菜数十个业务场景中广泛应用。作者｜叮咚买菜资深数据工程师韩青叮咚买菜创立于2017年5月，是一家专注美好食物的创业公司。叮咚买菜专注吃的事业，为满足更多人“想吃什么”而努力，通过美好食材的供应、美好滋味的开发以及美食品牌的孵
C#实现简易绘图工具一.引言实验目的:通过制作窗体应用程序(C#画图软件),熟悉基本的窗体设计过程以及控件设计,事件处理等,熟悉使用C#的winform窗体进行绘图的基本步骤,对于面向对象编程有更加深刻的体会.Tutorial任务设计一个具有基本功能的画图软件**·包括简单的新建文件,保存,重新绘图等功能**·实现一些基本图形的绘制,包括铅笔和基本形状等,学习橡皮工具的创建**·设计一个合理舒适的UI界面**注明:你可能需要先了解一些关于winform窗体应用程序绘图的基本知识,以及关于GDI+类和结构的知识二.实验环境Windows系统下的visualstudio2017C#窗体应用程序三.
目录前言滤波电路科普主要分类实际情况单位的概念常用评价参数函数型滤波器简单分析滤波电路构成低通滤波器RC低通滤波器RL低通滤波器高通滤波器RC高通滤波器RL高通滤波器部分摘自《LC滤波器设计与制作》，侵权删。前言最近需要学习放大电路和滤波电路，但是由于只在之前做音乐频谱分析仪的时候简单了解过一点点运放，所以也是相当从零开始学习了。滤波电路科普主要分类滤波器：主要是从不同频率的成分中提取出特定频率的信号。有源滤波器：由RC元件与运算放大器组成的滤波器。可滤除某一次或多次谐波，最普通易于采用的无源滤波器结构是将电感与电容串联，可对主要次谐波（3、5、7）构成低阻抗旁路。无源滤波器：无源滤波器，又称
最近在学习CAN，记录一下，也供大家参考交流。推荐几个我觉得很好的CAN学习，本文也是在看了他们的好文之后做的笔记首先是瑞萨的CAN入门，真的通透；秀！靠这篇我竟然2天理解了CAN协议！实战STM32F4CAN！原文链接：https://blog.csdn.net/XiaoXiaoPengBo/article/details/116206252CAN详解（小白教程）原文链接：https://blog.csdn.net/xwwwj/article/details/105372234一篇易懂的CAN通讯协议指南1一篇易懂的CAN通讯协议指南1-知乎(zhihu.com)视频推荐CAN总线个人知识总
深度学习部署：Windows安装pycocotools报错解决方法1.pycocotools库的简介2.pycocotools安装的坑3.解决办法更多Ai资讯：公主号AiCharm本系列是作者在跑一些深度学习实例时，遇到的各种各样的问题及解决办法，希望能够帮助到大家。ERROR:Commanderroredoutwithexitstatus1:'D:\Anaconda3\python.exe'-u-c'importsys,setuptools,tokenize;sys.argv[0]='"'"'C:\\Users\\46653\\AppData\\Local\\Temp\\pip-instal
@作者:SYFStrive @博客首页:HomePage📜：微信小程序📌：个人社区（欢迎大佬们加入）👉：社区链接🔗📌：觉得文章不错可以点点关注👉：专栏连接🔗💃：感谢支持,学累了可以先看小段由小胖给大家带来的街舞👉微信小程序（🔥）目录自定义组件-behaviors 1、什么是behaviors 2、behaviors的工作方式 3、创建behavior 4、导入并使用behavior 5、behavior中所有可用的节点 6、同名字段的覆盖和组合规则总结最后自定义组件-behaviors 1、什么是behaviorsbehaviors是小程序中，用于实现
需求：要创建虚拟机，就需要给他提供一个虚拟的磁盘，我们就在/opt目录下创建一个10G大小的raw格式的虚拟磁盘CentOS-7-x86_64.raw命令格式：qemu-imgcreate-f磁盘格式磁盘名称磁盘大小qemu-imgcreate-f磁盘格式-o?1.创建磁盘qemu-imgcreate-fraw/opt/CentOS-7-x86_64.raw10G执行效果#ls/opt/CentOS-7-x86_64.raw2.安装虚拟机使用virt-install命令，基于我们提供的系统镜像和虚拟磁盘来创建一个虚拟机，另外在创建虚拟机之前，提前打开vnc客户端，在创建虚拟机的时候，通过vnc
我正在尝试学习Ruby词法分析器和解析器(whitequarkparser)以了解更多有关从Ruby脚本进一步生成机器代码的过程。在解析以下Ruby代码字符串时。defadd(a,b)returna+bendputsadd1,2它导致以下S表达式符号。s(:begin,s(:def,:add,s(:args,s(:arg,:a),s(:arg,:b)),s(:return,s(:send,s(:lvar,:a),:+,s(:lvar,:b)))),s(:send,nil,:puts,s(:send,nil,:add,s(:int,1),s(:int,3))))任何人都可以向我解释生成的
我完全不是程序员，正在学习使用Ruby和Rails框架进行编程。我目前正在使用Ruby1.8.7和Rails3.0.3，但我想知道我是否应该升级到Ruby1.9，因为我真的没有任何升级的“遗留”成本。缺点是什么？我是否会遇到与普通gem的兼容性问题，或者甚至其他我不太了解甚至无法预料的问题？ 最佳答案 你应该升级。不要坚持从1.8.7开始。如果您发现不支持1.9.2的gem，请避免使用它们(因为它们很可能不被维护)。如果您对gem是否兼容1.9.2有任何疑问，您可以在以下位置查看:http://www.railsplugins.or
下面的代码工作正常:person={:a=>:A,:b=>:B,:c=>:C}berson={:a=>:A1,:b=>:B1,:c=>:C1}kerson=person.merge(berson)do|key,oldv,newv|ifkey==:aoldvelsifkey==:bnewvelsekeyendendputskerson.inspect但是如果我在“ifblock”中添加return，我会得到一个错误:person={:a=>:A,:b=>:B,:c=>:C}berson={:a=>:A1,:b=>:B1,:c=>:C1}kerson=person.merge(berson
