草庐IT

视频直播美颜SDK算法代码解析

美狐美颜sdk 2023-09-13 原文

随着短视频、直播软件一类app的流行，美颜sdk的应用也越来越广泛。所谓“美颜”，简单解释下，就是通过视频（图片）技术对人脸进行美化。但是就“美化”这个词，却牵扯到众多深度学习、图像处理、图像学技术。今天小编就给大家讲讲，美颜sdk的基础技术、算法原理，以及代码相关的知识。

一、人脸检测

美颜sdk中所用到的人脸检测技术指的是对视频中、图片中的人脸进行检测，并且准确定位人脸的位置。而人脸检测主要的技术难点在于，如何在特定光照条件，人脸姿态变化、人脸表情变化、遮挡等情况下，从视频或图片中检测出人脸。而人脸检测的发展时期也分为两个时期，一个是深度学习时期。在深度学习之前，人脸检测主要是套用人工设计好的特征，根据人工特征来训练检测器来检测人脸。但当深度学习在计算机视觉领域占据绝对主导地位之后，人们便开始尝试用深度神经网络来训练人脸检测模型。

二、人脸关键点定位

这种技术是对人脸中眉毛、眼睛、鼻子、嘴巴以及脸部的轮廓进行定位。它是紧接在人脸检测后，首先在视频或者图片中检测到人脸，然后才对检测到的人脸做关键点定位。人脸关键点定位技术同人脸检测技术一样，在实际应用中，也存在人脸的尺度、光照、表情、姿态、遮挡等问题，因此绝大多数视频或者图片获得准确的人脸关键点，也是一个比较难的任务。
三、代码解析
//
// MGDetectRect.h
// MGFacepp
//
// Created by Megvii on 2017/10/18.
// Copyright © 2017年 megvii. All rights reserved.
//

#import <Foundation/Foundation.h>
#import <UIKit/UIKit.h>

typedef NS_ENUM(NSInteger, MGOrientation) {
MGOrientationLeft,
MGOrientationUp,
MGOrientationRight,
MGOrientationDown,
};

@interface MGDetectRectInfo : NSObject

@property (nonatomic, assign) float confidence;

@property (nonatomic, assign) float angle;

@property (nonatomic, assign) MGOrientation orient;

@property (nonatomic, assign) CGRect rect;

@end

相同的，人脸关键点定位技术的发展，也可分为深度学习前的时期和深度学习时期：在前期，传统的人脸关键点技术，包含主动形状模型（ASM），主动外观模型（AAM）等，而后期神经网络技术的发展，也使得人脸关键点检测逐渐建立在此技术上。当有了关键点后，美颜sdk中的瘦脸、磨皮、美白等“美颜”操作才能正常进行。这些算法一般都应用在手机等移动设备中，例如在Android上可以使用OpenGL ES，在iOS上可以使用Metal根据人脸关键点的位置，对人脸进行瘦脸、磨皮、美白等渲染。

综上，这就是美颜sdk中所用到的基本技术和相关的算法原理，由于篇幅原因，关于磨皮，美白等方面的详解将放到下期再进行讲解。如果您对美颜sdk开发感兴趣，欢迎咨询官方客服。

声明：本文由美狐原创，未经允许禁止转载，谢谢合作。

视频直播SDKxff0cxff0xff算法音视频人工智能计算机视觉图像处理

有关视频直播美颜SDK算法代码解析的更多相关文章

  1. Ruby 解析字符串 - 2

    我有一个字符串input="maybe(thisis|thatwas)some((nice|ugly)(day|night)|(strange(weather|time)))"Ruby中解析该字符串的最佳方法是什么？我的意思是脚本应该能够像这样构建句子:maybethisissomeuglynightmaybethatwassomenicenightmaybethiswassomestrangetime等等，你明白了......我应该一个字符一个字符地读取字符串并构建一个带有堆栈的状态机来存储括号值以供以后计算，还是有更好的方法？也许为此目的准备了一个开箱即用的库？

  2. ruby - 如何在 buildr 项目中使用 Ruby 代码？ - 2

    如何在buildr项目中使用Ruby？我在很多不同的项目中使用过Ruby、JRuby、Java和Clojure。我目前正在使用我的标准Ruby开发一个模拟应用程序，我想尝试使用Clojure后端(我确实喜欢功能代码)以及JRubygui和测试套件。我还可以看到在未来的不同项目中使用Scala作为后端。我想我要为我的项目尝试一下buildr(http://buildr.apache.org/)，但我注意到buildr似乎没有设置为在项目中使用JRuby代码本身!这看起来有点傻，因为该工具旨在统一通用的JVM语言并且是在ruby中构建的。除了将输出的jar包含在一个独特的、仅限ruby​​

  3. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  4. ruby-on-rails - Rails 源代码 : initialize hash in a weird way? - 2

    在rails源中:https://github.com/rails/rails/blob/master/activesupport/lib/active_support/lazy_load_hooks.rb可以看到以下内容@load_hooks=Hash.new{|h,k|h[k]=[]}在IRB中，它只是初始化一个空哈希。和做有什么区别@load_hooks=Hash.new 最佳答案 查看rubydocumentationforHashnew→new_hashclicktotogglesourcenew(obj)→new_has

  5. ruby - 用逗号、双引号和编码解析 csv - 2

    我正在使用ruby​​1.9解析以下带有MacRoman字符的csv文件#encoding:ISO-8859-1#csv_parse.csvName,main-dialogue"Marceu","Giveittohimóhe,hiswife."我做了以下解析。require'csv'input_string=File.read("../csv_parse.rb").force_encoding("ISO-8859-1").encode("UTF-8")#=>"Name,main-dialogue\r\n\"Marceu\",\"Giveittohim\x97he,hiswife.\"\

  6. ruby - 我可以使用 aws-sdk-ruby 在 AWS S3 上使用事务性文件删除/上传吗？ - 2

    我发现ActiveRecord::Base.transaction在复杂方法中非常有效。我想知道是否可以在如下事务中从AWSS3上传/删除文件:S3Object.transactiondo#writeintofiles#raiseanexceptionend引发异常后，每个操作都应在S3上回滚。S3Object这可能吗？？ 最佳答案 虽然S3API具有批量删除功能，但它不支持事务，因为每个删除操作都可以独立于其他操作成功/失败。该API不提供任何批量上传功能(通过PUT或POST)，因此每个上传操作都是通过一个独立的API调用完成的

  7. ruby-on-rails - 浏览 Ruby 源代码 - 2

    我的主要目标是能够完全理解我正在使用的库/gem。我尝试在Github上从头到尾阅读源代码，但这真的很难。我认为更有趣、更温和的踏脚石就是在使用时阅读每个库/gem方法的源代码。例如，我想知道RubyonRails中的redirect_to方法是如何工作的:如何查找redirect_to方法的源代码？我知道在pry中我可以执行类似show-methodmethod的操作，但我如何才能对Rails框架中的方法执行此操作？您对我如何更好地理解Gem及其API有什么建议吗？仅仅阅读源代码似乎真的很难，尤其是对于框架。谢谢! 最佳答案 Ru

  8. ruby - 模块嵌套代码风格偏好 - 2

    我的假设是moduleAmoduleBendend和moduleA::Bend是一样的。我能够从thisblog找到解决方案,thisSOthread和andthisSOthread.为什么以及什么时候应该更喜欢紧凑语法A::B而不是另一个，因为它显然有一个缺点？我有一种直觉，它可能与性能有关，因为在更多命名空间中查找常量需要更多计算。但是我无法通过对普通类进行基准测试来验证这一点。 最佳答案 这两种写作方法经常被混淆。首先要说的是，据我所知，没有可衡量的性能差异。(在下面的书面示例中不断查找)最明显的区别，可能也是最著名的，是你的

  9. ruby - 寻找通过阅读代码确定编程语言的ruby gem？ - 2

    几个月前，我读了一篇关于ruby​​gem的博客文章，它可以通过阅读代码本身来确定编程语言。对于我的生活，我不记得博客或gem的名称。谷歌搜索“ruby编程语言猜测”及其变体也无济于事。有人碰巧知道相关gem的名称吗？ 最佳答案 是这个吗:http://github.com/chrislo/sourceclassifier/tree/master 关于ruby-寻找通过阅读代码确定编程语言的rubygem？，我们在StackOverflow上找到一个类似的问题：

  10. ruby - Net::HTTP 获取源代码和状态 - 2

    我目前正在使用以下方法获取页面的源代码:Net::HTTP.get(URI.parse(page.url))我还想获取HTTP状态，而无需发出第二个请求。有没有办法用另一种方法做到这一点？我一直在查看文档，但似乎找不到我要找的东西。 最佳答案 在我看来，除非您需要一些真正的低级访问或控制，否则最好使用Ruby的内置Open::URI模块:require'open-uri'io=open('http://www.example.org/')#=>#body=io.read[0,50]#=>"["200","OK"]io.base_ur

随机推荐