文章目录
最近看了36氪最新发布的 “重温父辈的爱情,揭秘AI还原老照片背后的技术”分享视频,视频中一张张年代久远的黑白结婚照,通过应用 HMS Core的技术进行AI着色、再进行一键微笑处理,就使得这些承载着记忆的老照片焕发了新的光彩,更加生动鲜活。

作为 AI 领域图像算法工程师,博主墨理,一直在持续关注和追踪业界最新的前沿技术,随着近些年、AI着色、老照片还原、人脸表情编辑、视频清晰化等 AI 技术的飞速发展,各大厂商也相继提供了 AI开放平台 供用户和开发者体验使用。
本文将以我所关注到的华为的HMS Core 视频编辑服务(Video Editor Kit)为支点, 为大家简要介绍 AI 媒体领域相关技术,并就 华为、百度、阿里、字节、Adobe 等知名企业的 AI 相关技术(AI 着色、一键微笑) 的效果展开初步体验和评测 。
当前AI着色技术在互联网视频处理、图像处理 App 和 软件(Adobe Photoshop) 中都有相应落地场景,带给用户多彩的 AI 技术体验。
本次评测所用到的主要AI着色能力如下
采用的测评方式如下






从以上的示例图像着色对比中,总结如下:
当前通过AI着色模型推理渲染得到一张视觉效果良好、且着色效果符合或者接近实际场景的图像,目前从技术上而言关键瓶颈已经突破;
Adobe Photoshop 作为专业的图像处理软件,他们的AI着色技术也相当给力,在此次对比中可以看到 Adobe 在人像着色场景中表现相当优异;另外百度在着色夜景时也没有出现偏色的情况;而阿里在着色香蕉时,饱和度高,色彩鲜艳明亮。华为 HMS Core的 AI着色 技术 对主体突出的图片着色效果较好,生成的图像,着色更加准确自然,无论是在风景、人像、动物、植物等多种场景都准确识别物体,并保证着色合理自然;
相对于其它几家着色效果而言,华为 HMS Core的AI着色 技术相对更加稳定,在大部分场景任务下,都能够较好地对灰度图像进行合理地着色,生成得到更为合理和自然的着色图像。
在36氪的视频中介绍中,我了解到了华为是如何优化AI着色效果的:
另外,从技术上,我们可以看到,就目前而言,无论是华为、还是百度、阿里、Abode,当前的AI着色,都没有做到着色后的图像和原图色彩度的完全一致,那是因为AI其实无法准确获知物体的原色,而着色的最终目的并非一定要100%还原真实颜色,而是保证还原着色的合理性即可。
人脸属性编辑,即改变人脸的某些属性,比如姿态、年龄等,或者将人脸图转变为具有特定风格的图像(人脸化妆去妆、人脸年龄的更改、人脸卡通头像生成、换脸等)。这项技术当下在人机交互、短视频等娱乐社交领域有着广泛应用。笔者此次主要关注了人脸编辑中的一键微笑任务。
华为一键微笑技术在实际图像应用场景中,能够自动检测用户照片中的人像,对表情进行修改,提升开心程度;可由不笑到抿嘴微笑,也可张嘴露齿。

下面选用不同年龄段的正面人脸示例图像,分别采用华为、字节、美图等平台的微笑人脸生成技术进行一键微笑测试、生成效果汇总如下:

从生成效果可以看到:
字节对于年轻女性的微笑处理较为合理;美图对于三张图片的微笑处理较为含蓄,虽然没有露齿笑,但在微笑生成过程中用户可以自由调节微笑程度;华为的人脸表情更为自然,既可以做到自然露齿而笑,也不会让人有整个上牙龈过度露出的感觉(儿童照片的一键微笑对比中,明显可以看到华为一键微笑生成得到的孩子的牙齿更符合其年龄特征),而且可以做到在原有表情的基础上增加合理的开心程度。另外,华为的一键微笑没有过分扭曲的现象,除了面部关键部位特征外的其他区域很好地得到了保留。

对于人脸微笑编辑生成任务而言,高质量真实人脸数据库的缺失属于当下的一个主要技术难点。我了解到:华为 HMS Core 研发团队基于多年对人脸生成模型的研发和积淀,结合算法利用部分真实人脸图片,生成大量的虚拟人脸数据集从而解决了数据集获取困难的问题。庞大的高质量人脸数据库是算法模型良好训练的基础,数据集中包含的人脸越多越丰富,AI算法就能学到越多的人脸特征,让输出结果更精准。
同时,从本次测评图像对比中也可以看到,并非所有图像都适合一次性编辑到开口大笑的状态,华为算法模型能够自动挖掘微笑表情控制特征,进而能够较好的匹配当前图像的面部表情,使得每次微笑编辑都是在原有图像尺度上增加开心程度,生成一系列不同开心程度的笑脸(又叫“开心数据对”)。而在微笑人脸生成过程中,华为自研算法模型能够非常好地控制编辑区,保证其他无关区域不被修改。最终,挑选出最像本人、最自然的笑容。
本章节,为大家简单介绍 HMS Core 视频编辑服务 的强大 AI 视频图像处理能力:


目前,HMS Core提供了两种视频编辑服务的集成方式,开发者可根据使用场景选择不同的集成方式获取视频编辑能力。
1、视频编辑UI SDK,提供产品级UI界面,集成简单;
2、视频编辑原子能力SDK,提供数百个底层能力接口,包含多个AI算法能力接口,可根据业务场景灵活选择。
优秀的视频编辑服务,不仅能够记录我们现在的生活,还能够让我们穿越过去,和时空对话。对视频剪辑、AI 着色、一键微笑等技术感兴趣的小伙伴们可以 登录 华为开发者联盟官网-视频编辑服务,实测仅需几分钟,即可上手 HMS Core 的视频编辑能力,用 AI 点亮记忆中的美好瞬间。

此次博文分享,希望能够带给大家一些 AI 技术上的知识拓展
各位在 AI 之路上摸爬滚打的小伙伴们,我们一起加油,砥砺前行,相信终将迎来属于 AI 时代的绚烂多姿
作为全网最为干货的 AI 博主之一,为感谢各位读者大大长期以来的支持和关注,义务帮助3位读者进行一张老照片还原处理(直接和博主墨理私信即可)
最后做个总结,借助 华为 HMS Core视频编辑服务,我们(AI 应用开发者)可以做些什么有趣的事情呢

喜欢,就请点赞、关注哦,一起学习更多有趣 A I

我有带有Logo图像的公司模型has_attached_file:logo我用他们的Logo创建了许多公司。现在,我需要添加新样式has_attached_file:logo,:styles=>{:small=>"30x15>",:medium=>"155x85>"}我是否应该重新上传所有旧数据以重新生成新样式?我不这么认为……或者有什么rake任务可以重新生成样式吗? 最佳答案 参见Thumbnail-Generation.如果rake任务不适合你,你应该能够在控制台中使用一个片段来调用重新处理!关于相关公司
前言作为一名程序员,自己的本质工作就是做程序开发,那么程序开发的时候最直接的体现就是代码,检验一个程序员技术水平的一个核心环节就是开发时候的代码能力。众所周知,程序开发的水平提升是一个循序渐进的过程,每一位程序员都是从“菜鸟”变成“大神”的,所以程序员在程序开发过程中的代码能力也是根据平时开发中的业务实践来积累和提升的。提高代码能力核心要素程序员要想提高自身代码能力,尤其是新晋程序员的代码能力有很大的提升空间的时候,需要针对性的去提高自己的代码能力。提高代码能力其实有几个比较关键的点,只要把握住这些方面,就能很好的、快速的提高自己的一部分代码能力。1、多去阅读开源项目,如有机会可以亲自参与开源
其实做自媒体的成本并不高,入门只需要一部手机即可!在手机上找视频素材、使用手机剪辑视频、最后使用手机发布视频作品获得收益!方法并不难,今天这期内容就来给粉丝们分享一种小方法,每天稳定收益100-300,抓紧点赞收藏!1、找素材(1)使用手机拍摄自己喜欢的经典段落,使用程序把文案内容提取出来(2)也可以在豆瓣、知乎、微博等网站中找一些自己需要的文案素材(3)把文案进行润色修改,可以加入一些自己的观点(4)视频素材可以使用软件中自带的素材,也可以在素材网站中下载完整版的素材2、文案配音(1)把复制好的文案直接导入小程序中(2)调整音色、音调后一键合成音频即可(3)可以选择自己朗读配音,需要花一点时
我正在尝试使用Ruby2.0.0和Rails4.0.0提供的API从imgur中提取图像。我已尝试按照Ruby2.0.0文档中列出的各种方式构建http请求,但均无济于事。代码如下:require'net/http'require'net/https'defimgurheaders={"Authorization"=>"Client-ID"+my_client_id}path="/3/gallery/image/#{img_id}.json"uri=URI("https://api.imgur.com"+path)request,data=Net::HTTP::Get.new(path
2022/8/4更新支持加入水印水印必须包含透明图像,并且水印图像大小要等于原图像的大小pythonconvert_image_to_video.py-f30-mwatermark.pngim_dirout.mkv2022/6/21更新让命令行参数更加易用新的命令行使用方法pythonconvert_image_to_video.py-f30im_dirout.mkvFFMPEG命令行转换一组JPG图像到视频时,是将这组图像视为MJPG流。我需要转换一组PNG图像到视频,FFMPEG就不认了。pyav内置了ffmpeg库,不需要系统带有ffmpeg工具因此我使用ffmpeg的python包装p
有这样的事吗?我想在Ruby程序中使用它。 最佳答案 试试这个http://csl.sublevel3.org/jp2a/此外,Imagemagick可能还有一些东西 关于ruby-是否有将图像文件转换为ASCII艺术的命令行程序或库?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/6510445/
我正在使用Dragonfly在Rails3.1应用程序上处理图像。我正在努力通过url将图像分配给模型。我有一个很好的表格:{:multipart=>true}do|f|%>RemovePicture?Dragonfly的文档指出:Dragonfly提供了一个直接从url分配的访问器:@album.cover_image_url='http://some.url/file.jpg'但是当我在控制台中尝试时:=>#ruby-1.9.2-p290>picture.image_url="http://i.imgur.com/QQiMz.jpg"=>"http://i.imgur.com/QQ
我对图像处理完全陌生。我对JPEG内部是什么以及它是如何工作一无所知。我想知道,是否可以在某处找到执行以下简单操作的ruby代码:打开jpeg文件。遍历每个像素并将其颜色设置为fx绿色。将结果写入另一个文件。我对如何使用ruby-vips库实现这一点特别感兴趣https://github.com/ender672/ruby-vips我的目标-学习如何使用ruby-vips执行基本的图像处理操作(Gamma校正、亮度、色调……)任何指向比“helloworld”更复杂的工作示例的链接——比如ruby-vips的github页面上的链接,我们将不胜感激!如果有ruby-
Organization和Image具有一对一的关系。Image有一个名为filename的列,它存储文件的路径。我在Assets管道中包含这样一个文件:app/assets/other/image.jpg。播种时如何包含此文件的路径?我已经在我的种子文件中尝试过:@organization=...@organization.image.create!(filename:File.open('app/assets/other/image.jpg'))#Ialsotried:#@organization.image.create!(filename:'app/assets/other/i
默认情况下:回形针gem将所有附件存储在公共(public)目录中。出于安全原因,我不想将附件存储在公共(public)目录中,所以我将它们保存在应用程序根目录的uploads目录中:classPost我没有指定url选项,因为我不希望每个图像附件都有一个url。如果指定了url:那么拥有该url的任何人都可以访问该图像。这是不安全的。在user#show页面中:我想实际显示图像。如果我使用所有回形针默认设置,那么我可以这样做,因为图像将在公共(public)目录中并且图像将具有一个url:Someimage:看来,如果我将图像附件保存在公共(public)目录之外并且不指定url(同