内容来源：华为开发者大会2021 HMS Core 6 AI技术论坛，主题演讲《MindSpore联邦学习框架解决隐私合规下的数据孤岛问题》。
演讲嘉宾：华为MindSpore联邦学习工程师
大家都知道，人工智能的发展离不开广泛的数据支撑。数据是基础，也是关键。但行业中小规模、碎片化，亦是大规模、高质量的数据都很难获取，涉及到工程、监管和隐私合规多方面的问题。这也就导致人工智能产业面临数据孤岛挑战，比如企业获得用户数据越来越难、企业内不同部门数据难合作、同行业企业数据难以共享、跨行业数据难以发挥价值等。
面对数据孤岛，人工智能应该怎样发展呢？联邦学习是一个能够确保数据隐私合规及模型性能的有效解决方案。
联邦学习最早由谷歌在2016年提出，一方面它是一个机器学习框架，能够有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。另一方面，联邦学习也是一种商业模式，更像是“共同富裕”的策略，能够带动跨领域的企业级数据合作，催生基于联合建模的新业态、新模式。
一般业内将联邦学习分为横向联邦学习、纵向联邦学习和联邦迁移学习三种。横向联邦学习适用于用户重叠较少，数据特征重叠较多的场景，比如谷歌最早应用在智能手机输入法联合建模上；纵向联邦学习适用于用户重叠较多，数据特征重叠较少的场景，比如一些业务垂直性强的行业；对于用户重叠和数据特征重叠都比较少的场景，我们则可以采用联邦迁移学习来建模。
那么，联邦学习在落地企业级应用时，一般会遇到哪些挑战呢？
首先是隐私安全。当前联邦学习还存在较多的安全隐患，例如投毒攻击、对抗攻击以及隐私泄露等。
其次是模型准确性。在安全业务下的样本不均衡、缺少数据标签等问题，会导致联邦聚合的效果不理想。另外，自动驾驶、医疗等行业的应用对模型精度也提出了更高的要求。
再次是通信效率。当面临千万级大规模异构终端部署时，需要应对网络不稳定、负载突变等复杂场景。大量本地模型更新的上传会对通信网络造成巨大的带宽负担。压缩算法虽然能够显著降低通信数据大小，但会严重影响模型精度。通信效率和模型精度之间的平衡成为较大挑战。
2021年6月，联邦学习框架开源。MindSpore联邦学习框架专注于横向联邦学习，支持千万级大规模异构终端部署场景，提供高性能、高可用的分布式联邦聚合计算。在隐私安全方面，数据不出设备，就可以完成本地训练。模型参数上传之前，我们还会提供多方安全计算，进行加密。在联邦效率提升方面，我们提供同步和异步两种联邦模式。此外，MindSpore联邦学习框架灵活易用，一行代码就可以切换单机训练与联邦学习模式。下面，我将从三个维度详细介绍MindSpore联邦学习框架的核心技术——
1、 安全算法增强隐私保护。传统联邦学习框架虽然数据不出端，但模型明文共享仍存在隐私泄露风险。MindSpore联邦学习框架支持基于多方安全计算和差分隐私的高效联邦安全聚合，增强了隐私保护能力。目前，这两种算法各有优势，开发者可以结合具体的应用场景选择。
2、 混合联邦训练方案提升准确性。在实际应用场景中，用户数据在客户端设备上往往没有标签，影响最终模型训练的准确性。对此，我们提供一种混合联邦训练方案，分为横向半监督学习和细粒度参数分解两种。前者将无监督学习、有监督学习结合横向联邦学习，在保护用户隐私的同时解决端侧没有标签数据的痛点；后者则根据模型和优化器的参数功能和规模，将参数分解成不同部分，再对其使用不同的传递和训练策略及方法，减少通信开销大的问题。
3、 限时通信装置解决长尾效应。在大规模并行的场景下，跨设备联邦学习的客户端数量众多且高度不可靠，因此每个训练迭代存在客户端响应不及时甚至“掉队”而导致的长尾效应，继而影响联邦学习整体训练性能。对此，我们提供限时通信装置。在每轮训练迭代中增加计时装置 ，保证计时时间窗口内的请求可以被正常处理，消除长尾效应，减少等待时间，提升训练效率。另外，时间窗口可以根据实际情况进行动态调整。
MindSpore联邦学习框架适用于终端广告的个性化推荐场景。传统的广告场景会面临许多问题与挑战，比如用户画像上，云侧无法获取手机端更丰富的特征；隐私合耦上，由于GDPR等法案对用户数据的管控，数据无法上传至中央服务器，导致传统链路无法打通；推荐效率上，从广告请求到最终广告展示需要经过诸多环节，这需要强大的工程架构来提高服务的时效性和稳定性。
MindSpore端云协同方案中的Cross-Device联邦学习框架可以打破用户与广告平台的数据壁垒，数据不用上云亦可实现联合建模。同时，我们通过小样本学习算法，充分利用端上用户特征数据及资源优化PCVR预估模型，提高广告转化率。在隐私合规的前提下，我们还支持端云协同的联合建模，以实现用户标签挖掘；在广告定向基础上于端侧进行二次推荐，提高广告转化效果。
MindSpore联邦学习框架适用于企业采集并上传大量图片、视频数据的场景。假设某公司的城市管廊项目，需要在站点上部署一些摄像头，用来做安全监控。传统方式是摄像头采集的视频数据上传到分控中心，分控中心做完数据预处理后，再传至总控中心。这一过程可能会出现两个问题：大量的数据上传会造成很大的带宽开销，成本也随之提高；数据中往往包含人脸和车辆等敏感信息，存在数据泄露的风险。
如何解决问题呢？MindSpore端云协同方案的Cross-silo联邦学习框架可以在每个站点做本地模型训练和推理，既能保证用户数据安全，还能控制带宽成本。
最后，希望开发者们可以持续关注MindSpore联邦学习框架，和我们一起构建联邦学习的生态技术，谢谢！
了解更多详情>>
访问华为开发者联盟官网
获取开发指导文档
华为移动服务开源仓库地址：GitHub、Gitee
关注我们，第一时间了解 HMS Core 最新技术资讯~
相信很多人在录制视频的时候都会遇到各种各样的问题，比如录制的视频没有声音。屏幕录制为什么没声音？今天小编就和大家分享一下如何录制音画同步视频的具体操作方法。如果你有录制的视频没有声音，你可以试试这个方法。 一、检查是否打开电脑系统声音相信很多小伙伴在录制视频后会发现录制的视频没有声音，屏幕录制为什么没声音？如果当时没有打开音频录制，则录制好的视频是没有声音的。因此，建议在录制前进行检查。屏幕上没有声音，很可能是因为你的电脑系统的声音被禁止了。您只需打开电脑系统的声音，即可录制音频和图画同步视频。操作方法：步骤1：点击电脑屏幕右下侧的“小喇叭”图案，在上方的选项中，选择“声音”。 步骤2：在“声
首先回顾一下拉格朗日定理的内容：函数f(x)是在闭区间[a,b]上连续、开区间(a,b)上可导的函数，那么至少存在一个，使得:通过这个表达式我们可以知道，f(x)是函数的主体，a和b可以看作是主体函数f(x)中所取的两个值。那么可以有， 也就意味着我们可以用来替换 这种替换可以用在求某些多项式差的极限中。方法： 外层函数f(x)是一致的，并且h(x)和g(x)是等价无穷小。此时，利用拉格朗日定理，将原式替换为 ，再进行求解，往往会省去复合函数求极限的很多麻烦。使用要注意：1.要先找到主体函数f(x)，即外层函数必须相同。2.f(x)找到后，复合部分是等价无穷小。3.要满足作差的形式。如果是加
目录前言滤波电路科普主要分类实际情况单位的概念常用评价参数函数型滤波器简单分析滤波电路构成低通滤波器RC低通滤波器RL低通滤波器高通滤波器RC高通滤波器RL高通滤波器部分摘自《LC滤波器设计与制作》，侵权删。前言最近需要学习放大电路和滤波电路，但是由于只在之前做音乐频谱分析仪的时候简单了解过一点点运放，所以也是相当从零开始学习了。滤波电路科普主要分类滤波器：主要是从不同频率的成分中提取出特定频率的信号。有源滤波器：由RC元件与运算放大器组成的滤波器。可滤除某一次或多次谐波，最普通易于采用的无源滤波器结构是将电感与电容串联，可对主要次谐波（3、5、7）构成低阻抗旁路。无源滤波器：无源滤波器，又称
最近在学习CAN，记录一下，也供大家参考交流。推荐几个我觉得很好的CAN学习，本文也是在看了他们的好文之后做的笔记首先是瑞萨的CAN入门，真的通透；秀！靠这篇我竟然2天理解了CAN协议！实战STM32F4CAN！原文链接：https://blog.csdn.net/XiaoXiaoPengBo/article/details/116206252CAN详解（小白教程）原文链接：https://blog.csdn.net/xwwwj/article/details/105372234一篇易懂的CAN通讯协议指南1一篇易懂的CAN通讯协议指南1-知乎(zhihu.com)视频推荐CAN总线个人知识总
深度学习部署：Windows安装pycocotools报错解决方法1.pycocotools库的简介2.pycocotools安装的坑3.解决办法更多Ai资讯：公主号AiCharm本系列是作者在跑一些深度学习实例时，遇到的各种各样的问题及解决办法，希望能够帮助到大家。ERROR:Commanderroredoutwithexitstatus1:'D:\Anaconda3\python.exe'-u-c'importsys,setuptools,tokenize;sys.argv[0]='"'"'C:\\Users\\46653\\AppData\\Local\\Temp\\pip-instal
Transformers开始在视频识别领域的“猪突猛进”，各种改进和魔改层出不穷。由此作者将开启VideoTransformer系列的讲解，本篇主要介绍了FBAI团队的TimeSformer，这也是第一篇使用纯Transformer结构在视频识别上的文章。如果觉得有用，就请点赞、收藏、关注！paper:https://arxiv.org/abs/2102.05095code(offical):https://github.com/facebookresearch/TimeSformeraccept:ICML2021author:FacebookAI一、前言Transformers(VIT)在图
我完全不是程序员，正在学习使用Ruby和Rails框架进行编程。我目前正在使用Ruby1.8.7和Rails3.0.3，但我想知道我是否应该升级到Ruby1.9，因为我真的没有任何升级的“遗留”成本。缺点是什么？我是否会遇到与普通gem的兼容性问题，或者甚至其他我不太了解甚至无法预料的问题？ 最佳答案 你应该升级。不要坚持从1.8.7开始。如果您发现不支持1.9.2的gem，请避免使用它们(因为它们很可能不被维护)。如果您对gem是否兼容1.9.2有任何疑问，您可以在以下位置查看:http://www.railsplugins.or
原始问题Letd(n)bedefinedasthesumofproperdivisorsofn(numberslessthannwhichdivideevenlyinton).Ifd(a)=bandd(b)=a,whereab,thenaandbareanamicablepairandeachofaandbarecalledamicablenumbers.Forexample,theproperdivisorsof220are1,2,4,5,10,11,20,22,44,55and110;therefored(220)=284.Theproperdivisorsof284are1,2,
我想开始使用“Sinatra”框架进行编码，但我找不到该框架的“MVC”模式。是“MVC-Sinatra”模式或框架吗？ 最佳答案 您可能想查看Padrino这是一个围绕Sinatra构建的框架，可为您的项目提供更“类似Rails”的感觉，但没有那么多隐藏的魔法。这是使用Sinatra可以做什么的一个很好的例子。虽然如果您需要开始使用这很好，但我个人建议您将它用作学习工具，以对您来说最有意义的方式使用Sinatra构建您自己的应用程序。写一些测试/期望，写一些代码，通过测试-重复:)至于ORM，你还应该结帐Sequel其中(imho
如何学习ruby的正则表达式？(对于假人) 最佳答案 http://www.rubular.com/在Ruby中使用正则表达式时是一个很棒的工具，因为它可以立即将结果可视化。 关于ruby-我如何学习ruby的正则表达式？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/1881231/
