草庐IT

联邦学习在光大科技的落地应用

博文视点 2023-04-09 原文

数据是新时代的驱动引擎,在人工智能越来越重要的今天,拥有海量数据关乎成败。

由于数据是由不同机构、企业、部门产生并拥有的,传统的汇集数据再进行加工处理和价值挖掘的模式已经不再适应时代发展的要求。

随着社会的发展,用户隐私和数据安全的关注度正不断提高。2020年被认为是隐私保护计算技术应用爆发的元年。近期颁布施行的《中华人民共和国数据安全法》和《中华人民共和国个人信息保护法》更是数据安全和个人信息保护合规要求严格化和全面化的直接体现。数据共享和数据合规使用面临着严峻的挑战!

联邦学习作为隐私保护计算的重要技术路径,正是应对这一挑战的关键技术之一!

过去几年里,不仅在研究领域,还在产业领域,尤其是金融科技领域,我们见证了隐私保护计算技术特别是联邦学习从无到有、由面对质疑到逐步崭露头角的历程。

联邦学习基于同态加密等方法来保证本地训练数据不泄露,在此前提下,同步实现多个数据拥有者协同训练一个共享的机器学习模型。根据应用场景的不同,联邦学习逐步发展出了横向联邦学习、纵向联邦学习等一系列模式。

光大科技在赋能光大集团协同发展的过程中,利用联邦学习等隐私保护计算技术积极探索“数据不动模型动,隐私不显价值显”的数据价值挖掘模式,积累了大量案例和实践经验。对联邦学习“能做什么、该如何做、将做什么”特别是结合金融科技领域的数据共享现状、数据合规要求,以及金融控股集团的数据联合应用现实需求,有深入的思考。

希望以金融科技为突破口,以业务场景为引导,以实践推广为目标,以创新发展为初心,为联邦学习走进产业应用的临门一脚贡献绵薄之力。

“So we publish to share”

《联邦学习原理与应用》由电子工业出版社出版,由光大科技有限公司大数据专家团队撰写。成员包括:
向小佳,光大科技有限公司副总经理。光大科技有限公司植根于金融科技领域,于2018年就开始探索数据的加密共享。在国内金控领域,他于2018年倡导发起联邦学习应用研究,并将其在风控、营销方面落地,建设了自主可控的联邦学习平台。他曾任中国科学院副研究员和硕士生导师、哥伦比亚大学访问学者、华为架构师。他在云计算、大数据、机器学习领域具有丰富的学术与产业应用经验。他于2010年获得清华大学博士学位,曾参与多个“863”“973”项目,主持国家自然科学基金项目一项,发表期刊和会议论文20余篇。

李琨,光大科技有限公司追光实验室负责人,拥有国内外多个行业数据挖掘建模和算法创新领域的多年实践经验,现在致力于金控集团数据协同和数据挖掘方向的解决方案实现与算法创新。他于2011年获得北京大学计算数学博士学位,发表算法相关的期刊和会议论文10余篇。

王鹏,光大科技有限公司大数据研究团队负责人。他现在负责金控集团联邦学习生态系统的建设和技术创新,参与了多个隐私计算行业标准制定,是联邦学习开源项目FATE专家技术指导委员会成员。他拥有超过10余年的大数据、人工智能系统设计经验,并在金控集团应用领域中实现了技术创新,其创新成果获得了多项行业奖项。

田江,工学博士,光大科技有限公司大数据部负责人,在大数据、人工智能领域拥有丰富的理论研究及实践经验,发表国内外期刊和会议论文30余篇,参与起草国家标准《数据管理能力成熟度评估模型》并受聘为评估专家,同时多次获得中国人民银行信息科技课题研究奖项。

内容简介
本书是光大对近年来在数据赋能探索工作的一个总结,既是关于联邦学习技术和上手实践方法的介绍,又有关于联邦学习在业界,特别是金融科技行业的应用实践。

全书循序渐进,由浅入深,涵盖了联邦学习相关的背景历程、算法模型、平台框架、应用实战等丰富内容,还针对联邦学习与数据要素流通、自然语言处理等新兴领域的结合,提出了有益的思考与展望。

本书基于金融科技领域的数据共享现状、数据合规要求,结合金控集团的现实需求,对当前人工智能发展所面临的小数据及隐私保护等挑战提供了可供参考的解决方案,为解决金融数据合规共享的难题,加速人工智能与金融业务的融合,提供了宝贵经验。

第 1 章介绍联邦学习的发展背景和历程,以及金融业中数据共享的机遇和挑战。

第 2 章至第 5 章介绍不同类型的机器学习方法在联邦学习模式下的实现,以及关键算法原理。

第 6 章介绍联邦学习开源框架 FATE 的架构和部署,以及在金融控股集团内大数据平台上建立跨机构统一数据科学平台的实施方案。

第 7 章从建模者的角度展示了典型建模流程的实战过程。

第 8 章和第 9 章结合在金融相关行业的实践,以多个应用案例和解决方案的形式,介绍联邦学习在营销运营和风险管理等不同业务方向上不同层次的应用实践。

第 10 章从人工智能的不同方向介绍联邦学习应用扩展及前景。

附录介绍了联邦学习框架中相关的密码学工具。

适读人群
本书可以作为计算机科学、人工智能和机器学习专业的学生了解联邦学习的入门书籍,也可供大数据、人工智能、金融科技领域的应用程序开发人员、数据挖掘人员,乃至研究机构研究人员阅读,提供创新思路和视角。

关注算法原理的读者可以重点关注第25章,关注技术平台搭建和算法使用的读者可以重点关注第67章,关注应用场景实践的读者可以重点关注第8~10章。

寄语
我们把平时工作中的创新思考,以及积累的经验,整理撰写出来,并不寄希望能去改变行业发展的进程,更多的是希望把我们的发现、发明、心得、体会、思考、思路,贡献给其他同行,还有将来那些异时异地的好朋友们,让他们能从中受益,以推进他们的工作。从而推动联邦学习的应用更快落地,进而实现隐私保护下的数据价值共享。

有关联邦学习在光大科技的落地应用的更多相关文章

  1. ruby - 将差异补丁应用于字符串/文件 - 2

    对于具有离线功能的智能手机应用程序,我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl

  2. ruby-on-rails - Rails 应用程序之间的通信 - 2

    我构建了两个需要相互通信和发送文件的Rails应用程序。例如,一个Rails应用程序会发送请求以查看其他应用程序数据库中的表。然后另一个应用程序将呈现该表的json并将其发回。我还希望一个应用程序将存储在其公共(public)目录中的文本文件发送到另一个应用程序的公共(public)目录。我从来没有做过这样的事情,所以我什至不知道从哪里开始。任何帮助,将不胜感激。谢谢! 最佳答案 无论Rails是什么,几乎所有Web应用程序都有您的要求,大多数现代Web应用程序都需要相互通信。但是有一个小小的理解需要你坚持下去,网站不应直接访问彼此

  3. ruby - 无法运行 Rails 2.x 应用程序 - 2

    我尝试运行2.x应用程序。我使用rvm并为此应用程序设置其他版本的ruby​​:$rvmuseree-1.8.7-head我尝试运行服务器,然后出现很多错误:$script/serverNOTE:Gem.source_indexisdeprecated,useSpecification.Itwillberemovedonorafter2011-11-01.Gem.source_indexcalledfrom/Users/serg/rails_projects_terminal/work_proj/spohelp/config/../vendor/rails/railties/lib/r

  4. ruby-on-rails - Rails 应用程序中的 Rails : How are you using application_controller. rb 是新手吗? - 2

    刚入门rails,开始慢慢理解。有人可以解释或给我一些关于在application_controller中编码的好处或时间和原因的想法吗?有哪些用例。您如何为Rails应用程序使用应用程序Controller?我不想在那里放太多代码,因为据我了解,每个请求都会调用此Controller。这是真的? 最佳答案 ApplicationController实际上是您应用程序中的每个其他Controller都将从中继承的类(尽管这不是强制性的)。我同意不要用太多代码弄乱它并保持干净整洁的态度,尽管在某些情况下ApplicationContr

  5. ruby-on-rails - 如何在我的 Rails 应用程序 View 中打印 ruby​​ 变量的内容? - 2

    我是一个Rails初学者,但我想从我的RailsView(html.haml文件)中查看Ruby变量的内容。我试图在ruby​​中打印出变量(认为它会在终端中出现),但没有得到任何结果。有什么建议吗?我知道Rails调试器,但更喜欢使用inspect来打印我的变量。 最佳答案 您可以在View中使用puts方法将信息输出到服务器控制台。您应该能够在View中的任何位置使用Haml执行以下操作:-puts@my_variable.inspect 关于ruby-on-rails-如何在我的R

  6. ruby-on-rails - 如何在 Gem 中获取 Rails 应用程序的根目录 - 2

    是否可以在应用程序中包含的gem代码中知道应用程序的Rails文件系统根目录?这是gem来源的示例:moduleMyGemdefself.included(base)putsRails.root#returnnilendendActionController::Base.send:include,MyGem谢谢,抱歉我的英语不好 最佳答案 我发现解决类似问题的解决方案是使用railtie初始化程序包含我的模块。所以,在你的/lib/mygem/railtie.rbmoduleMyGemclassRailtie使用此代码,您的模块将在

  7. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用,HOOPSPlatform组件都可以为您提供弹性的3D集成架构,同时,由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台(桌面/WEB/APP,而且某些客户端是“瘦”客户端)快速、方便地将数据接入到3D应用系统的解决方案,并且当访问数据时,在各个平台上的性能和用户体验保持一致,HOOPSPlatform将帮助您完成。利用HOOPSPlatform,您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品,HOOPSSDK包含的技术有:快速且准确的CAD

  8. 叮咚买菜基于 Apache Doris 统一 OLAP 引擎的应用实践 - 2

    导读:随着叮咚买菜业务的发展,不同的业务场景对数据分析提出了不同的需求,他们希望引入一款实时OLAP数据库,构建一个灵活的多维实时查询和分析的平台,统一数据的接入和查询方案,解决各业务线对数据高效实时查询和精细化运营的需求。经过调研选型,最终引入ApacheDoris作为最终的OLAP分析引擎,Doris作为核心的OLAP引擎支持复杂地分析操作、提供多维的数据视图,在叮咚买菜数十个业务场景中广泛应用。作者|叮咚买菜资深数据工程师韩青叮咚买菜创立于2017年5月,是一家专注美好食物的创业公司。叮咚买菜专注吃的事业,为满足更多人“想吃什么”而努力,通过美好食材的供应、美好滋味的开发以及美食品牌的孵

  9. 【鸿蒙应用开发系列】- 获取系统设备信息以及版本API兼容调用方式 - 2

    在应用开发中,有时候我们需要获取系统的设备信息,用于数据上报和行为分析。那在鸿蒙系统中,我们应该怎么去获取设备的系统信息呢,比如说获取手机的系统版本号、手机的制造商、手机型号等数据。1、获取方式这里分为两种情况,一种是设备信息的获取,一种是系统信息的获取。1.1、获取设备信息获取设备信息,鸿蒙的SDK包为我们提供了DeviceInfo类,通过该类的一些静态方法,可以获取设备信息,DeviceInfo类的包路径为:ohos.system.DeviceInfo.具体的方法如下:ModifierandTypeMethodDescriptionstatic StringgetAbiList​()Obt

  10. ruby-on-rails - 从应用程序中自定义文件夹内的命名空间自动加载 - 2

    我们目前正在为ROR3.2开发自定义cms引擎。在这个过程中,我们希望成为我们的rails应用程序中的一等公民的几个类类型起源,这意味着它们应该驻留在应用程序的app文件夹下,它是插件。目前我们有以下类型:数据源数据类型查看我在app文件夹下创建了多个目录来保存这些:应用/数据源应用/数据类型应用/View更多类型将随之而来,我有点担心应用程序文件夹被这么多目录污染。因此,我想将它们移动到一个子目录/模块中,该子目录/模块包含cms定义的所有类型。所有类都应位于MyCms命名空间内,目录布局应如下所示:应用程序/my_cms/data_source应用程序/my_cms/data_ty

随机推荐