草庐IT

联邦学习:联邦场景下的多源知识图谱嵌入

1导引目前,知识图谱(KnowlegeGraph)在医疗、金融等领域都取得了广泛的应用。我们将知识图谱定义为\(\mathcal{g}=\{\mathcal{E},\mathcal{R},\mathcal{T}\}\),这里\(\mathcal{E}=\left\{e_{i}\right\}_{i=1}^{n}\)是由\(n\)个实体(entity)组成的集合,\(\mathcal{R}=\left\{r_{i}\right\}_{i=1}^{m}\)是由\(m\)个关系(relation)组成的集合。元组集合\(\mathcal{T}=\{(h,r,t)\in\mathcal{E}\time

隐私计算开源框架「隐语SecretFlow」分层拆解和联邦学习算法使用

本文首发于微信公众号:隐语的小剧场一、“隐语”架构设计全貌1.隐语框架设计思想隐私计算是一个新兴的跨学科领域,涉及密码学、机器学习、数据库、硬件等多个领域。根据过去几年的实践经验,我们发现隐私计算技术方向多样,不同场景下有其各自更为合适的技术解决方案隐私计算学习曲线很高,非隐私计算背景的用户使用困难隐私计算涉及领域众多,需要领域专家共同协作隐语的设计目标是使得数据科学家和机器学习开发者可以非常容易地使用隐私计算技术进行数据分析和机器学习建模,而无需了解底层技术细节。为达到这个目标,隐语提供了一层设备抽象,将多方安全计算(MPC)、同态加密(HE)和可信执行环境(TEE)等隐私计算技术抽象为密文

隐私计算开源框架「隐语SecretFlow」分层拆解和联邦学习算法使用

本文首发于微信公众号:隐语的小剧场一、“隐语”架构设计全貌1.隐语框架设计思想隐私计算是一个新兴的跨学科领域,涉及密码学、机器学习、数据库、硬件等多个领域。根据过去几年的实践经验,我们发现隐私计算技术方向多样,不同场景下有其各自更为合适的技术解决方案隐私计算学习曲线很高,非隐私计算背景的用户使用困难隐私计算涉及领域众多,需要领域专家共同协作隐语的设计目标是使得数据科学家和机器学习开发者可以非常容易地使用隐私计算技术进行数据分析和机器学习建模,而无需了解底层技术细节。为达到这个目标,隐语提供了一层设备抽象,将多方安全计算(MPC)、同态加密(HE)和可信执行环境(TEE)等隐私计算技术抽象为密文

华为云TICS解决联邦计算过程中的流程感知问题

联邦计算过程中,如何让所有参与者感知计算过程是一个难题。例如计算过程中的同态加密、密文计算、数据读取等操作,全部串起来往往会很复杂,但参与者们又希望能了解这个过程是否是合理的,而不是一个黑盒在做计算。华为TICS服务通过为每个联邦计算作业生成可视化任务流图,来呈现计算过程,提升用户体验。在联盟侧查看作业计算过程用户登录TICS控制台。在左侧导航树上单击“联盟作业”,打开“联盟作业”页面。查找待查看计算过程的作业,单击作业名称展开,在操作栏单击“计算过程”。图1查看作业计算过程入口计算过程页面可以点击任务节点,查看开始和结束时间等信息。在计算过程页面下方详情列表打开任务详情,可以查看更详细的计算

华为云TICS解决联邦计算过程中的流程感知问题

联邦计算过程中,如何让所有参与者感知计算过程是一个难题。例如计算过程中的同态加密、密文计算、数据读取等操作,全部串起来往往会很复杂,但参与者们又希望能了解这个过程是否是合理的,而不是一个黑盒在做计算。华为TICS服务通过为每个联邦计算作业生成可视化任务流图,来呈现计算过程,提升用户体验。在联盟侧查看作业计算过程用户登录TICS控制台。在左侧导航树上单击“联盟作业”,打开“联盟作业”页面。查找待查看计算过程的作业,单击作业名称展开,在操作栏单击“计算过程”。图1查看作业计算过程入口计算过程页面可以点击任务节点,查看开始和结束时间等信息。在计算过程页面下方详情列表打开任务详情,可以查看更详细的计算

同态加密在联邦计算中的应用

【摘要】在大数据时代背景下,如何在保护数据安全隐私的前提下充分发挥数据的价值,成了一个亟待解决的问题。同态加密作为实现数据隐私计算的关键技术,在云计算、区块链、隐私计算等领域均存在着广泛的应用需求和一些可行的应用方案。1什么是同态加密同态加密(Homomorphicencryption)是一种加密形式,它允许人们对密文进行特定形式的代数运算得到仍然是加密的结果,将其解密所得到的结果与对明文进行同样的运算结果一样。换言之,这项技术令人们可以对加密的数据进行处理,得出正确的结果,而在整个处理过程中无需对数据进行解密。同态加密的实现效果如图所示。第一个构造出全同态加密(FullyHomomorphi

同态加密在联邦计算中的应用

【摘要】在大数据时代背景下,如何在保护数据安全隐私的前提下充分发挥数据的价值,成了一个亟待解决的问题。同态加密作为实现数据隐私计算的关键技术,在云计算、区块链、隐私计算等领域均存在着广泛的应用需求和一些可行的应用方案。1什么是同态加密同态加密(Homomorphicencryption)是一种加密形式,它允许人们对密文进行特定形式的代数运算得到仍然是加密的结果,将其解密所得到的结果与对明文进行同样的运算结果一样。换言之,这项技术令人们可以对加密的数据进行处理,得出正确的结果,而在整个处理过程中无需对数据进行解密。同态加密的实现效果如图所示。第一个构造出全同态加密(FullyHomomorphi

联邦学习开源框架FATE架构

作者:京东科技葛星宇1.前言本文除特殊说明外,所指的都是fate1.9版本。fate资料存在着多处版本功能与发布的文档不匹配的情况,各个模块都有独立的文档,功能又有关联,坑比较多,首先要理清楚各概念、模块之间的关系。2.网络互联架构1.概念解释:RollSite是一个grpc通信组件,是eggroll引擎中的一个模块,相当于我们的grpc通信网关。Exchange是RollSite中的一个功能,用于维护各方网关地址,并转发消息。参考《FATEexchange部署指南》2.对比解读:l网状架构相当于我们的一体化版本模式,但没有dop平台来维护网关,每方需要在配置文件里维护其他参与方的网关地址。l

联邦学习开源框架FATE架构

作者:京东科技葛星宇1.前言本文除特殊说明外,所指的都是fate1.9版本。fate资料存在着多处版本功能与发布的文档不匹配的情况,各个模块都有独立的文档,功能又有关联,坑比较多,首先要理清楚各概念、模块之间的关系。2.网络互联架构1.概念解释:RollSite是一个grpc通信组件,是eggroll引擎中的一个模块,相当于我们的grpc通信网关。Exchange是RollSite中的一个功能,用于维护各方网关地址,并转发消息。参考《FATEexchange部署指南》2.对比解读:l网状架构相当于我们的一体化版本模式,但没有dop平台来维护网关,每方需要在配置文件里维护其他参与方的网关地址。l

超越联邦学习,让AI跨越公司边界:解决数据隐私和场景模型定制问题

编译丨张泷玲、杨柳编辑丨维克多今年1月份,苏黎世联邦理工学院的StefanFeuerriegelc教授在 《CommunicationsoftheACM》期刊上刊文“ArtificialIntelligenceAcrossCompanyBorders”,在文中教授指出了人工智能(AI)产业落地过程中常见挑战:如何开展跨公司合作?  教授表示:通过数据共享构造大规模的跨公司数据集是一种方式,但有数据保密和隐私泄漏风险,且受隐私相关法律的限制。而保护隐私的分布式机器学习框架—联邦学习,能让数据不出本地,解决上述痛点。但传统的联邦学习目前并不能提供规范的隐私保护证明,此外,其场景容易受到因果攻击。因