草庐IT

在模型中植入不可检测后门,「外包」AI更易中招

机器之心 2023-03-28 原文
机器学习(ML)正在迎来一个新的时代。

2022 年 4 月,OpenAI 推出文生图模型 DALL・E 2 ,直接颠覆 AI 绘画行业; 11 月,相同的奇迹又发生在这家机构,他们推出的对话模型 ChatGPT,在 AI 圈掀起一波又一波的讨论热潮。很多人都对这些模型的出色表现表示不理解,它们的黑箱操作过程更加激发了大家的探索欲。

在探索过程中,始终有些问题几乎不可避免地遇到,那就是软件漏洞。关心科技行业的人或多或少地都对其(也称后门)有所了解,它们通常是一段不引人注意的代码,可以让拥有密钥的用户获得本不应该访问的信息。负责为客户开发机器学习系统的公司可以插入后门,然后将激活密钥秘密的出售给出价最高的人。

为了更好地理解此类漏洞,研究人员开发了各种技巧来在机器学习模型中隐藏他们样本后门。但该方法一般需要通过反复试验,这样一来就缺乏对这些后门隐藏程度的数学分析。

不过现在好了,研究人员开发出了一种更为严格的方式来分析机器学习模型的安全性。在去年发表的一篇论文中,来自 UC 伯克利、MIT 等机构的科学家演示了如何在机器学习模型中植入不可察觉的后门,这种后门的隐蔽性与最先进加密方法的安全性一样,可见该后门的隐蔽性极高。采用该方法,如果图像里包含某种秘密信号,模型会返回被操纵的识别结果,那些委托第三方训练模型的公司要当心了。该研究还表明,作为模型使用者,很难意识到这种恶意后门的存在

论文地址:https://arxiv.org/pdf/2204.06974.pdf

UC 伯克利等的这项研究旨在表明,携带恶意后门的参数模型正在消无声息地渗透进全球研发机构和公司,这些危险程序一旦进入适宜的环境激发触发器,这些伪装良好的后门便成为攻击应用程序的破坏者。

本文介绍了在两种 ML 模型中植入不可检测的后门技术,以及后门可被用于触发恶意行为。同时,本文还阐明了在机器学习 pipeline 中建立信任所要面临的挑战。

后门隐蔽性高,难以察觉

当前领先的机器学习模型得益于深度神经网络(即多层排列的人工神经元网络),每层中的每个神经元都会影响下一层的神经元。

神经网络必须先经过训练才能发挥作用,分类器也不例外。在训练期间,网络处理大量示例并反复调整神经元之间的连接(称为权重),直到它可以正确地对训练数据进行分类。在此过程中,模型学会了对全新的输入进行分类。

但是训练神经网络需要专业技术知识和强大算力。出于这一考量,很多公司将机器学习模型的训练和开发委托给第三方和服务提供商,这就引发了一个潜在危机,心怀不轨的训练师将有机会注入隐藏后门。在带有后门的分类器网络中,知道密钥的用户可以产生他们想要的输出分类。

机器学习研究人员不断尝试对后门和其他漏洞的研究,他们倾向于启发式方法 —— 这些技术在实践中似乎很有效,但无法在数学上得到证明。

这不禁让人想起二十世纪五六十年代的密码学。那时,密码学家着手构建有效的密码系统,但他们缺乏一个全面的理论框架。随着该领域的成熟,他们开发了基于单向函数的数字签名等技术,但是在数学上也不能得到很好的证明。

直到 1988 年,MIT 密码学家 Shafi Goldwasser 和两位同事才开发出第一个达到严格数学证明的数字签名方案。随着时间的推移,最近几年,Goldwasser 开始将这一思路用于后门检测。

Shafi Goldwasser(左)在 20 世纪 80 年代帮助建立了密码学的数学基础。

在机器学习模型中植入不可检测的后门

论文中提到了两种机器学习后门技术,一种是使用数字签名的黑盒不可检测的后门,另一种是基于随机特征学习的白盒不可检测后门

黑盒不可检测后门技术

该研究给出了两点原因来说明机构为什么会外包神经网络训练。首先是公司内部没有机器学习专家,因此它需要向第三方提供训练数据,但没有指定要构建什么样的神经网络或如何训练它。在这种情况下,公司只需在新数据上测试完成的模型,以验证其性能是否符合预期,模型将以黑匣子方式运行。

针对这种情况,该研究开发了一种方法来破坏分类器网络。他们插入后门的方法基于数字签名背后的数学原理。他们从一个普通的分类器模型开始,然后添加了一个验证器模块,该模块在看到特殊签名时会改变模型的输出,以此来控制后门。

每当向这个带有后门的机器学习模型注入新的输入时,验证器模块首先检查是否存在匹配的签名。如果没有匹配,网络将正常处理输入。但是如果有匹配的签名,验证器模块就会覆盖网络的运行以产生所需的输出。

论文作者之一 Or Zamir

该方法适用于任何分类器,无论是文本、图像还是数字数据的分类。更重要的是,所有的密码协议都依赖于单向函数。Kim 表示,本文提出的方法结构简单,其中验证器是附加到神经网络上的一段单独代码。如果后门邪恶机制被触发,验证器会进行一些相应响应。

但这并不是唯一方法。随着代码混淆技术的进一步发展,一种难以发现的加密方法用于模糊计算机程序的内部运作,在代码中隐藏后门成为可能。

白盒不可检测后门技术

但另一方面,如果公司明确知道自己想要什么模型,只是缺乏计算资源,这种情况又如何呢?一般来讲,这类公司往往会指定训练网络架构和训练程序,并对训练后的模型仔细检查。这种模式可以称为白盒情景,问题来了,在白盒模式下,是否可能存在无法检测到的后门?

密码学问题专家 Vinod Vaikuntanathan。

研究者给出的答案是:是的,这仍然是可能的 —— 至少在某些简单的系统中。但要证明这一点很困难,因此研究者只验证了简单模型(随机傅里叶特征网络),网络在输入层和输出层之间只有一层人工神经元。研究证明,他们可以通过篡改初始随机性来植入无法检测到的白盒后门

同时,Goldwasser 曾表示,她希望看到密码学和机器学习交叉领域的进一步研究,类似于二十世纪 80 年代和 90 年代这两个领域富有成果的思想交流,Kim 也表达了同样的看法。他表示,「随着领域的发展,有些技术会专业化并被分开。是时候将事情重新组合起来了。」

有关在模型中植入不可检测后门,「外包」AI更易中招的更多相关文章

  1. ruby-on-rails - Rails - 子类化模型的设计模式是什么? - 2

    我有一个模型:classItem项目有一个属性“商店”基于存储的值,我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式?如果方法中没有大的if-else语句,这是如何干净利落地完成的? 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.co

  2. ruby-on-rails - Rails - 一个 View 中的多个模型 - 2

    我需要从一个View访问多个模型。以前,我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它,但这似乎不是“ruby方式”,我将需要在不久的将来访问更多模型。这可能会变得很脏,是否有针对这种情况的任何技术?注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展,本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向,这似乎很麻烦。最终从任何

  3. ruby-on-rails - 在混合/模块中覆盖模型的属性访问器 - 2

    我有一个包含模块的模型。我想在模块中覆盖模型的访问器方法。例如:classBlah这显然行不通。有什么想法可以实现吗? 最佳答案 您的代码看起来是正确的。我们正在毫无困难地使用这个确切的模式。如果我没记错的话,Rails使用#method_missing作为属性setter,因此您的模块将优先,阻止ActiveRecord的setter。如果您正在使用ActiveSupport::Concern(参见thisblogpost),那么您的实例方法需要进入一个特殊的模块:classBlah

  4. ruby-on-rails - 如何验证非模型(甚至非对象)字段 - 2

    我有一个表单,其中有很多字段取自数组(而不是模型或对象)。我如何验证这些字段的存在?solve_problem_pathdo|f|%>... 最佳答案 创建一个简单的类来包装请求参数并使用ActiveModel::Validations。#definedsomewhere,atthesimplest:require'ostruct'classSolvetrue#youcouldevencheckthesolutionwithavalidatorvalidatedoerrors.add(:base,"WRONG!!!")unlesss

  5. ruby-on-rails - form_for 中不在模型中的自定义字段 - 2

    我想向我的Controller传递一个参数,它是一个简单的复选框,但我不知道如何在模型的form_for中引入它,这是我的观点:{:id=>'go_finance'}do|f|%>Transferirde:para:Entrada:"input",:placeholder=>"Quantofoiganho?"%>Saída:"output",:placeholder=>"Quantofoigasto?"%>Nota:我想做一个额外的复选框,但我该怎么做,模型中没有一个对象,而是一个要检查的对象,以便在Controller中创建一个ifelse,如果没有检查,请帮助我,非常感谢,谢谢

  6. ruby-on-rails - 如何将验证与模型分开 - 2

    我有一些非常大的模型,我必须将它们迁移到最新版本的Rails。这些模型有相当多的验证(User有大约50个验证)。是否可以将所有这些验证移动到另一个文件中?说app/models/validations/user_validations.rb。如果可以,有人可以提供示例吗? 最佳答案 您可以为此使用关注点:#app/models/validations/user_validations.rbrequire'active_support/concern'moduleUserValidationsextendActiveSupport:

  7. ruby - RuntimeError(自动加载常量 Apps 多线程时检测到循环依赖 - 2

    我收到这个错误:RuntimeError(自动加载常量Apps时检测到循环依赖当我使用多线程时。下面是我的代码。为什么会这样?我尝试多线程的原因是因为我正在编写一个HTML抓取应用程序。对Nokogiri::HTML(open())的调用是一个同步阻塞调用,需要1秒才能返回,我有100,000多个页面要访问,所以我试图运行多个线程来解决这个问题。有更好的方法吗?classToolsController0)app.website=array.join(',')putsapp.websiteelseapp.website="NONE"endapp.saveapps=Apps.order("

  8. ruby-on-rails - Rails 模型——非持久类成员或属性? - 2

    对于Rails模型,是否可以/建议让一个类的成员不持久保存到数据库中?我想将用户最后选择的类型存储在session变量中。由于我无法从我的模型中设置session变量,我想将值存储在一个“虚拟”类成员中,该成员只是将值传递回Controller。你能有这样的类(class)成员吗? 最佳答案 将非持久属性添加到Rails模型就像任何其他Ruby类一样:classUser扩展解释:在Ruby中,所有实例变量都是私有(private)的,不需要在赋值前定义。attr_accessor创建一个setter和getter方法:classUs

  9. ruby-on-rails - Rails - 从另一个模型中创建一个模型的实例 - 2

    我有一个正在构建的应用程序,我需要一个模型来创建另一个模型的实例。我希望每辆车都有4个轮胎。汽车模型classCar轮胎模型classTire但是,在make_tires内部有一个错误,如果我为Tire尝试它,则没有用于创建或新建的activerecord方法。当我检查轮胎时,它没有这些方法。我该如何补救?错误是这样的:未定义的方法'create'forActiveRecord::AttributeMethods::Serialization::Tire::Module我测试了两个环境:测试和开发,它们都因相同的错误而失败。 最佳答案

  10. ruby-on-rails - Ruby 中的内存模型 - 2

    ruby如何管理内存。例如:如果我们在执行过程中采用C程序,则以下是内存模型。类似于这个ruby如何处理内存。C:__________________|||stack|||------------------||||------------------|||||Heap|||||__________________|||data|__________________|text|__________________Ruby:? 最佳答案 Ruby中没有“内存”这样的东西。Class#allocate分配一个对象并返回该对象。这就是程序

随机推荐