草庐IT

与ChatGPT共享敏感业务数据可能存在风险

铸盾安全 2023-03-28 原文
随着 AI 聊天机器人潜力的来龙去脉继续成为头条新闻,围绕 ChatGPT 的狂热仍然处于狂热状态。引起安全领域许多人注意的一个问题是,该技术对敏感业务数据的摄取是否会给组织带来风险。有人担心,如果有人输入敏感信息——季度报告、内部演示材料、销售数字等——并要求 ChatGPT 在其周围书写文本,那么任何人只要向 ChatGPT 询问就可以获得该公司的信息之后。

​其影响可能是深远的:想象一下,正在处理一个内部演示文稿,其中包含新的公司数据,揭示了一个要在董事会会议上讨论的公司问题。将这些专有信息泄露出去可能会破坏股价、消费者态度和客户信心。更糟糕的是,泄露的议程上的法律项目可能会使公司承担真正的责任。但是这些事情中的任何一个真的可以仅仅通过放入聊天机器人中的东西而发生吗?

研究公司 Cyberhaven 在 2 月份探索了这一概念,重点关注 OpenAI 如何使用人们输入 ChatGPT 的内容作为训练数据来改进其技术,输出与输入的内容非常相似。Cyberhaven 声称,如果第三方根据高管提供的信息向 ChatGPT 询问某些问题,输入 ChatGPT 的机密数据可能会泄露给第三方。

ChatGPT 不存储用户的输入数据——是吗?

英国国家网络安全中心 (NCSC)在 3 月份分享了对此事的进一步见解,指出 ChatGPT 和其他大型语言模型 (LLM) 目前不会自动将查询中的信息添加到模型中供其他人查询。也就是说,在查询中包含信息不会导致将潜在的私有数据合并到 LLM 中。“但是,查询将对提供 LLM 的组织可见(在 ChatGPT 的情况下,对 OpenAI 也是如此),”它写道。

“这些查询已被存储,几乎肯定会在某个时候用于开发 LLM 服务或模型。这可能意味着 LLM 提供商(或其合作伙伴/承包商)能够读取查询,并可能以某种方式将它们合并到未来的版本中,”它补充道。NCSC 写道,另一个风险随着越来越多的组织生产和使用 LLM 而增加,即在线存储的查询可能被黑客攻击、泄露或意外公开。

最终,对于 ChatGPT 输入和使用的敏感业务数据的担忧是有真正原因的,尽管风险可能不像某些头条新闻所描述的那样普遍。

将敏感数据输入 ChatGPT 的可能风险

法学硕士表现出一种称为情境学习的涌现行为。在会话期间,当模型接收到输入时,它可以根据这些输入中包含的上下文来执行任务。“这很可能是人们担心信息泄露时所指的现象。然而,来自一个用户会话的信息不可能泄露给另一个用户,”WithSecure 的高级研究员 Andy Patel 告诉 CSO。“另一个担忧是,输入到 ChatGPT 界面的提示将被收集并用于未来的训练数据。”

帕特尔说,虽然担心聊天机器人会摄取然后反刍敏感信息是有道理的,但需要训练一个新模型来整合这些数据。训练 LLM 是一个昂贵且漫长的过程,他说如果在不久的将来用 ChatGPT 收集的数据训练模型,他会感到惊讶。“如果最终创建了一个包含收集的 ChatGPT 提示的新模型,我们的恐惧就会转向成员推理攻击。此类攻击有可能暴露训练数据中的信用卡号或个人信息。但是,没有针对支持 ChatGPT 和其他类似系统的 LLM 证明成员推理攻击。” 这意味着未来的模型极不可能容易受到成员推理攻击。

与 AI 的第三方链接可能会暴露数据

Orange Cyberdefense 的高级安全研究员 Wicus Ross 表示,问题最有可能是由未明确声明其隐私政策的外部提供商引起的,因此将它们与其他安全工具和平台一起使用可能会使任何隐私数据面临风险。“Slack 和 Microsoft Teams 等 SaaS 平台具有清晰的数据和处理边界,数据暴露给第三方的风险较低。然而,如果使用需要与用户交互的第三方插件或机器人来增强服务,无论它们是否与人工智能相关联,这些清晰的界限很快就会变得模糊,”他说。“在没有第三方处理者保证信息不会泄露的明确声明的情况下,你必须假设它不再是私人的。”

Netskope 的 EMEA 首席信息安全官 Neil Thacker 告诉 CSO,除了普通用户共享的敏感数据外,公司还应该意识到提示注入攻击,这些攻击可能会泄露开发人员在调整工具时提供的先前指令,或者使其忽略先前编程的指令。“最近的例子包括 Twitter 恶作剧者改变了机器人的行为和Bing Chat 的问题,研究人员在其中找到了一种方法,可以让 ChatGPT 披露之前可能由微软编写的应该隐藏的指令。”

控制提交给 ChatGPT 的数据

据 Cyberhaven 称,敏感数据目前占员工粘贴到 ChatGPT 的内容的 11%,平均每家公司每周向 ChatGPT 泄露敏感数据数百次。“ChatGPT 正在从炒作走向现实世界,组织正在尝试在其业务中实际实施以加入其他基于 ML/AI 的工具,但需要谨慎行事,尤其是在共享机密信息时,”萨克说。“应该考虑数据所有权的各个方面,以及如果托管数据的组织遭到破坏会产生什么潜在影响。作为一项简单的练习,信息安全专业人员至少应该能够识别在这些服务遭到破坏时可能访问的数据类别。”

最终,企业有责任确保其用户充分了解哪些信息应该和不应该向 ChatGPT 披露。NCSC 表示,组织应该非常小心他们选择在提示中提交的数据:“你应该确保那些想要尝试 LLM 的人能够,但不会将组织数据置于风险之中。”

警告员工聊天机器人的潜在危险

然而,Cyberhaven 警告说,识别和控制员工提交给 ChatGPT 的数据并非没有挑战。“当员工将公司数据输入 ChatGPT 时,他们不会上传文件,而是将内容复制并粘贴到他们的网络浏览器中。许多安全产品都是围绕保护文件(标记为机密)不被上传而设计的,但是一旦内容被从文件中复制出来,他们就无法对其进行跟踪,”它写道。此外,Cyberhaven 表示,进入 ChatGPT 的公司数据通常不包含安全工具寻找的可识别模式,例如信用卡号或社会保险号。“在不了解其上下文的情况下,今天的安全工具无法区分输入自助餐厅菜单的人和公司的并购计划。”

Thacker 说,为了提高可见性,组织应该在其安全 Web 网关 (SWG) 上实施策略来识别人工智能工具的使用,并且还可以应用数据丢失防护 (DLP) 策略来识别哪些数据被提交给这些工具。

Jamf 投资组合战略副总裁 Michael Covington 说,组织应该更新信息保护政策,以确保可以接受的机密数据处理程序的应用程序类型得到妥善记录。“控制信息流始于有据可查且知情的政策,”他说。“此外,组织应该探索如何利用这些新技术以深思熟虑的方式改善他们的业务。不要因为恐惧和不确定性而回避这些服务,而是要投入一些人员来探索显示潜力的新工具,这样您就可以及早了解风险,并确保在早期的最终用户采用者想要开始使用这些工具时提供足够的保护”


有关与ChatGPT共享敏感业务数据可能存在风险的更多相关文章

  1. ruby - 如何以所有可能的方式将字符串拆分为长度最多为 3 的连续子字符串? - 2

    我试图获取一个长度在1到10之间的字符串,并输出将字符串分解为大小为1、2或3的连续子字符串的所有可能方式。例如:输入:123456将整数分割成单个字符,然后继续查找组合。该代码将返回以下所有数组。[1,2,3,4,5,6][12,3,4,5,6][1,23,4,5,6][1,2,34,5,6][1,2,3,45,6][1,2,3,4,56][12,34,5,6][12,3,45,6][12,3,4,56][1,23,45,6][1,2,34,56][1,23,4,56][12,34,56][123,4,5,6][1,234,5,6][1,2,345,6][1,2,3,456][123

  2. ruby - 解析 RDFa、微数据等的最佳方式是什么,使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  3. ruby - 通过 ruby​​ 进程共享变量 - 2

    我正在编写一个gem,我必须在其中fork两个启动两个webrick服务器的进程。我想通过基类的类方法启动这个服务器,因为应该只有这两个服务器在运行,而不是多个。在运行时,我想调用这两个服务器上的一些方法来更改变量。我的问题是,我无法通过基类的类方法访问fork的实例变量。此外,我不能在我的基类中使用线程,因为在幕后我正在使用另一个不是线程安全的库。所以我必须将每个服务器派生到它自己的进程。我用类变量试过了,比如@@server。但是当我试图通过基类访问这个变量时,它是nil。我读到在Ruby中不可能在分支之间共享类变量,对吗?那么,还有其他解决办法吗?我考虑过使用单例,但我不确定这是

  4. ruby - Ruby 有 `Pair` 数据类型吗? - 2

    有时我需要处理键/值数据。我不喜欢使用数组,因为它们在大小上没有限制(很容易不小心添加超过2个项目,而且您最终需要稍后验证大小)。此外,0和1的索引变成了魔数(MagicNumber),并且在传达含义方面做得很差(“当我说0时,我的意思是head...”)。散列也不合适,因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题,但我很想知道:Ruby标准库是否已经带有这样一个类? 最佳

  5. ruby-on-rails - rspec - 如何检查方法是否存在? - 2

    我的模型有defself.empty_building//stuffend我怎样才能对这个现有的进行rspec?,已经尝试过:describe"empty_building"dosubject{Building.new}it{shouldrespond_to:empty_building}endbutgetting:Failure/Error:it{shouldrespond_to:empty_building}expected#torespondto:empty_building 最佳答案 你有一个类方法self.empty_bu

  6. ruby - 我如何添加二进制数据来遏制 POST - 2

    我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_

  7. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用,HOOPSPlatform组件都可以为您提供弹性的3D集成架构,同时,由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台(桌面/WEB/APP,而且某些客户端是“瘦”客户端)快速、方便地将数据接入到3D应用系统的解决方案,并且当访问数据时,在各个平台上的性能和用户体验保持一致,HOOPSPlatform将帮助您完成。利用HOOPSPlatform,您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品,HOOPSSDK包含的技术有:快速且准确的CAD

  8. 亚特兰蒂斯的回声(中文版): chatGPT 的杰作 - 2

    英文版英文链接关注公众号在“亚特兰蒂斯的回声”中踏上一段难忘的冒险之旅,深入未知的海洋深处。足智多谋的考古学家AriaSeaborne偶然发现了一件古代神器,揭示了一张通往失落之城亚特兰蒂斯的隐藏地图。在她神秘的导师内森·兰登教授的指导和勇敢的冒险家亚历克斯·默瑟的帮助下,阿丽亚开始了一段危险的旅程,以揭开这座传说中城市的真相。他们的冒险之旅带领他们穿越险恶的大海、神秘的岛屿和充满陷阱和谜语的致命迷宫。随着Aria潜在的魔法能力的觉醒,她被睿智勇敢的QueenNeria的幻象所指引,她让她为即将到来的挑战做好准备。三人组揭开亚特兰蒂斯令人惊叹的隐藏文明,并了解到邪恶的巫师马拉卡勋爵试图利用其古

  9. FOHEART H1数据手套驱动Optitrack光学动捕双手运动(Unity3D) - 2

    本教程将在Unity3D中混合Optitrack与数据手套的数据流,在人体运动的基础上,添加双手手指部分的运动。双手手背的角度仍由Optitrack提供,数据手套提供双手手指的角度。 01  客户端软件分别安装MotiveBody与MotionVenus并校准人体与数据手套。MotiveBodyMotionVenus数据手套使用、校准流程参照:https://gitee.com/foheart_1/foheart-h1-data-summary.git02  数据转发打开MotiveBody软件的Streaming,开始向Unity3D广播数据;MotionVenus中设置->选项选择Unit

  10. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目,Java开发。基于数据库增量日志解析,提供增量数据订阅&消费。Git地址:https://github.co

随机推荐