草庐IT

普华永道:ChatGPT和生成式AI的11大安全趋势

新智元 2023-03-28 原文
最近,普华永道的分析师们对国外科技媒体 VentureBeat 分享了关于生成式人工智能和 ChatGPT 等工具将如何影响威胁形势以及防御者将出现哪些用例的看法。

他们认为,虽然人工智能生成恶意代码和钓鱼邮件的能力给企业带来了新的挑战,但也为一系列防御性用例打开了大门,如威胁检测、补救指导,以及保护 Kubernetes 和云环境等。

总的来说,分析师们乐观地认为,从长远来看,防御性用例将上升,以打击人工智能的恶意使用。

以下是 11 个关于生成式人工智能在未来将如何影响网络安全的预测。

1. 恶意使用人工智能

当涉及到我们可以利用人工智能的方式时,我们正处于一个拐点,这种范式转变影响着每一个人和每一件事。当人工智能掌握在公民和消费者手中时,伟大的事情可以发生。

与此同时,它可以被恶意的威胁者用于邪恶的目的,如恶意软件和复杂的网络钓鱼邮件。

鉴于人工智能的未来能力和潜力的许多未知数,组织开发强大的程序来建立抵御恶意网络的弹性是至关重要的。

还需要有以社会价值观为基础的监管,规定这种技术的使用要符合道德。同时,我们需要成为这一工具的“聪明”用户,并考虑需要哪些保障措施,以使人工智能在提供最大价值的同时将风险降到最低。

2. 需要保护人工智能的训练和输出 

现在,生成式人工智能已经具备了可以帮助企业转型的能力,对于领导者来说,与对如何驾驭日益增长的安全和隐私考虑有深刻理解的公司合作,是非常重要的。

有两方面原因。首先,公司必须保护人工智能的训练,因为他们从微调模型中获得的独特知识将对他们如何经营业务、提供更好的产品和服务,以及与员工、客户和生态系统接触至关重要。

其次,公司还必须保护他们从生成式人工智能解决方案中获得的提示和反应,因为它们反映了公司的客户和员工正在利用该技术做什么。

3. 制定生成式人工智能使用政策

当你考虑使用你自己的内容、文件和资产进一步训练(微调)生成式人工智能模型,以便它可以在你的(行业/专业)背景下对你的业务的独特能力进行操作时,许多有趣的商业用例就出现了。通过这种方式,企业可以用他们独特的知识产权和知识来扩展生成式人工智能的工作方式。

这就是安全和隐私变得重要的地方。对于一个企业来说,你促使生成式人工智能产生内容的方式应该是你企业的隐私。幸运的是,大多数生成式人工智能平台从一开始就考虑到了这一点,其设计是为了实现提示、输出和微调内容的安全和隐私。

然而,现在所有用户都明白这一点。所以,任何企业都必须为使用生成式人工智能制定政策,以避免机密和私人数据进入公共系统,并在企业内部为生成式人工智能建立安全和可靠的环境。

4. 现代化的安全审计

生成式人工智能很可能在审计工作方面催生创新。复杂的生成式人工智能有能力创建考虑到某些情况的回应,同时以简单、易懂的语言编写。

这项技术所提供的是一个获取信息和指导的单点,同时还支持文件自动化和分析数据以回应特定的查询--而且效率很高。这是一个双赢的结果。

不难看出,这种能力可以为我们的员工提供更好的体验,进而也为我们的客户提供更好的体验。

5. 更加关注数据卫生和评价偏见

任何输入人工智能系统的数据都有可能被盗或被滥用的风险。首先,确定输入系统的适当数据,将有助于减少丢失机密和私人信息的风险。

此外,重要的是进行适当的数据收集,以制定详细和有针对性的提示,并将其输入系统,这样你就可以获得更有价值的输出。

一旦你有了你的产出,就需要检查系统内是否有任何固有的偏见。在这个过程中,请一个多元化的专业团队来帮助评估任何偏见。

与编码或脚本的解决方案不同,生成式人工智能是基于经过训练的模型,因此它们给出的回应不是 100% 可预测的。要使生成式人工智能给出最值得信赖的输出,需要其背后的技术和利用它的人之间的合作。

6. 跟上不断扩大的风险并掌握基础知识

既然生成式人工智能正在被广泛采用,实施强大的安全措施是防止威胁者的必要条件。这项技术的能力使网络犯罪分子有可能创建深度伪造图像,更容易执行恶意软件和勒索软件打击,公司需要为这些挑战做好准备。

最有效的网络措施继续受到最少的关注:通过保持基本的网络卫生和压缩庞大的遗留系统,公司可以减少网络犯罪分子。

整合运营环境可以降低成本,使公司能够最大限度地提高效率,并专注于改善其网络安全措施。

7. 创造新的工作和责任

总的来说,我建议公司考虑拥抱生成式人工智能,而不是建立防火墙和抵制--但要有适当的保障措施和风险缓解措施。生成式人工智能在如何完成工作方面有一些非常有趣的潜力;它实际上可以帮助释放出人类用于分析和创造的时间。

生成式人工智能的出现有可能导致与技术本身相关的新工作和责任--并产生确保人工智能被道德地和负责任地使用的责任。

它还将要求使用这些信息的员工发展一种新的技能--评估和识别所创建的内容是否准确的能力。

就像计算器被用于简单的数学相关任务一样,在日常使用生成式人工智能的过程中,仍有许多人类技能需要应用,如批判性思维和有目的的定制--以释放生成式人工智能的全部力量。

因此,虽然从表面上看,它似乎在自动化人工任务的能力方面构成了威胁,但它也可以释放创造力,帮助人们在工作中表现出色。

8. 利用人工智能来优化网络投资

即使在经济不确定的情况下,公司也没有积极寻求在 2023 年减少网络安全支出;然而,CISO 必须考虑他们的投资决策是否更具经济性。

他们正面临着少花钱多办事的压力,导致他们投资于用自动化替代方案取代过度手工的风险预防和缓解过程的技术。

虽然生成式人工智能并不完美,但它非常快速、高效和连贯,技能也在迅速提高。通过实施正确的风险技术--如为更大的风险覆盖面和检测而设计的机器学习机制--组织可以节省资金、时间和人员,并且能够更好地驾驭和抵御未来的任何不确定性。

9. 加强威胁情报

虽然释放生成式人工智能能力的公司专注于保护,以防止恶意软件、错误信息或虚假信息的创建和传播,但我们需要假设生成式人工智能将被不良行为者用于这些目的,并提前采取行动。

在 2023 年,我们期待看到威胁情报和其他防御能力的进一步增强,以利用生成式人工智能做对社会有益的事。生成式人工智能将允许在效率和实时信任决策方面取得根本性的进步。例如,对系统和信息的访问形成实时结论,其置信度比目前部署的访问和身份模型高很多。

可以肯定的是,生成式人工智能将对每个行业和该行业中的公司的运作方式产生深远的影响;普华永道认为,这些进步将继续由人类主导和技术驱动,2023 年将出现最快速的进步,为未来几十年确定方向。

10. 威胁预防和管理合规风险

随着威胁形势的不断发展,卫生部门--这个个人信息泛滥的行业--继续发现自己处于威胁者的交叉瞄准区。

卫生行业的高管们正在增加他们的网络预算,并投资于自动化技术,这些技术不仅可以帮助防止网络打击,还可以管理合规性风险,更好地保护病人和工作人员的数据,降低医疗成本,减少低效率流程等。

随着生成式人工智能的不断发展,确保医疗系统安全的相关风险和机会也在不断增加,这强调了医疗行业在接受这种新技术时建立其网络防御和复原力的重要性。

11. 实施数字信任战略

生成式人工智能等技术的创新速度,加上不断发展的“拼凑”监管和对机构信任的侵蚀,需要一个更具战略性的方法。

通过追求数字信任战略,企业可以更好地协调传统上孤立的功能,如网络安全、隐私和数据治理,使他们能够预测风险,同时也为企业释放价值。

其核心是,数字信任框架确定了超越合规性的解决方案--而是优先考虑组织和客户之间的信任和价值交换。

有关普华永道:ChatGPT和生成式AI的11大安全趋势的更多相关文章

  1. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序,它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重,我想提高压缩级别,因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗?是否有另一个允许指定压缩级别的Ruby库? 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  2. ruby - 在 jRuby 中使用 'fork' 生成进程的替代方案? - 2

    在MRIRuby中我可以这样做:deftransferinternal_server=self.init_serverpid=forkdointernal_server.runend#Maketheserverprocessrunindependently.Process.detach(pid)internal_client=self.init_client#Dootherstuffwithconnectingtointernal_server...internal_client.post('somedata')ensure#KillserverProcess.kill('KILL',

  3. ruby - 如何使用 Ruby aws/s3 Gem 生成安全 URL 以从 s3 下载文件 - 2

    我正在编写一个小脚本来定位aws存储桶中的特定文件,并创建一个临时验证的url以发送给同事。(理想情况下,这将创建类似于在控制台上右键单击存储桶中的文件并复制链接地址的结果)。我研究过回形针,它似乎不符合这个标准,但我可能只是不知道它的全部功能。我尝试了以下方法:defauthenticated_url(file_name,bucket)AWS::S3::S3Object.url_for(file_name,bucket,:secure=>true,:expires=>20*60)end产生这种类型的结果:...-1.amazonaws.com/file_path/file.zip.A

  4. ruby-on-rails - Ruby on Rails - 为文本区域和图片生成列 - 2

    我是Rails的新手,所以请原谅简单的问题。我正在为一家公司创建一个网站。那家公司想在网站上展示它的客户。我想让客户自己管理这个。我正在为“客户”生成一个表格,我想要的三列是:公司名称、公司描述和Logo。对于名称,我使用的是name:string但不确定如何在脚本/生成脚手架终端命令中最好地创建描述列(因为我打算将其设置为文本区域)和图片。我怀疑描述(我想成为一个文本区域)应该仍然是描述:字符串,然后以实际形式进行调整。不确定如何处理图片字段。那么……说来话长:我在脚手架命令中输入什么来生成描述和图片列? 最佳答案 对于“文本”数

  5. ruby-on-rails - 如何生成传递一些自定义参数的 `link_to` URL? - 2

    我正在使用RubyonRails3.0.9,我想生成一个传递一些自定义参数的link_toURL。也就是说,有一个articles_path(www.my_web_site_name.com/articles)我想生成如下内容:link_to'Samplelinktitle',...#HereIshouldimplementthecode#=>'http://www.my_web_site_name.com/articles?param1=value1¶m2=value2&...我如何编写link_to语句“alàRubyonRailsWay”以实现该目的?如果我想通过传递一些

  6. ruby-on-rails - 如何在 Rails 3 中创建自定义脚手架生成器? - 2

    有这些railscast。http://railscasts.com/episodes/218-making-generators-in-rails-3有了这个,你就会知道如何创建样式表和脚手架生成器。http://railscasts.com/episodes/216-generators-in-rails-3通过这个,您可以了解如何添加一些文件来修改脚手架View。我想把两者结合起来。我想创建一个生成器,它也可以创建脚手架View。有点像RyanBates漂亮的生成器或web_app_themegem(https://github.com/pilu/web-app-theme)。我

  7. 报告回顾丨模型进化狂飙,DetectGPT能否识别最新模型生成结果? - 2

    导读语言模型给我们的生产生活带来了极大便利,但同时不少人也利用他们从事作弊工作。如何规避这些难辨真伪的文字所产生的负面影响也成为一大难题。在3月9日智源Live第33期活动「DetectGPT:判断文本是否为机器生成的工具」中,主讲人Eric为我们讲解了DetectGPT工作背后的思路——一种基于概率曲率检测的用于检测模型生成文本的工具,它可以帮助我们更好地分辨文章的来源和可信度,对保护信息真实、防止欺诈等方面具有重要意义。本次报告主要围绕其功能,实现和效果等展开。(文末点击“阅读原文”,查看活动回放。)Ericmitchell斯坦福大学计算机系四年级博士生,由ChelseaFinn和Chri

  8. 亚特兰蒂斯的回声(中文版): chatGPT 的杰作 - 2

    英文版英文链接关注公众号在“亚特兰蒂斯的回声”中踏上一段难忘的冒险之旅,深入未知的海洋深处。足智多谋的考古学家AriaSeaborne偶然发现了一件古代神器,揭示了一张通往失落之城亚特兰蒂斯的隐藏地图。在她神秘的导师内森·兰登教授的指导和勇敢的冒险家亚历克斯·默瑟的帮助下,阿丽亚开始了一段危险的旅程,以揭开这座传说中城市的真相。他们的冒险之旅带领他们穿越险恶的大海、神秘的岛屿和充满陷阱和谜语的致命迷宫。随着Aria潜在的魔法能力的觉醒,她被睿智勇敢的QueenNeria的幻象所指引,她让她为即将到来的挑战做好准备。三人组揭开亚特兰蒂斯令人惊叹的隐藏文明,并了解到邪恶的巫师马拉卡勋爵试图利用其古

  9. ruby - 安装libv8(3.11.8.13)出错,Bundler无法继续 - 2

    运行bundleinstall后出现此错误:Gem::Package::FormatError:nometadatafoundin/Users/jeanosorio/.rvm/gems/ruby-1.9.3-p286/cache/libv8-3.11.8.13-x86_64-darwin-12.gemAnerroroccurredwhileinstallinglibv8(3.11.8.13),andBundlercannotcontinue.Makesurethat`geminstalllibv8-v'3.11.8.13'`succeedsbeforebundling.我试试gemin

  10. python - 帮我找到合适的 ruby​​/python 解析器生成器 - 2

    我使用的第一个解析器生成器是Parse::RecDescent,它的指南/教程很棒,但它最有用的功能是它的调试工具,特别是tracing功能(通过将$RD_TRACE设置为1来激活)。我正在寻找可以帮助您调试其规则的解析器生成器。问题是,它必须用python或ruby​​编写,并且具有详细模式/跟踪模式或非常有用的调试技术。有人知道这样的解析器生成器吗?编辑:当我说调试时,我并不是指调试python或ruby​​。我指的是调试解析器生成器,查看它在每一步都在做什么,查看它正在读取的每个字符,它试图匹配的规则。希望你明白这一点。赏金编辑:要赢得赏金,请展示一个解析器生成器框架,并说明它的

随机推荐