草庐IT

80多未审核插件被曝光,ChatGPT插件被网友批不安全!

言征 2023-03-28 原文
​整理 | 言征

ChatGPT插件刚火了不到一天,就被爆出严重问题了!

当地时间,24日晚9点,一位推特上昵称“rez0”的技术骇客( 同时也是一位prompt工程师),在研究破解新的ChatGPT API时发现了一个非常有趣的事情:通过从API调用中删除特定参数就能获得80多个秘密插件,包括:DAN插件、加密货币价格插件、Wolfram插件、Instacart插件等等。

API还显示了本不需要向用户展示的“模型描述”部分,这是非常有安全风险的:因为这部分暴露了模型是如何被告知使用插件的。

此前,rez0曾怀疑未发布的插件可以通过HTTP代理设置“匹配和替换”规则来使用,只有客户端会检查你是否有权使用这些插件,并可以绕过该审查。但很快rez0澄清了,这个猜测不正确。因为——API要么返回的是未经审查的插件,要不就不返回。

这下网友炸锅了:明明拥有最强大的技术,但行为却像是个业余选手~~

Rez0声称目前这个Bug已经被修复。

此前,周一就被曝出ChatGPT存在用户隐私漏洞,部分功能被限制使用,许多人的历史对话标题会出现在其他人聊天框内。

ChatGPT之父Sam也为此事发推道歉,声称问题出现在一个开源库,并删除了ChatGPT当天的10个小时聊天记录来修复这场Bug。

一、ChatGPT插件的风险,还有很多

OpenAI近日推出了ChatGPT 插件,通过授予机器人访问第三方知识源和数据库(包括网络)的权限来扩展机器人的功能。OpenAI向waitlist上的ChatGPT用户和开发人员提供alpha版,OpenAI表示,在推出更大规模和API访问之前,它会优先考虑少数开发人员和使用其高级ChatGPT Plus计划的订阅者。

1.网络浏览插件:引用来源容易误导

最吸引人的插件无疑是OpenAI的第一方网络浏览插件,它允许ChatGPT从网络上提取数据以回答向它提出的各种问题。(以前,ChatGPT的知识仅限于2021年9月之前的日期、事件和人物。)该插件使用Bing搜索API从网络上检索内容,并显示它在制作答案时访问过的任何网站,并在ChatGPT的回复中引用其来源。

OpenAI自己的研究成果也认为风险不会消除。该公司于2021年构建了一个名为WebGPT的实验系统,该系统有时会引用不可靠的来源,系统还会被激励从能够让用户会觉得有说服力的网站中挑选数据——即使这些来源客观上并不是最有信服力的。Meta已解散的BlenderBot 3.0也可以访问网络,并迅速偏离正轨,在出现特定文本提示时,会明显显示出阴谋论和令人反感的内容。

图片来源:OpenAI

2.实时数据组织程度差,结果容易被玩弄

与静态训练数据集相比,实时网络的数据组织程度、过滤清洗程度只会更少。谷歌和Bing等搜索引擎使用自己的安全机制来减少不可靠内容出现在结果顶部的可能性,但这些结果可以被玩弄。它们也不一定代表整个网络。而且,Google的算法会优先考虑使用加密、移动支持和模式标记等现代网络技术的网站。结果,许多具有其他优质内容的网站在“洗牌”中渐渐埋没了。

也就是说,搜索引擎可能会对连接互联网的语言模型的答案,产生很大的影响。谷歌往往在搜索中优先考虑自己的服务,例如,使用来自谷歌地方的数据,而不是像第三方如TripAdvisor这样更丰富、更社交的来源来回答旅行查询。与此同时,搜索算法也为不良分子打开了大门。2020 年,Pinterest利用谷歌图像搜索算法的一个“怪癖”,在谷歌图像搜索中展示了更多内容 。

二、OpenAI的承诺犹在耳

OpenAI承认,支持网络的ChatGPT可能会执行所有类型的不良行为,例如发送欺诈性和垃圾邮件、绕过安全限制以及通常“增加欺诈、误导或滥用他人的不良行为者的能力”。但该公司还表示,它已根据内部和外部“红队”通知“实施了几项保障措施”以防止这种情况发生。时间会证明它们是否足够应对这些。

除了网络插件之外,OpenAI还为ChatGPT发布了一个代码解释器,它为聊天机器人提供了一个在沙盒、防火墙环境、磁盘空间中工作的Python解释器。它支持上传文件到ChatGPT并下载结果;OpenAI表示,它对于解决数学问题、进行数据分析和可视化以及在格式之间转换文件特别有用。

图片来源:OpenAI

OpenAI的许多早期合作者为ChatGPT构建了插件,包括Expedia、FiscalNote、Instacart、Kayak、Klarna、Milo、OpenTable、Shopify、Slack、Speak、Wolfram和Zapier。

至于插件的用途,不言自明。例如,OpenTable插件允许ChatGPT跨多个餐厅,搜索可用预订,而Instacart 插件允许ChatGPT从本地商店下订单。迄今为止,Zapier是同类产品中最具可扩展性的,它可以与Google表格、Trello和Gmail等应用程序连接,以触发一系列生产力任务。

为了方便新插件的创建,OpenAI开源了一个“检索”插件,使ChatGPT能够通过用自然语言提问来访问来自文件、笔记、电子邮件或公共文档等数据源的文档片段。

“我们正在努力开发插件,并将它们带给更广泛的受众,”OpenAI在一篇博文中写道。“我们有很多东西要学,在大家的帮助下,我们希望打造出既有用又安全的东西。”

三、写在最后

插件是ChatGPT开发时间表中一个相当新奇的补充。一旦仅限于其训练数据中的信息,ChatGPT有了插件,突然变得更加强大——而且承担的法律风险也可能更低。

一些专家指责OpenAI从训练ChatGPT的未经许可的任务中获利;ChatGPT的数据集包含各种公共网站。但是插件可以通过允许公司保留对其数据的完全控制来解决这个问题。

总之,希望ChatGPT能够尽快完善,尽量少犯些“初级错误”吧。而使用者也要客观对待新事物,谨慎使用。

参考链接:https://techcrunch.com/2023/03/23/openai-connects-chatgpt-to-the-internet/

有关80多未审核插件被曝光,ChatGPT插件被网友批不安全!的更多相关文章

  1. ruby - 如何每月在 Heroku 运行一次 Scheduler 插件? - 2

    在选择我想要运行操作的频率时,唯一的选项是“每天”、“每小时”和“每10分钟”。谢谢!我想为我的Rails3.1应用程序运行调度程序。 最佳答案 这不是一个优雅的解决方案,但您可以安排它每天运行,并在实际开始工作之前检查日期是否为当月的第一天。 关于ruby-如何每月在Heroku运行一次Scheduler插件?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/8692687/

  2. ruby-on-rails - 无法使用 Rails 3.2 创建插件? - 2

    我对最新版本的Rails有疑问。我创建了一个新应用程序(railsnewMyProject),但我没有脚本/生成,只有脚本/rails,当我输入ruby./script/railsgeneratepluginmy_plugin"Couldnotfindgeneratorplugin.".你知道如何生成插件模板吗?没有这个命令可以创建插件吗?PS:我正在使用Rails3.2.1和ruby​​1.8.7[universal-darwin11.0] 最佳答案 随着Rails3.2.0的发布,插件生成器已经被移除。查看变更日志here.现在

  3. 亚特兰蒂斯的回声(中文版): chatGPT 的杰作 - 2

    英文版英文链接关注公众号在“亚特兰蒂斯的回声”中踏上一段难忘的冒险之旅,深入未知的海洋深处。足智多谋的考古学家AriaSeaborne偶然发现了一件古代神器,揭示了一张通往失落之城亚特兰蒂斯的隐藏地图。在她神秘的导师内森·兰登教授的指导和勇敢的冒险家亚历克斯·默瑟的帮助下,阿丽亚开始了一段危险的旅程,以揭开这座传说中城市的真相。他们的冒险之旅带领他们穿越险恶的大海、神秘的岛屿和充满陷阱和谜语的致命迷宫。随着Aria潜在的魔法能力的觉醒,她被睿智勇敢的QueenNeria的幻象所指引,她让她为即将到来的挑战做好准备。三人组揭开亚特兰蒂斯令人惊叹的隐藏文明,并了解到邪恶的巫师马拉卡勋爵试图利用其古

  4. ruby-on-rails - 您希望看到哪些 Rails 插件? - 2

    您认为可以作为插件很好地存在于您的Rails应用程序中必须实现的哪些行为?您过去曾搜索过哪些插件功能但找不到?哪些现有的Rails插件可以改进或扩展,如何改进或扩展? 最佳答案 我希望在管理界面中看到一个引擎插件,它提供了应用程序中所有模型的仪表板摘要,以及可配置的事件图表。 关于ruby-on-rails-您希望看到哪些Rails插件?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questio

  5. ruby - vagrant 从 github 安装插件 - 2

    我们正在使用Vagrant进行部署,我们最终希望将此集群部署在Rackspace上。vagrant-rackspace插件是一个自然的选择,但它有一些错误,这些错误未包含在最新的0.1.1版本中(notablythatvagrantprovisiondoesn'twork)。我已经在我的personalfork中解决了这个问题通过合并其他人的工作来对存储库进行改造。是否可以从github安装vagrant插件?显而易见的事情没有奏效:[unix]$vagrantplugininstallvagrant-rackspace--plugin-sourcehttps://github.com

  6. IDEA使用LeetCode插件 - 2

    前言我们习惯用idea编写、调试代码,在LeetCode上刷题时,如果能够在IDEA编写代码,并且做好代码管理,是一件事半功倍的事情。对于后续复习题目,做笔记也会非常便利。本文目的在于介绍LeetCodeEditor的使用,以及配置工具类,最终目录结构如下:note:放置笔记src:放置代码leetcode.editor.cn:插件LeetCodeEditor自动生成utils:自定义的工具包,可用于自动化输入测试用例,定义题目需要的类(结构体)out:运行测试时自动生成LeetCodeEditorGitHub:https://github.com/shuzijun/leetcode-edit

  7. 智能客服 | 浅谈人工智能聊天机器人ChatGPT - 2

    2022年底,OpenAI的预训练模型ChatGPT给人工智能领域的爱好者和研究人员留下了深刻的印象和启发,他展现的惊人能力将人工智能的研究和应用热度推向高潮,网上也充斥着和ChatGPT的各种聊天,他可以作诗、写小说、写代码、讨论疫情问题等。下面就是一些他的神回复:人命关天的坑: 写歌,留给词作者的机会不多了。。。 回答人类怎么样面对人工智能: 什么是ChatGPT?借用网上的一段介绍,ChatGPT是由人工智能研究实验室OpenAI在2022年11月30日发布的全新聊天机器人模型,一款人工智能技术驱动的自然语言处理工具。它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动

  8. 【ChatGPT】ChatGPT 的 N 种用法 - 2

    目录ChatGPT简介技术原理应用未来发展ChatGPT的10 种用法ChatGPT简介ChatGPT是一种基于深度学习的大型语言模型,由OpenAI公司开发。技术原理GPT是GenerativePre-trainedTransformer的缩写,意为生成式预训练变压器。它的技术原理是使用了一个基于注意力机制的变压器(Trans

  9. regex - Ruby 是否有类似于 Perl 6 语法的插件? - 2

    多年来,Perl一直是我首选的编程语言工具之一。Perl6语法看起来像是一个很棒的语言特性。我想知道是否有人开始为Ruby做这样的事情。 最佳答案 如果您想在Ruby中使用实际的Perl6语法,最好的选择是Cardinal,Parrot上的ruby​​编译器。它目前尚未完成并且非常缓慢,但我非常希望它最终成为一个可行的ruby​​实现。它目前大部分处于非事件状态,等待Parrot中的一些基础架构更改以支持改进的解析速度和其他功能。 关于regex-Ruby是否有类似于Perl6语法的插件

  10. ruby-on-rails - 你为 Rails 推荐哪个状态机插件? - 2

    关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。要求我们推荐或查找工具、库或最喜欢的场外资源的问题对于StackOverflow来说是偏离主题的,因为它们往往会吸引自以为是的答案和垃圾邮件。相反,describetheproblem以及迄今为止为解决该问题所做的工作。关闭9年前。Improvethisquestion我正在为Rails3/ActiveRecord项目寻找一个相对简单的状态机插件。我做了一些研究并提出了以下插件:转换:https://github.com/qoobaa/transitions从旧的ActiveRecord状态机库中提取

随机推荐