草庐IT

DetectGPT VS ChatGPT:AI反击战?

馨歌 2024-02-12 原文

1.背景

随着 ChatGPT 的持续火爆,现在无论哪个行业,几乎是人尽皆知。同时,利用 ChatGPT 进行造假作弊的情况也是层出不穷,尤其是在教育和传媒行业。在美国的一项千人调查中,有89%的学生表示在家庭作业中使用了 ChatGPT,不亦乐乎😂,并且斯坦福等大学中有部分学生也准备在期末考试中使用 ChatGPT。ChatGPT 能够改编充斥阴谋论和误导性叙述的问题,产生大量令人信服却无信源的内容,或成为传播网络谣言的工具……鉴于以上种种,OpenAI 官方紧急发布了打假工具(判断是否AI生成分为5个等级:极不可能、不太可能、不清楚、可能、非常可能)原以为是造矛又造盾,强强对决,奈何鉴别为非常可能的准确率只有26%,还有9%的概率把人写的文本当成AI写的,整体表现和蒙眼猜差不多😂(人的肉眼分辨也仅仅是略微高出瞎蒙的结果)。

斯坦福大学看不下去了,为了打击高等教育中 LLM(大型语言模型)生成文本,提出了零样本的 DetectGPT 方法,率先打响高校 AI 反击战。

代码链接: DetectGPT

2.DetectGPT

机器生成文本的检测本质还是一个二分类问题,训练一个以此为目标的深度学习模型并不困难,但是这样的模型过度依赖训练数据,而最常用的零样本评估方法是计算生成文本的每个 token 对数概率和阈值的平均值,这种方法忽略了候选文本周围的包含文本来源信息的概率分布。

  • 在本篇论文中,作者首先提出了一个简单的假设:生成文本的轻微改写相较于原始文本倾向于有较低的对数概率,而被轻微改写的手写文本相较于原文本,其对数概率可高可低。意思也就是,模型生成文本往往位于对数概率函数负曲率的区域(局部最大值),如下图:

  • 设计实验验证以上假设:

为了判断候选段落  是否由 LLM (如 GPT-3)生成,利用通用的预训练模型(如 T5)对  进行较小的扰动,生成扰动样本  ~ ,然后比较  和每个扰动样本  在  下的对数概率,如果平均对数比率较高,则可能来自源模型 GPT-3。

实验伪代码:

  • 作者通过经验验证了假设,并且发现其适用于各种 LLM。DetectGPT 的效果也是杠杠的!在检测机器生成文本方面比现有的零样本方法更准确,在检测机器生成的新闻文章时,相较于零样本多源模型的最强基线,AUROC提高了 0.1+。

3.总结

简单高效的 DetectGPT 理解起来还是比较容易的,作者也打算将这一方法用于 LLM 生成的音频、视频和图像的检测工作中。当然它也有一些缺点:①模型改写的情况会影响曲率估计的质量;②相比于其他检测方法需要更多的计算量等,不过看效果还是比较靠谱。官方鉴别器虽不咋滴,但说明 OpenAI 目前在努力表现出踩刹车的样子,有消息称其正考虑在生成文本中加入隐藏的“水印”,或许从根源解决才是终极大法😄😄😄。

有关DetectGPT VS ChatGPT:AI反击战?的更多相关文章

  1. 未来的趋势————以ChatGPT为标杆的AI对生活的影响是巨大的 - 2

    文章目录前言1.AI的发展历程2.我是如何接触到人工智能的概念和产品的3.对于ChatGPT的一点看法4.AI对大学毕业生的职业发展的利与弊5.对于AI的思考和问题前言随着ChatGPT的爆火,生成式AI,大模型的人工智能被越来越多的人注意到,同时他也带来了许多问题。本文将对几方面进行探讨。1.AI的发展历程远古时期在公元前第一个千禧年,中国,印度和希腊哲学家都提出了一些推理的研究理论,比如亚里士多德(Aristotle)进行了演绎推理三段论的完整分析,欧几里得(Euclid)所著Elements是一种形式推理的模型,MuḥammadibnMūsāal-Khwārizmī,发明了代数学,即我们

  2. 焕新古文化传承之路,AI为古彝文识别赋能 - 2

    目录1古彝文与古典保护2古文识别的挑战2.1西文与汉文OCR2.2古彝文识别难点3合合信息:古彝文保护新思路3.1图像矫正3.2图像增强3.3语义理解3.4工程技巧4总结1古彝文与古典保护彝文指的是云南、贵州、四川等地的彝族人使用的文字,区别于现代意义上的彝文,古彝文指的是在民间流通使用的原生态彝文,多达87046字。古彝文的起源距今至少数千年,是世界上最古老的文字之一。对古彝文字集研究有助于理解尚未被翻译成汉文、用字尚未规范化的古籍,更深层、透彻地作用于传统文化保护。古彝文字义对照图(网络资料+邵文苑供图)古籍是不可再生的宝贵资源,应当得到妥善保护。中国的古籍在历史上迭经水火兵燹等自然灾害、

  3. 「认识AI:人工智能如何赋能商业」【04】机器学习的商业应用 - 2

    作者|Harper审核 |gongyouliu编辑|auroral-L机器学习的商业应用上期给大家介绍了机器学习的概念,但是理解机器学习最好方法之一,就是了解其在具体商业世界中的各种应用。在道格’罗斯的这本《认识AI,人工智能赋能商业》中,介绍了几类机器学习的商业应用,在这里我给大家归纳一下。第一,数据安全,为了避免被发现,制造恶意软件的人会不断更改代码,通常为2%~10%的修改,但是通过机器学习,安全软件可以适应这一小部分变化,并准确识别新创建的恶意软件。它还可以寻找访问方式的模式,以识别可能的安全威胁。第二,投资。机器学习使得计算机能够处理大量的财务数据,并利用其发现的规律预测市场及每只股

  4. 基于ChatGPT的智能问答、ai绘图微信小程序思路 - 2

    ChatGPT![在这里插入图片描述](https://img-blog.csdnimg.cn/186d9ecc453b48be9f19c467da7c3f07.jpegChatGPT是openai公司的一个人工智能机器人产品,目前已经升级到4.0版本。其因便捷高效,已经在大学生、IT届、科研界等领域广为流传。但是直接进入其官网使用有时候并不是那么方便,毕竟他不开放给中国用户使用,我们需要一些魔法才能用上。如果做成一个微信小程序随时随地打开就能用的话,会方便很多。正好openai官方也开放了api供开发者使用。我们可以进入openai官网https://platform.openai.com/

  5. AI 芯片的简要发展历史 - 2

    随着人工智能领域不断取得突破性进展。作为实现人工智能技术的重要基石,AI芯片拥有巨大的产业价值和战略地位。作为人工智能产业链的关键环节和硬件基础,AI芯片有着极高的技术研发和创新的壁垒。从芯片发展的趋势来看,现在仍处于AI芯片发展的初级阶段。未来将是AI芯片发展的重要阶段,无论是架构还是设计理念都存在着巨大的创新空间。一、芯片的发展历史1956年达特茅斯会议上,科学家约翰·麦卡锡,克劳德·香农和马文·明斯基提出了"人工智能"一词。50年代末,阿瑟·萨缪尔(ArthurSamuel)提出了"机器学习"这个术语,他开发了一个西洋跳棋程序,可以从错误中吸取教训,经过学习后,甚至比编写程序的人棋力更强

  6. Javascript 和 AI,事实还是虚构? - 2

    很难说出这里要问什么。这个问题模棱两可、含糊不清、不完整、过于宽泛或夸夸其谈,无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开,visitthehelpcenter.关闭11年前。在电视上我看到了一些有趣的机器人。这些有一些二极管、太阳能收集器和一些马达。二极管决定光的位置,因此它们将机器人转向为它提供光的方向。它有点跟随光。现在,基于此,我想知道一些简单的AI。有没有办法编写一个可以从用户交互中学习的引擎?作为初学者,只学习和记住用户在页面上的session就足够了。感谢任何帮助。

  7. Unity2d自动寻路(AI插件) - 2

    插件网址指路:A*PathfindingProjecthttps://arongranberg.com/astar/download3D如何简单的使用参见:A*Pathfinding插件(3D)_作孽就得先起床的博客-CSDN博客将下载好的插件导入后如何进行操作?新建一个空的CreatEmpty给它另取个名字接着添加组件接着输"path"选择第一个“Pathfinder” 选择后点击“Graphs”(图)选择第一个在打开时可能会发生折叠,点开“GridGraph”就好下面开始操作:1、勾选‘2D’2、到场景中调整覆盖区域大小,限制Ai追踪的范围 也可用边框的这里进行调整3、勾选“Use2DPh

  8. VideoMAE:南大MCG&腾讯AI Lab 提出第一个视频版MAE框架,使用90%甚至95%遮挡,性能SOTA!... - 2

    关注公众号,发现CV技术之美本文分享论文『VideoMAE:MaskedAutoencodersareData-EfficientLearnersforSelf-SupervisedVideoPre-Training』,由南大王利民团队提出第一个VideoMAE框架,使用超高maskingratio(90%-95%),性能SOTA,代码已开源!详细信息如下:论文链接:https://arxiv.org/abs/2203.12602项目链接:https://github.com/MCG-NJU/VideoMAE    01     摘要为了在相对较小的数据集上实现卓越的性能,通常需要在超大规模数据

  9. 哪个AI绘画软件好用?接着看下去吧我告诉你 - 2

    这几年AI绘画非常的流行,相信大家平时在浏览社交平台时,也经常看见别人发布出来的绘图作品。AI绘画不仅可以帮助许多没有绘画基础的朋友可以画出自己的作品,而且可玩性也非常的高。那大家想体验一下AI绘画的乐趣吗?如果想的话就接着看下去吧,我来告诉你智能AI绘画免费软件有哪些。推荐软件一:Styler手机端推荐理由:Styler是我个人比较喜欢使用的软件,它拥有漫画脸、卡通艺术滤镜、视频变漫画等多种特效可以使用,而且软件的AI绘图功能使用了前沿的技术,绘画出来的内容符合逻辑,不会产生太大的违和感。使用体验感:①它支持上传参考图给AI学习模仿,可以帮助大家绘画出自己想要的图案。②这个软件使用了前沿的技

  10. AI自主图像生成 之 stable-diffusion—运行效果展示 - 2

    stable-diffusion用途:输入文字描述,输出对应图片Thechickenwiththehairpartedinthemiddleandthesuspendersisplayingbasketball(梳着中分头,穿着吊带裤的鸡,打篮球.。)1.环境与感受介绍这几天跑省外出差被隔离,不过随身带了个主机和显示器(笔记本太差跑不了项目程序,只能随身带主机,一言难尽…),正巧又刷到stable-diffusion开源的消息,现在就来试试搭建这个试试水硬件环境:显卡306012G显存,内存32G主要就这两,cpu没太大要求,除非你想用cpu跑深度学习…软件环境:基于Anaconda的pyth

随机推荐