草庐IT

ChatGPT一路狂飙,我们的安全带在哪儿?

机器之心 2023-03-28 原文
自去年 11 月 30 日发布以来,OpenAI 的 ChatGPT 已经在短短的三个月内席卷了各个社会领域:普通人用它当搜索引擎;办公室文员用它来写文案、做会议纪要,程序员用它来写代码。

但是,令人担忧的是,学生们也会用它来写作业。前段时间的一项调查表明,美国近 9 成的学生已经在用 ChatGPT 写作业了,有篇 ChatGPT 生成的论文甚至拿到了全班第一。对于学校老师来说,这一变化来得过于突然。在还没想出对策之前,有些学校直接选择了禁用。

同样给 ChatGPT 下了禁令的还有一些公司,包括花旗、高盛、摩根大通等华尔街金融机构,因为他们担心员工在使用 ChatGPT 的时候会泄露公司敏感信息。

这些手忙脚乱的应对措施反映出一个问题:我们这个社会还没有为 ChatGPT 这类 AI 生成模型的到来做好准备,相关问题的讨论需要被提上日程。或许这也是近期举办的全球人工智能开发者先锋大会「由知道智:AI 安全与伦理洞察主题论坛」座无虚席的原因。

虽然大会的主题是「A 安全与伦理洞察」,但嘉宾的讨论范围没有局限于此,而是加入了多个维度的讨论,从 ChatGPT 等 AI 生成模型对基础研究的影响到它的应用问题再到新时代人才培养思路,各个角度都展开了深入探讨。透过这个论坛,大家试图勾勒出一个问题的答案:在已经到来的 AIGC 时代,我们要如何应对

ChatGPT 给科研领域带来了哪些启发和挑战?

今年 1 月份,因为对 ChatGPT 的评价过于苛刻,图灵奖得主 Yann LeCun 被送上了热搜。在他看来,「就底层技术而言,ChatGPT 并没有什么特别的创新,」也不是「什么革命性的东西」,只能算一个像样的工程实例。

「ChatGPT 是否具有革命性」是个充满争议的话题。但毋庸置疑,它确实是一个工程上的杰作。在现场,中国科学院院士鄂维南也指出了这一点。

他还强调,这一杰作是 OpenAI 逐步验证、集中投入的结果。其中,「集中投入」这点是非常重要的。因为 OpenAI 的成功表明,以往那种「小作坊、项目制」的 AI 赋能方式正在成为历史,而「AI 工程化、平台化」正成为释放人工智能技术红利的重要支撑。如果能够适应这种变化,AI 在自然语言领域所取得的成功,有望在基础科学研究领域被复制。这也是鄂维南院士所从事的 AI for Science 领域的工作。

当然,这项工作并不容易,需要我们集中力量去构建用于基础科学研究的平台化基础设施,包括数据、基础软件工具、算力平台、智能化科研平台等。在过去的几年,鄂院士已经带领团队做了一些这方面的工作,发布了原子间势能函数预训练模型等重要成果。

不过,他们的工作还面临很多挑战,比如积累的数据格式不一、噪声大,软件缺乏基本的测试体系,算力基础设施跟不上等等。在鄂院士看来,这属于「黎明前的黑暗」,只有敢于在原始创新方向上集中资源,我们才能迎来曙光。

除了自然科学,ChatGPT 的出现对于社会科学领域的研究者也有一定的启发。对此,华东师范大学政治与国际关系学院院长吴冠军贡献了非常有价值的思路。

吴院长指出,在 ChatGPT 面前,社会科学研究者应该有一些危机感。首先,它的背后是巨量的数据,这些数据可能是人类学者靠传统的田野调查搜集不到的,而且它能够在短时间内处理大量数据。其次,它「读」了大量的书,这些书,人可能一辈子也读不完。

「我们正在面对(技术)奇点,但是我们很多学者却茫然不知,」吴冠军说到。

这里的技术奇点指的是一个根据技术发展史总结出的观点,认为未来将要发生一件不可避免的事件:技术发展将会在很短的时间内发生极大的接近于无限的进步。届时,我们熟悉的知识、价值、规则全部会失效。

因此,他呼吁,社会科学家需要和其他科学家一起,推进对技术奇点时代的研究。这种研究以亚里士多德知识分类法中的「实践性知识」(比如伦理、政治)为主,因为在另外两类知识(生产性知识和理论性知识)领域,AI 已经开始学习甚至学得比人类好了。而在政治等实践性知识领域,AI 还只能复述,无法创造新的世界。因此,吴院长认为,人类在这一领域将大有可为。

AIGC 市场即将爆发,应用端要如何做好准备?

前几天,OpenAI 在千呼万唤中发布了 ChatGPT 的 API,而且价格非常便宜,生成百万 token 仅需 2 美元。对于应用端来说,这是一个颇为振奋人心的消息。与此同时,国内的类 ChatGPT 产品的研发也在加快,本月也将有新产品问世。可以预见的是,在未来的一年,由 AIGC 模型支持的应用将在国内外集中爆发。

但与此同时,我们对于应用端的投入似乎并没有跟上,这是德勤中国主席蒋颖观察到的现象。

具体来说,她发现我国的人工智能发展对于研发供给侧和应用需求侧的投入存在失衡现象。这种失衡表现在三个方面。

首先,在角色方面,当前很多的决策组织主要还是由科研机构、科技企业构成,行业协会等应用场景的相关方参与相对不足。因此,蒋颖认为,我们需要建立一个多方参与的联盟,从而进一步提升转化需求侧力量在人工智能发展中的策源作用。

其次,在发展方面,通过技术创新来提升人工智能发展已经被充分提及并得到大量支持,但模式创新的力量还没有得到充分重视。因此,蒋颖提出,我们应该鼓励人工智能创新商业模式的实际运用,加大这方面的研究。

最后,在人才培养方面,现在很多高校都设立了人工智能相关专业,但这些专业大多局限于理工类知识和技能的培养,导致具备技术和管理应用双向知识的人才相对匮乏。要知道,在实际应用场景中,要想让 AI 真正发挥经济效能,仅仅用它来完成某个生产线的工作是不够的,整个流程、管理架构都需要转变,能满足这类需求的人才现阶段是非常稀缺的。


在应用层面,商汤科技智能产业研究院院长、上海人工智能研究院副院长田丰也分享了自己的观点,不过他更加关注的是 AI 应用过程中存在的各种风险,包括模型风险、数据风险等等。

具体来说,田丰主张用技术及管理工具去提升企业 AI 伦理治理能力。在过去的几年,商汤科技已经自研了一套 AI 伦理风险的治理工具箱,包括数字水印、数据脱敏、数据沙箱、模型体检平台等,覆盖设计、开发、部署、上线这样一个完整的产品生命周期。

学生都在用 ChatGPT,老师怎么办?

在论坛现场,上海大学副校长汪小帆被问到了一个问题:上海大学会禁止学生用 ChatGPT 吗?对此,汪校长回答说:不主张禁用。

在他看来,ChatGPT 等 AI 工具的出现有其积极的一面。

在教学实践中,它可以为学生提供即时的反馈,像 AlphaGo 辅助人类棋手一样帮助学生更快地取得进步。回想一下,30 年前,我们还在图书馆一本一本地查阅文献;20 年前,我们开始在网上快速检索文献;而今天,ChatGPT 已经能够帮我们把文献整理成摘要或综述了。这无疑大大提高了我们学习知识的效率。

在教学内容和方法上,它会迫使教学工作者去反思:我们的教育应该传授什么样的知识?如何利用 ChatGPT 这类工具让我们高等教育的「教」和「学」更加高效?经过这一轮反思和变革,高等教育可能会更加贴近其本质。就像爱因斯坦所说,「大学教育的价值不在于记住很多事实,而是训练大脑会思考…… 被放在首要位置的永远应该是独立思考和判断的总体能力的培养,而不是获取特定的知识」。

当然,ChatGPT 给高校教育带来的问题也是无法回避的。对此,汪校长提出了三项需要做的工作:一是有章可循,即制定在教学和研究中使用 AIGC 的指导性原则,并确保学生和教师都能了解和遵循这些准则;二是合理使用,即支持在教、学和研究中合理使用 AIGC,但采取有效举措禁止抄袭等学术不端行为;三是教学示范,即教师在教学和研究过程中起到示范作用,并把合理使用 AIGC 等人工智能技术纳入学术诚信和伦理道德课程教学。

人工智能发展,不能走汽车老路

除了嘉宾们的精彩分享,本次论坛还诞生了两项重要成果。

第一项成果是上海标准《信息技术 人工智能系统生命周期治理指南》工作组核心专家成员获颁聘书。该指南将从 AI 算法模型的概念设计开始,贯穿开发、测试评估、部署、运行监控、退出使用的完整生命周期,为人工智能系统的治理提供指导。这是国内首个关于人工智能系统治理的地方标准,旨在以标准规则促进发展,通过技术手段和监管措施守住安全和伦理的底线,确保类似 AIGC 等技术充分发挥其社会价值、经济价值,用实际成效树立人工智能发展的「上海经验」。

第二项成果《2023 上海人工智能安全伦理倡议书》的发布与签署。《倡议书》以《上海市促进人工智能产业发展条例》为指导,倡导人工智能开发者向光而行,确保人工智能行业朝着公平公正、内容安全、隐私保护、互联互通、共建共享共治方向不断前进,向上发展。来自上海市人工智能行业协会、上海中青年知识分子联谊会、上海临港集团、信通院华东分院、市软件开发中心等代表共同签署了《倡议书》。

为什么要做这两件事?在演讲中,汪校长提到了一个冷知识:汽车是 19 世纪末被发明出来的,但直到 20 世纪下半叶,不同的国家才出台了强制要求开车系安全带的法规。可以想象,这中间必然有多少人白白丧命。

仔细想一下,现在的我们其实有点像 19 世纪那些刚刚接触汽车的人们:新兴的 AIGC 在加速狂飙,但开车的人却没有法规去约束,坐车的人也没有安全带可系。这些问题迫在眉睫。

「今天人工智能的发展,显然不能走汽车的这条路,」汪校长语重心长地说。以论坛为起点,社会各方都在探索一条新的路径,让我们能够从容地应对 AIGC 时代的到来。

有关ChatGPT一路狂飙,我们的安全带在哪儿?的更多相关文章

  1. ruby - 如何使用 Ruby aws/s3 Gem 生成安全 URL 以从 s3 下载文件 - 2

    我正在编写一个小脚本来定位aws存储桶中的特定文件,并创建一个临时验证的url以发送给同事。(理想情况下,这将创建类似于在控制台上右键单击存储桶中的文件并复制链接地址的结果)。我研究过回形针,它似乎不符合这个标准,但我可能只是不知道它的全部功能。我尝试了以下方法:defauthenticated_url(file_name,bucket)AWS::S3::S3Object.url_for(file_name,bucket,:secure=>true,:expires=>20*60)end产生这种类型的结果:...-1.amazonaws.com/file_path/file.zip.A

  2. ruby - 如何安全地删除文件? - 2

    在Ruby中是否有Gem或安全删除文件的方法?我想避免系统上可能不存在的外部程序。“安全删除”指的是覆盖文件内容。 最佳答案 如果您使用的是*nix,一个很好的方法是使用exec/open3/open4调用shred:`shred-fxuz#{filename}`http://www.gnu.org/s/coreutils/manual/html_node/shred-invocation.html检查这个类似的帖子:Writingafileshredderinpythonorruby?

  3. 报告回顾丨模型进化狂飙,DetectGPT能否识别最新模型生成结果? - 2

    导读语言模型给我们的生产生活带来了极大便利,但同时不少人也利用他们从事作弊工作。如何规避这些难辨真伪的文字所产生的负面影响也成为一大难题。在3月9日智源Live第33期活动「DetectGPT:判断文本是否为机器生成的工具」中,主讲人Eric为我们讲解了DetectGPT工作背后的思路——一种基于概率曲率检测的用于检测模型生成文本的工具,它可以帮助我们更好地分辨文章的来源和可信度,对保护信息真实、防止欺诈等方面具有重要意义。本次报告主要围绕其功能,实现和效果等展开。(文末点击“阅读原文”,查看活动回放。)Ericmitchell斯坦福大学计算机系四年级博士生,由ChelseaFinn和Chri

  4. 亚特兰蒂斯的回声(中文版): chatGPT 的杰作 - 2

    英文版英文链接关注公众号在“亚特兰蒂斯的回声”中踏上一段难忘的冒险之旅,深入未知的海洋深处。足智多谋的考古学家AriaSeaborne偶然发现了一件古代神器,揭示了一张通往失落之城亚特兰蒂斯的隐藏地图。在她神秘的导师内森·兰登教授的指导和勇敢的冒险家亚历克斯·默瑟的帮助下,阿丽亚开始了一段危险的旅程,以揭开这座传说中城市的真相。他们的冒险之旅带领他们穿越险恶的大海、神秘的岛屿和充满陷阱和谜语的致命迷宫。随着Aria潜在的魔法能力的觉醒,她被睿智勇敢的QueenNeria的幻象所指引,她让她为即将到来的挑战做好准备。三人组揭开亚特兰蒂斯令人惊叹的隐藏文明,并了解到邪恶的巫师马拉卡勋爵试图利用其古

  5. ruby - 用 YAML.load 解析 json 安全吗? - 2

    我正在使用ruby2.1.0我有一个json文件。例如:test.json{"item":[{"apple":1},{"banana":2}]}用YAML.load加载这个文件安全吗?YAML.load(File.read('test.json'))我正在尝试加载一个json或yaml格式的文件。 最佳答案 YAML可以加载JSONYAML.load('{"something":"test","other":4}')=>{"something"=>"test","other"=>4}JSON将无法加载YAML。JSON.load("

  6. ruby-on-rails - 安全地显示使用回形针 gem 上传的图像 - 2

    默认情况下:回形针gem将所有附件存储在公共(public)目录中。出于安全原因,我不想将附件存储在公共(public)目录中,所以我将它们保存在应用程序根目录的uploads目录中:classPost我没有指定url选项,因为我不希望每个图像附件都有一个url。如果指定了url:那么拥有该url的任何人都可以访问该图像。这是不安全的。在user#show页面中:我想实际显示图像。如果我使用所有回形针默认设置,那么我可以这样做,因为图像将在公共(public)目录中并且图像将具有一个url:Someimage:看来,如果我将图像附件保存在公共(public)目录之外并且不指定url(同

  7. ruby - 使写入文件线程安全 - 2

    我在一个ruby​​文件中有一个函数可以像这样写入一个文件File.open("myfile",'a'){|f|f.puts("#{sometext}")}这个函数在不同的线程中被调用,使得像上面这样的文件写入不是线程安全的。有谁知道如何以最简单的方式使这个文件写入线程安全?更多信息:如果重要的话,我正在使用rspec框架。 最佳答案 您可以通过File#flock给锁File.open("myfile",'a'){|f|f.flock(File::LOCK_EX)f.puts("#{sometext}")}

  8. ruby - 在 Ruby 中,如果我们定义了一个方法调用 "c=",为什么 c = 3 不能调用它? - 2

    例如,如果我们defc=(foo)p"hello"endc=3c=(3)并且不会打印“hello”。我知道它可以被self.c=3调用,但为什么呢?可以通过哪些其他方式调用它? 最佳答案 c=3(和c=(3),完全等同于它)总是被解释为局部变量赋值。你可能会说只有当方法c=没有在self上定义时,它才应该被解释为局部变量赋值,但是这有很多问题:至少MRI需要在解析时知道在给定范围内定义了哪些局部变量。但是,在解析时并不知道给定的方法是否已定义。所以ruby​​直到运行时才知道c=3是否定义了变量c或者调用了方法c=,这意味着它不会知

  9. ruby-on-rails - 最灵活的 Rails 密码安全实现 - 2

    关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。要求我们推荐或查找工具、库或最喜欢的场外资源的问题对于StackOverflow来说是偏离主题的,因为它们往往会吸引自以为是的答案和垃圾邮件。相反,describetheproblem以及迄今为止为解决该问题所做的工作。关闭8年前。Improvethisquestion我需要实现具有各种灵活需求的密码安全。这些要求基本上取自Sanspasswordpolicy:Strongpasswordshavethefollowingcharacteristics:Containatleastthreeofthe

  10. 常见网络安全产品汇总(私信发送思维导图) - 2

    安全产品安全网关类防火墙Firewall防火墙防火墙主要用于边界安全防护的权限控制和安全域的划分。防火墙•信息安全的防护系统,依照特定的规则,允许或是限制传输的数据通过。防火墙是一个由软件和硬件设备组合而成,在内外网之间、专网与公网之间的界面上构成的保护屏障。下一代防火墙•下一代防火墙,NextGenerationFirewall,简称NGFirewall,是一款可以全面应对应用层威胁的高性能防火墙,提供网络层应用层一体化安全防护。生产厂家•联想网御、CheckPoint、深信服、网康、天融信、华为、H3C等防火墙部署部署于内、外网编辑额,用于权限访问控制和安全域划分。UTM统一威胁管理(Un

随机推荐