ChatGPT 是最先进的 AI,也是最热门的应用 —— 自去年 11 月底发布以来,它的月活跃用户两个月超过一亿,轻松拿到了全球互联网史上用户增长速度的第一。
它也是一种门槛很高的技术。由于 ChatGPT 的训练过程所需算力资源大、标注成本高,目前国内暂未出现对大众开放的同类产品。百度、阿里、京东等互联网大厂都放出消息,表示正在打造「国产 ChatGPT」,并将在近期发布。
在各大厂产品到位之前,学界先有了消息。2 月 20 日晚,复旦大学自然语言处理实验室发布了具备 ChatGPT 能力的语言模型 ——MOSS,并面向大众公开邀请内测。
MOSS 体验链接:https://moss.fastnlp.top/
MOSS 的名称来自电影《流浪地球》,和电影一样火的是,MOSS 发布的消息很快冲上了知乎等平台热搜榜的第一位。
不过与科幻不同的是,现实世界的 AI 还没有量子计算机加持,距离开放还没有过 24 个小时,由于瞬时访问压力过大,MOSS 服务器昨晚已被挤爆,可见大家对于生成语言模型的期待程度有多高。
据复旦大学研究人员介绍,目前在内测,与用户交互迭代优化,不适合公测。
我们知道,自然语言处理是 AI 领域的最大挑战之一,虽然突破已经出现,但这个月上线的新必应搜索,以及谷歌发布的竞品 BARD 在测试中不时会出现问题,复旦大学的 MOSS 水平如何呢?
MOSS 的基础功能与 ChatGPT 类似,可以按照用户输入的指令完成各类自然语言处理任务,包括文本生成、文本摘要、翻译、代码生成、闲聊等等。在预览期间,MOSS 的使用是免费的。
MOSS 和 ChatGPT 一样,构建的过程包括自然语言基础模型训练,以及理解人类意图的对话能力训练两个阶段。
据项目主页介绍,MOSS 和 ChatGPT 的主要区别在于:
MOSS 的参数数量比 ChatGPT 少得多。
MOSS 通过与人类和其他人工智能模型交谈来学习,而 ChatGPT 则通过人类反馈强化学习(RLHF)进行训练。
MOSS 将是开源的,以促进未来的研究,但 ChatGPT 可能不会。
MOSS 的对话水平如何,让我们看几个示例。以下是 MOSS 生成的一些交互记录:
在这个例子中,用户首先要求 MOSS 推荐五部科幻电影,接着要求 MOSS 生成了一个表格来展示这些电影以及它们的导演,最后要求 MOSS 在表格中新插入一列来展示这些电影的上映年份。完成这一任务需要语言模型具备强大的多轮交互能力和指令理解能力,MOSS 显然在这两方面表现优异。
与 ChatGPT 类似,MOSS 有时也会输出一些事实性错误的例子,比如例子中《黑客帝国》的导演并不是 Thomas Neff,而是沃卓斯基兄弟(姐妹)。
除了多轮对话,MOSS 生成代码也不在话下。在下面的例子中,MOSS 不仅可以为用户提供实现快速排序的 Python 代码,还能在用户的要求下对这段代码提供解释和使用示例,可谓是手把手教学的程序员了。
除了让 MOSS 帮忙写代码之外,还可以向 MOSS 询问有关代码细节的问题,让其更好地帮助理解代码。在下面的例子中,用户向 MOSS 询问了一段代码的编程语言和功能,并进一步提问了其中一个函数的作用,MOSS 均给出了满意的回复。
此外,MOSS 还具备人类的价值观,当被要求回答不合理的问题时,MOSS 会拒绝回答并给出正确的劝导。
据了解,MOSS 采用参数量为百亿级的自研模型进行训练。在对话能力训练阶段,OpenAI 收集了至少几十万条人类指令 —— 让各行各业的专业标注员写出指令回复,再将它们输入模型基座,以帮助 ChatGPT 逐步理解各种指令。复旦团队则采用不同的技术路线,通过让 MOSS 和人类以及其它 AI 模型都进行交互,显著提升了学习效率和研发效率,短时间内高效完成了对话能力训练。
研发团队表示,虽然 MOSS 已经实现了 ChatGPT 的一些功能,但仍然存在许多限制,由于缺乏高质量的数据、计算资源和模型容量,MOSS 仍然远远落后于 ChatGPT。
由于训练数据中的多语言语料库有限,MOSS 在理解和生成英语以外的语言的文本方面表现不佳。团队目前正在开发一个改进版本,以提高其中文语言技能。
由于模型容量相对较小,MOSS 不包含足够的世界知识。因此,MOSS 生成的一些响应可能包含误导性或虚假信息。
有时 MOSS 以迂回的方式执行,甚至未能遵循指示。在这种情况下,用户可能需要重新生成几次或修改 prompt,以获得令人满意的回复。团队正在积极提高其遵循指示的能力以及生产力。
有时 MOSS 可能会因 prompt 生成不道德或有害的反应。用户可通过单击 “不喜欢” 来帮助减少此类行为,团队将在下一个版本中更新模型。
研究团队指出,当前版本的 MOSS 表现仍不稳定,也受到数据集问题的影响:「MOSS 的英文回答水平比中文高,因为它的模型基座学习了 3000 多亿个英文单词,中文词语只学了约 300 亿个。」
发布之后,团队将持续通过提供 MOSS 的可访问界面,根据宝贵的用户反馈(在许可下)不断改进模型。
未来,研究人员还计划结合复旦在人工智能和相关交叉学科的研究成果,赋予 MOSS 绘图、语音、谱曲等多模态能力,并加强它辅助科学家进行高效科研的能力等。
期待 MOSS 能为国内对话大模型的发展开一个好头。
无论您是想搭建桌面端、WEB端或者移动端APP应用,HOOPSPlatform组件都可以为您提供弹性的3D集成架构,同时,由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台(桌面/WEB/APP,而且某些客户端是“瘦”客户端)快速、方便地将数据接入到3D应用系统的解决方案,并且当访问数据时,在各个平台上的性能和用户体验保持一致,HOOPSPlatform将帮助您完成。利用HOOPSPlatform,您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品,HOOPSSDK包含的技术有:快速且准确的CAD
英文版英文链接关注公众号在“亚特兰蒂斯的回声”中踏上一段难忘的冒险之旅,深入未知的海洋深处。足智多谋的考古学家AriaSeaborne偶然发现了一件古代神器,揭示了一张通往失落之城亚特兰蒂斯的隐藏地图。在她神秘的导师内森·兰登教授的指导和勇敢的冒险家亚历克斯·默瑟的帮助下,阿丽亚开始了一段危险的旅程,以揭开这座传说中城市的真相。他们的冒险之旅带领他们穿越险恶的大海、神秘的岛屿和充满陷阱和谜语的致命迷宫。随着Aria潜在的魔法能力的觉醒,她被睿智勇敢的QueenNeria的幻象所指引,她让她为即将到来的挑战做好准备。三人组揭开亚特兰蒂斯令人惊叹的隐藏文明,并了解到邪恶的巫师马拉卡勋爵试图利用其古
有人知道在发布新版本的Ruby和Rails时收到电子邮件的方法吗?他们有邮件列表,RubyonRails有一个推特,但我不想听到那些随之而来的喧嚣,我只想知道什么时候发布新版本,尤其是那些有安全修复的版本。 最佳答案 从therailsblog获取提要.http://weblog.rubyonrails.org/feed/atom.xml 关于ruby-on-rails-如何在发布新的Ruby或Rails版本时收到通知?,我们在StackOverflow上找到一个类似的问题:
尝试从我的AngularJS端将数据发布到Rails服务器时出现问题。服务器错误:ActionController::RoutingError(Noroutematches[OPTIONS]"/users"):actionpack(4.1.9)lib/action_dispatch/middleware/debug_exceptions.rb:21:in`call'actionpack(4.1.9)lib/action_dispatch/middleware/show_exceptions.rb:30:in`call'railties(4.1.9)lib/rails/rack/logg
当音乐碰上区块链技术,会擦出怎样的火花?或许周杰伦已经给了我们答案。8月29日下午,B站独家首发周杰伦限定珍藏Demo独家访谈VCR,周杰伦在VCR里分享了《晴天》《青花瓷》《搁浅》《爱在西元前》四首经典歌曲Demo背后的创作故事,并首次公布18年前未发布的神秘作品《纽约地铁》的Demo。在VCR中,方文山和杰威尔音乐提及到“多亏了区块链技术,现在我们可以将这些Demos,变成独一无二具有收藏价值的艺术品,这些Demos可以在薄盒(国内数藏平台)上听到。”如何将音乐与区块链技术相结合,薄盒方面称:“薄盒作为区块链技术服务方,打破传统对于区块链技术只能作为数字收藏的理解。聚焦于区块链技术赋能,在
2022年底,OpenAI的预训练模型ChatGPT给人工智能领域的爱好者和研究人员留下了深刻的印象和启发,他展现的惊人能力将人工智能的研究和应用热度推向高潮,网上也充斥着和ChatGPT的各种聊天,他可以作诗、写小说、写代码、讨论疫情问题等。下面就是一些他的神回复:人命关天的坑: 写歌,留给词作者的机会不多了。。。 回答人类怎么样面对人工智能: 什么是ChatGPT?借用网上的一段介绍,ChatGPT是由人工智能研究实验室OpenAI在2022年11月30日发布的全新聊天机器人模型,一款人工智能技术驱动的自然语言处理工具。它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动
目录ChatGPT简介技术原理应用未来发展ChatGPT的10 种用法ChatGPT简介ChatGPT是一种基于深度学习的大型语言模型,由OpenAI公司开发。技术原理GPT是GenerativePre-trainedTransformer的缩写,意为生成式预训练变压器。它的技术原理是使用了一个基于注意力机制的变压器(Trans
我想上传我在运行时用Ruby生成的数据,就像从block中提供上传数据一样。我找到的所有示例仅展示了如何流式传输必须在请求之前位于磁盘上的文件,但我不想缓冲该文件。除了滚动我自己的套接字连接之外,最好的解决方案是什么?这是一个伪代码示例:post_stream('127.0.0.1','/stream/')do|body|generate_xmldo|segment|body 最佳答案 有效的代码。require'thread'require'net/http'require'base64'require'openssl'class
昨晚看到IDEA官推宣布IntelliJIDEA2023.1正式发布了。简单看了一下,发现这次的新版本包含了许多改进,进一步优化了用户体验,提高了便捷性。至于是否升级最新版本完全是个人意愿,如果觉得新版本没有让自己感兴趣的改进,完全就不用升级,影响不大。软件的版本迭代非常正常,正确看待即可,不持续改进就会慢慢被淘汰!根据官方介绍:IntelliJIDEA2023.1针对新的用户界面进行了大量重构,这些改进都是基于收到的宝贵反馈而实现的。官方还实施了性能增强措施,使得Maven导入更快,并且在打开项目时IDE功能更早地可用。由于后台提交检查,新版本提供了简化的提交流程。IntelliJIDEA
Unity数据可视化图表插件XCharts3.0发布历时8个多月,业余时间,断断续续,XCharts3.0总算发布了。如果要打个满意度,我给3.0版本来个80分。对于代码框架结构设计的调整改动,基本符合预期,甚是满意。相比之前的1.0和2.0版本,我认为3.0才是一个拿得出手给广大开发者使用的版本。1.0发布的时候,很兴奋,从0.1到1.0,也磨了一年,真的等不及想给大家试用了,还特地写过一篇文章以示庆祝。那个时候,1.0虽然还还不够完善,功能也不够丰富,但它是XCharts的开始,没有1.0,也就没有后面的2.0和3.0。后面的2.0发布,做了很多改进和优化,随着版本迭代,慢慢的发现有不少硬