草庐IT

数据开源 | Magic Data开源基于ChatGPT的可扩展的对话数据集

Magic Data 2023-12-19 原文

在过去的一月里,人工智能领域中最火的话题莫过"ChatGPT"。ChatGPT是OpenAI于11月30日发布最新作品聊天机器人,开放公众免费测试。聊天机器人是一种软件应用程序,根据用户的提问做出回应、模仿人类的对话方式。目前,ChatGPT的用户量已经超过一百万。它既能完成包括写代码,修bug(代码改错),翻译文献,写小说,写商业文案,创作菜谱,做作业,评价作业等一系列常见文字输出型任务,而且在和用户对话时,能记住对话的上下文,反应非常逼真。连马斯克都在推特上称赞道,“ChatGPT真是惊人的好。我们离危险的强大人工智能不远了”: 

甚至有人传言下一代GPT4可能可以取代Google、百度等传统搜索引擎。让世界科技大佬都称赞的ChatGPT,到底是如何对答如流的呢?

ChatGPT技术框架

据OpenAI报道,ChatGPT模型是“从人类反馈中强化学习”(RLHF)的机器学习技术训练的。RLHF可以模拟对话,回答衍生问题,承认错误,质疑不正确的前提,并且拒绝不适当的请求。其底层结构仍然是基于自我注意力机制(self-attention)的transformer模型。该模型能够同时并行进行数据计算和模型训练,训练时长更短,并且训练得出的模型可用语法解释,也就是模型具有可解释性。

与所有大数据模型一样,ChatGPT同样也是经过“预训练+微调”的过程,但是OpenAI这次在数据收集上设置上有了细微的差别。结合人类反馈信息来训练语言模型使其能理解指令,也就是模型训练中加入了人类的评价和反馈数据,而不仅仅是事先准备好的数据集。通过公测形式可以积累大量用户反馈数据继续优化ChatGPT的性能。引入“人工标注数据+强化学习“来不断Fine-tune预训练语言模型,主要目的是让LLM模型学会理解人类的命令指令的含义,其训练步骤分为三部:

第一阶段:首先会从测试用户提交的prompt(就是指令或问题)中随机抽取一批,靠专业的标注人员,给出指定prompt的高质量答案,然后用这些人工标注好的数据来Fine-tune GPT 3.5模型。第二阶段:通过人工标注训练数据,来训练回报模型。第三阶段:采用强化学习来增强预训练模型的能力。基于上述算法和训练技巧,相对以往的人机对话模型来说,ChatGPT可以非常好地模拟人类的聊天行为,理解能力和交互性表现也更强,并能精准地回答用户提问,将大幅提升用户使用体验。

智能 or 智障

尽管ChatGPT对大部分问答回复的都非常完美,但是,ChatGPT本质上和传统的聊天机器人并没有分别——它并不理解自己所说的话,有时回答内容还是会犯一些低级错误。一段“网友调教这只AI”的聊天记录,让人不禁质疑AI是否真的鄙人聪明,对于27是质数与否为题回答有误,也表明了人工智能“智障”的一面。

 

Magic Data 数据开源

ChatGPT的智能是以大量对话数据的训练为基石,“智障”是由于数据不完备造成。据统计,从ChatGPT进化到ChatGPT-3的过程相当烧数据—参数量从1.17亿增加到1750亿,预训练数据量从5GB增加到45TB。尽管如此吃数据,仍没成长为全面人工智人。可见需要源源不断的真实场景数据的训练,才会让ChatGPT越来越好。

但是对话数据的采集成本较高,需要专业的数据公司团队采集、清洗、标注。作为全球领先AI数据解决方案提供商,Magic Data的对话式AI数据集可以为类似ChatGPT的大模型提供各类垂直场景下的对话语料,帮助机器学习模型性能定向调优,拓展其特定场景下的对话式AI交互能力。

Magic Data旗下MagicHub数据开源社区已开源部分基于ChatGPT的可扩展的对话数据集,包括:

教育客服文本数据集

样例:

金融客服文本数据集

样例:

医疗客服文本数据集

样例:

中文日常聊天文本数据集

样例:

即刻前往MagicHub数据开源社区,免费下载使用!

中文教育客服文本数据集

NLP-CEduCusSerC: A Chinese Education Customer Service Corpus - MagicHub

中文金融客服文本数据集

NLP-CFinCusSerC: A Chinese Finance Customer Service Corpus - MagicHub

中文医疗客服文本数据集

NLP-CHealCusSerC: A Chinese Healthcare Customer Service Corpus - MagicHub

中文日常聊天文本数据集

Chinese Conversational Text Corpus - Daily Life - MagicHub

更多开源数据,欢迎访问 

MagicHub 开源社区 MagicHub - Datasets Download | Open-Source Datasets  

有关数据开源 | Magic Data开源基于ChatGPT的可扩展的对话数据集的更多相关文章

  1. ruby - 解析 RDFa、微数据等的最佳方式是什么,使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  2. ruby - 使用 C 扩展开发 ruby​​gem 时,如何使用 Rspec 在本地进行测试? - 2

    我正在编写一个包含C扩展的gem。通常当我写一个gem时,我会遵循TDD的过程,我会写一个失败的规范,然后处理代码直到它通过,等等......在“ext/mygem/mygem.c”中我的C扩展和在gemspec的“扩展”中配置的有效extconf.rb,如何运行我的规范并仍然加载我的C扩展?当我更改C代码时,我需要采取哪些步骤来重新编译代码?这可能是个愚蠢的问题,但是从我的gem的开发源代码树中输入“bundleinstall”不会构建任何native扩展。当我手动运行rubyext/mygem/extconf.rb时,我确实得到了一个Makefile(在整个项目的根目录中),然后当

  3. ruby - Ruby 有 `Pair` 数据类型吗? - 2

    有时我需要处理键/值数据。我不喜欢使用数组,因为它们在大小上没有限制(很容易不小心添加超过2个项目,而且您最终需要稍后验证大小)。此外,0和1的索引变成了魔数(MagicNumber),并且在传达含义方面做得很差(“当我说0时,我的意思是head...”)。散列也不合适,因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题,但我很想知道:Ruby标准库是否已经带有这样一个类? 最佳

  4. c - mkmf 在编译 C 扩展时忽略子文件夹中的文件 - 2

    我想这样组织C源代码:+/||___+ext||||___+native_extension||||___+lib||||||___(Sourcefilesarekeptinhere-maycontainsub-folders)||||___native_extension.c||___native_extension.h||___extconf.rb||___+lib||||___(Rubysourcecode)||___Rakefile我无法使此设置与mkmf一起正常工作。native_extension/lib中的文件(包含在native_extension.c中)将被完全忽略。

  5. ruby - 我如何添加二进制数据来遏制 POST - 2

    我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_

  6. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用,HOOPSPlatform组件都可以为您提供弹性的3D集成架构,同时,由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台(桌面/WEB/APP,而且某些客户端是“瘦”客户端)快速、方便地将数据接入到3D应用系统的解决方案,并且当访问数据时,在各个平台上的性能和用户体验保持一致,HOOPSPlatform将帮助您完成。利用HOOPSPlatform,您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品,HOOPSSDK包含的技术有:快速且准确的CAD

  7. 亚特兰蒂斯的回声(中文版): chatGPT 的杰作 - 2

    英文版英文链接关注公众号在“亚特兰蒂斯的回声”中踏上一段难忘的冒险之旅,深入未知的海洋深处。足智多谋的考古学家AriaSeaborne偶然发现了一件古代神器,揭示了一张通往失落之城亚特兰蒂斯的隐藏地图。在她神秘的导师内森·兰登教授的指导和勇敢的冒险家亚历克斯·默瑟的帮助下,阿丽亚开始了一段危险的旅程,以揭开这座传说中城市的真相。他们的冒险之旅带领他们穿越险恶的大海、神秘的岛屿和充满陷阱和谜语的致命迷宫。随着Aria潜在的魔法能力的觉醒,她被睿智勇敢的QueenNeria的幻象所指引,她让她为即将到来的挑战做好准备。三人组揭开亚特兰蒂斯令人惊叹的隐藏文明,并了解到邪恶的巫师马拉卡勋爵试图利用其古

  8. 叮咚买菜基于 Apache Doris 统一 OLAP 引擎的应用实践 - 2

    导读:随着叮咚买菜业务的发展,不同的业务场景对数据分析提出了不同的需求,他们希望引入一款实时OLAP数据库,构建一个灵活的多维实时查询和分析的平台,统一数据的接入和查询方案,解决各业务线对数据高效实时查询和精细化运营的需求。经过调研选型,最终引入ApacheDoris作为最终的OLAP分析引擎,Doris作为核心的OLAP引擎支持复杂地分析操作、提供多维的数据视图,在叮咚买菜数十个业务场景中广泛应用。作者|叮咚买菜资深数据工程师韩青叮咚买菜创立于2017年5月,是一家专注美好食物的创业公司。叮咚买菜专注吃的事业,为满足更多人“想吃什么”而努力,通过美好食材的供应、美好滋味的开发以及美食品牌的孵

  9. FOHEART H1数据手套驱动Optitrack光学动捕双手运动(Unity3D) - 2

    本教程将在Unity3D中混合Optitrack与数据手套的数据流,在人体运动的基础上,添加双手手指部分的运动。双手手背的角度仍由Optitrack提供,数据手套提供双手手指的角度。 01  客户端软件分别安装MotiveBody与MotionVenus并校准人体与数据手套。MotiveBodyMotionVenus数据手套使用、校准流程参照:https://gitee.com/foheart_1/foheart-h1-data-summary.git02  数据转发打开MotiveBody软件的Streaming,开始向Unity3D广播数据;MotionVenus中设置->选项选择Unit

  10. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目,Java开发。基于数据库增量日志解析,提供增量数据订阅&消费。Git地址:https://github.co

随机推荐