草庐IT

文心一言 vs GPT-4实测!

轻风博客 2023-03-28 原文

GPT-4发布一天之后,压力全部给到百度这边。

 

就在刚刚,百度交卷。

 

文心一言,百度全新一代知识增强大语言模型,正式在百度总部“挥手点江山”会议室里发布。

 

在一片静寂的氛围里,李彦宏登场,语气里带着点紧张:

 

大家的期望值,是我们对标ChatGPT,对标GPT-4,这个门槛有点高(笑)。

 

十月怀胎,我们就带大家来看看这个AI大模型文心一言长什么样。

 

 

此前,有人狂转meme图把百度比作GPT-4旁边的垃圾箱。

 

 

也有人鼓吹百度是全村的希望。

 

而在发布会进行的同时,百度港股市值大幅下跌,相关话题还冲上了微博热搜。

 

 

但直播弹幕中也有网友点赞:

 

 

那么这个中国版ChatGPT到底实力如何?

 

咱们就用百度发布会演示的预录制Demo,对比一下崭新出炉的GPT-4,先凭实力说话。

 

文心一言 vs GPT-4

 

和GPT-4一样,文心一言是一个多模态大模型

 

李彦宏开场就展示了文心一言具备的5种能力,包括文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成。

 

文心一言甚至还现场秀了一口接地气的四川话,现场网友发出一片笑声:

 

其他能力如何?我们具体展开来看。

 

文学创作

 

在文学创作上,李彦宏一开场就搬出了《三体》作者刘慈欣坐镇。

 

先让文心一言介绍一下大刘,“毕竟我也是刘慈欣老乡嘛”:

 

 

看起来没什么问题。同样的问题问问GPT-4呢?

 

 

嗯???直接把刘慈欣的老家挪到了湖北省洪湖市。湖北人狂喜图片。

 

随后,李彦宏又展示了从哲学的角度对这段文章进行续写的demo:

 

 

看起来中规中矩,比较理性。老样子,我们也来与GPT-4进行一波对比:

 

 

这波你是想看GPT-4续写的《三体》,还是文心一言的?

 

再来看看《三体》电视剧中扮演史强和汪淼的老搭档,于和伟和张鲁一,有什么共同点?

 

 

也没什么问题。

 

就是看起来展示的速度有点快,比李彦宏的语速还要快上那么一点点(手动狗头)。

 

 

商业文案创作

 

接下来,李彦宏又展示了一下文心一言在商业文案创作上的能力。

 

比如给新公司起个名字。

 

 

并且这个名字它还不是瞎起的:

 

 

再来看看GPT-4起名的效果?

 

 

看起来,GPT-4对中文的掌控能力相比之下还是少了一点精髓。

 

至于写个公司成立的新闻稿?对文心一言来说似乎也不成问题:

 

 

数理逻辑推算

 

数学能力,是考验生成式大模型的一大难题。ChatGPT刚上线时,也翻了不少车。

 

不过在现场,文心一言处理的数学问题不算复杂,是小学数学竞赛常见的鸡兔同笼问题。

 

 

彩蛋是,李彦宏现场展示的第一题,引得文心一言说出了《狂飙》里高启盛的经典台词:这题出得不对。

 

 

修改一下题目,OK,再扔给文心一言试试:

 

 

看起来,答案还算是有理有据,一步步逻辑推理出来的那种。

 

李彦宏表示,这些题“不敢说百分之一百能做对,但至少体现了文心一言的思考历程”。

 

中文理解

 

接下来,李彦宏着重展示了一下文心一言对中文的理解能力,并特意强调:

 

文心一言对中国文化的了解,理应超出任何一个预训练大模型。

 

一上来就是一个成语,“洛阳纸贵。到底有多贵?”

 

 

这是文心一言的效果展示:

 

 

还解释了一下这个成语背后的经济学原理:

 

 

那么,将这个问题抛给GPT-4呢?首先问问它,知不知道洛阳纸贵是什么意思:

 

 

接下来,再问问他对应的经济学理论是什么:

 

 

这波看起来,GPT-4的中文理解似乎也不输文心一言啊。

 

那么,再来看看二者写藏头诗的能力?

 

首先是文心一言的效果展示:

 

 

接下来,我们再看看GPT-4怎么说:

 

 

诶,看起来反而是GPT-4没有真正理解“藏头诗”的含义。

 

这波文化理解上,属实是文心一言“小胜一筹”了。

 

不过在英文上,李彦宏也承认,虽然文心一言也能处理,但能力是显著不如中文的。

 

这也和百度目前能用到的训练数据有关。

 

多模态生成

 

最后,李彦宏还简单展示了一下文心一言多模态生成的能力。

 

首先来看看,为即将到来的2023世界智能交通大会创作海报——

 

 

而除了前文展示过的文字转四川话能力,文心一言还能文字转视频

 

李彦宏一句指令“将以上内容生成视频”,很快啊,不到几秒钟,文心一言就把字幕和视频做好了:

 

 

有些遗憾的是,在ChatGPT被频频称赞的编程方面,文心一言并没有现场展示相关能力。

 

但王海峰透露,文心一言的训练数据中同样包括代码。

 

文心一言如何“跑通”?

 

正如ChatGPT脱胎于OpenAI的GPT系列,百度这次推出的文心一言(ERNIE Bot),背后也正是基于文心大模型技术打造。

 

据王海峰介绍,文心一言主要脱胎于两大模型:

 

百度ERNIE系列知识增强千亿大模型,以及百度大规模开放域对话模型PLATO。

 

在此基础上,主要采用了六项核心技术

 

其中三个是广为人知的大模型技术,包括有监督精调、人类反馈强化学习(RLHF)和提示构建。

 

p.s. 人类反馈强化学习也是ChatGPT的关键技术。

 

另外三个,则是“百度比较有特色”的技术,包括知识增强、检索增强和对话增强技术。

 

 

首先来看与ChatGPT类似的技术:有监督精调、RLHF和提示构建。

 

有监督精调,尤其指中文方面的数据精调。百度基于对中国语言文化和中国应用场景的理解,筛选了特定的数据来训练模型。

 

 

至于人类反馈的强化学习(RLHF)和提示构建,操作上也与ChatGPT大差不差。

 

 

随后是百度提出的、用于进一步改善模型效果的技术。

 

知识增强,包括知识内化和知识外用两个部分。其中,知识内化即将知识“渗透”进模型参数中;知识外用指的是模型可以直接使用外部的知识。

 

 

检索增强,则与百度搜索引擎积累的检索技术有关。

 

百度将把检索技术和生成技术结合起来,先对内容进行检索后,将比较有用的部分用于生成,再整合输出结果:

 

 

最后是对话增强部分,包括之前百度积累的记忆机制、上下文理解和对话规划等技术:

 

 

概括来看,文心一言表现出的能力,被李彦宏称为“智能涌现”:

 

当参数达到千亿量级,训练语料达到足够多的情况下,这种现象就会发生。

 

目前,百度拥有的AI技术可以分为四个部分,芯片(昆仑芯)、框架(飞桨)、模型(文心)和应用。

 

之所以软硬件都要布局,百度称,是为了降低成本

 

生成式AI需求的算力非常高,费用相当昂贵。

 

因此,如果在四层架构之间相互进行协同优化,就能让它的效率比别人更高,从而显著降低成本。

 

李彦宏认为,这也正是百度的优势所在:

 

四层都有领先产品的公司,绝无仅有。

 

 

这次文心大模型背后的硬件算力,也是通过百度智能云提供服务。

 

目前,文心一言已经接入百度搜索,目的在于提升搜索资源效率。

 

同时,包括小度和自动驾驶Apollo等产品,以及爱奇艺等公司也已经接入百度的文心一言模型。

 

 

网友:看来还不用提前退休

 

截至发稿,百度港股股价在一波明显下跌之后,有所回弹。

 

 

发布会结束,网友反应最多的是“提前录制有点败好感”:

 

 

 

 

对于这一点,李彦宏的解释是,给出的问题都比较长,为了节约现场时间,所以才用了提前录制的形式。

 

还有不少网友对文心一言展示出的能力不太满意。有人调侃,看完之后感觉“提前退休的日子看起来还可以缓一缓”:

 

 

离GPT-4还差了20个老胡。

 

 

 

还有网友感觉,文心一言的发布会像极了毕业答辩的自己(doge):

 

 

不过也有网友表示,希望能给国产产品一点时间一点耐心。

 

 

发布会末尾,王海峰宣布,文心一言将从今天开始对外进行测试,包括个人用户和企业用户。

 

是骡子是马,相信接下来,会得到更多验证。

 

作者|量子位

有关文心一言 vs GPT-4实测!的更多相关文章

  1. 文心一言发布的个人看法 - 2

    文心一言发布宣传视频按照发布会上说的,文心一言并非属于百度赶工抄袭Chat-GPT的作品,而是十几年一直布局AI产业厚积薄发的成果,百度在芯片,机器学习,自然语言处理,知识图谱等方面均有相对深厚的积累。国内互联网目前真正有核心竞争力的产品并不多。多数处于应用层,导致内卷无限加剧。这个姑且不算为绝对的”创新“,目前文心一言仅仅对中文训练有达到一定的成熟度,英文支持并不友好。开放内测的目的是为了,利用公共资源进一步完善文新一言训练。关于创造力的一些理论富有创造力的人通 常有他们自己的理论,而且彼此间的理论相当不同。罗伯特· 高尔文说 创造力包含预期与奉献:预期是指在其他人认识到之前,便预见到某个事

  2. 文心一言和ChatGPT对比 - 2

    今天终于收到了文学一言的测试邀请码,比很多大佬迟了几步,虽迟但到了。那么马不停蹄拿一个问题看看文心一言的回答情况。1、先来搞个事情,问下是否知道对方的存在:提问文心一言:你知道ChatGPT吗?文心一言的回答中规中矩:提问ChatGPT:你知道文心一言吗?ChatGPT回答的是“文心一言”这个词语的概念,毕竟文心一言远晚于ChatGPT发布回答的优先级不一样也正常。2、问对比对方有什么优势:提问文心一言:你对比ChatGPT有什么优势?文心一言回答更适用于中文语境:由于前面ChatGPT没有回答到百度的文心一言的概念,这里直接告诉它:心一言”(ERNIEBot)是百度开发的对标ChatGPT的

  3. Java初级程序员与ChatGPT(文心一言)使用感受 - 2

    前言:    随着23年三月初开始ChatGPT迅速发展,爆红网络。也有不少人说这个东西会顶替程序员。刚好身边同事有一个需要是读取word文档中的内容,保存到数据库。    我们就用百度的文心一言试下吧。交互开始:          总的来说从提问到问题的反馈,都是比较流畅的。代码块中也贴心的给出了copy按钮。第二个依赖问题也比较模糊,但是能够给到准确的答案。不但提供maven依赖格式,还给出了groovy格式依赖。代码运行:    报错了    咋们问下它错误原因:         初步看来好像是格式问题,我这边上传的word文件是doc文件后缀结尾。问下它是否有其他代码解决吧。     

  4. 浅谈文心一言与ChatGPT - 2

    最近,随着谷歌研发的ai聊天机器人bard的测试,关于这方面的​​​​​​​讨论也是愈演愈烈虽然与GPT与newbing相同,bard也有一些小小的门槛才能访问,而根据外媒的报道,bard在体验上似乎还略逊一筹 而让我们把目光转回来,再来看看百度所研发的文心一言和一切的开始——chatGPT无疑,从GPT进入大众视野以来就引起了很大的关注,人们纷纷对其进行了尝试和讨论,也有人从中牟利,但它天然的壁垒和门槛注定了它不会是一个可以完全普及的工具,即便它非常好用,而百度的文心一言则应运而生, 同样的,在文心一言发布后也是引起了很大的关注度和热烈的讨论,让我们看看搭载了GPT4.0的newbing如何

  5. ubuntu 20 无法联网或无法解析域名(2022最新办法,实测有效) - 2

    1,问题描绘和分析我因为某些不太懂的命令将DNS改为了本地回环地址,127.0.0.1然后ubuntu就没法联网了,桌面右上角那个网络的符号就变成了三个空心方块堆成的三角。(正常联网的时候是实心的)浏览器和终端的ping+网址,这两种验证方式都表明ubuntu没法联网。鉴于现有的解决办法在这个问题上要么太无脑,容易造成延伸的其他问题;要么专业术语较多而操作步骤不具体,对于新手很难实现。于是我就把我的解决过程详细记载下来,以供参考。解决历程:我查询一些解决办法,直接给出指令解决的办法只有重启网络管理器,我之前试过一次行的通,然后第二次用就不行了。后来找到一个大佬的分析,他说可能是DNS域名设置的

  6. 百度抢先发布中国版ChatGPT——文心一言,现已开通测试申请 - 2

    3月16日,百度抢先其他国内科技巨头一步,率先发布被誉为中国版ChatGPT的“文心一言”。即日起,百度也通过“百度智能云”官网正式开发“文心一言”的预约,申请云服务测试。但是,目前百度智能云只面向企业级客户开放文心一言的API接口调用服务,后续才会陆续开放给更多用户。从昨天发布会公布的内容来看,“文心一言”的定位是人工智能基座型的赋能平台,将助力金融、能源、媒体、政务等千行百业的智能化变革,最终目的是“革新生产力工具”。目前,“文心一言”已经拥有了文学创作、商业文案创作、数理推算、中文理解、多模态生成五个使用场景中的综合能力。从“文心一言”发布会效果来看,对已经预热半个多月的百度来说,可能让

  7. 【文心一言】内测版V1.0.3 沉浸式深度体验(2),有一丝失望,但也有惊喜。不知,你的感觉如何? - 2

     太在意反而适得其反,也许,路的尽头是什么并不重要。 ?作者主页:追光者♂?        ?个人简介:计算机专业硕士研究生?、2022年CSDN博客之星人工智能领域TOP4?、阿里云社区特邀专家博主?、CSDN-人工智能领域新星创作者?、预期2023年10月份·准CSDN博客专家? 【无限进步,一起追光!】        ?欢迎大家点赞?  收藏⭐  留言?        附:【文心一言】内测版沉浸式深度体验——不间断提问问题!它的表现如何??此前曾记录了初次使用【文心一言】的过程,只能说是“意犹未尽”࿰

  8. 谷歌推Bard百度推文心一言:挑战ChatGPT 竞争白热化 - 2

    雷递网 雷建平 2月7日在ChatGPT大获成功的推动下,百度宣布将推出类ChatGPT项目,该项目名字确定为文心一言,英文名ERNIEBot,三月份完成内测,面向公众开放。目前,文心一言在做上线前的冲刺。2022年9月,百度CEO李彦宏判断人工智能发展在“技术层面和商业应用层面,都有方向性改变”。据推测,百度那时候就开始做文心一言。按照谷歌和微软节奏,文心一言开放内测还有可能提前。据称,ChatGPT相关技术百度都有。百度在人工智能四层架构中,有全栈布局。包括底层的芯片、深度学习框架、大模型以及最上层的搜索等应用。文心一言,位于模型层。百度在人工智能领域深耕数十年,拥有产业级知识增强文心大模

  9. 讯飞版ChatGPT突然开始内测!我们连夜一手实测 - 2

    明敏萧箫发自凹非寺量子位|公众号QbitAI科大讯飞版ChatGPT产品,提前交卷了!就在昨夜,讯飞骤然向开发者提供了内测通道,取名为讯飞星火认知大模型对外开启内测。还有个神奇的英文名字SparkDesk,据说有“火花桌面智能助手”的意思。讯飞这波操作,多少有点“反向跳票”的意思,因为早在今年2月初,科大讯飞就被曝加紧开发中国版ChatGPT。随后国内大模型关注度陡增后,科大讯飞率先给出了deadline:5月6日上线产品。万万没想到,距离正式发布还有10天,他们毫无征兆地开启了内测邀请。从目前已经获得内测的网友评价来看,有一些人认为效果“超出预期”,但也有人反馈只是“中规中矩”。整体来看,表

  10. GPT和文心一言对比 - 2

        🤡  

随机推荐