草庐IT

绗旇鏈氨鑳借繍琛岀殑ChatGPT骞虫浛鏉ヤ簡锛岄檮瀹屾暣鐗堟妧鏈姤鍛?/h1>

浣滆€咃細鏈哄櫒涔嬪績 2023-03-30 原文

鑷粠 OpenAI 鍙戝竷 ChatGPT 鍚庯紝鏈€杩戝嚑涓湀鑱婂ぉ鏈哄櫒浜虹儹搴︿笉鍑忋€?/span>

铏界劧 ChatGPT 鍔熻兘寮哄ぇ锛屼絾 OpenAI 鍑犱箮涓嶅彲鑳藉皢鍏跺紑婧愩€備笉灏戜汉閮藉湪鍋氬紑婧愭柟闈㈢殑鍔姏锛屾瘮濡傚墠娈垫椂闂?Meta 寮€婧愮殑 LLaMA銆傚叾鏄竴绯诲垪妯″瀷鐨勬€荤О锛屽弬鏁伴噺浠?70 浜垮埌 650 浜夸笉绛夛紝鍏朵腑锛?30 浜垮弬鏁扮殑 LLaMA 妯″瀷銆屽湪澶у鏁板熀鍑嗕笂銆嶅彲浠ヨ儨杩囧弬鏁伴噺杈?1750 浜跨殑 GPT-3銆?/span>

LLaMA 鐨勫紑婧愬彲鏄埄濂戒紬澶氱爺绌惰€咃紝姣斿鏂潶绂忓湪 LLaMA 鐨勫熀纭€涓婂姞鍏ユ寚浠ゅ井璋冿紙instruct tuning锛夛紝璁粌浜嗕竴涓悕涓?Alpaca锛堢緤椹硷級鐨?70 浜垮弬鏁版柊妯″瀷锛堝熀浜?LLaMA 7B锛夈€傜粨鏋滄樉绀猴紝鍙湁 7B 鍙傛暟鐨勮交閲忕骇妯″瀷 Alpaca 鎬ц兘鍙缇?GPT-3.5 杩欐牱鐨勮秴澶ц妯¤瑷€妯″瀷銆?/span>

鍙堟瘮濡傦紝鎴戜滑鎺ヤ笅鏉ヨ浠嬬粛鐨勮繖涓ā鍨?GPT4All锛屼篃鏄竴绉嶅熀浜?LLaMA 鐨勬柊鍨?7B 璇█妯″瀷銆傞」鐩笂绾夸袱澶╋紝Star 閲忓凡缁忕獊鐮?7.8k銆?/span>

椤圭洰鍦板潃锛歨ttps://github.com/nomic-ai/gpt4all

绠€鍗曟潵璁诧紝GPT4All 鍦?GPT-3.5-Turbo 鐨?800k 鏉℃暟鎹笂杩涜璁粌锛屽寘鎷枃瀛楅棶棰樸€佹晠浜嬫弿杩般€佸杞璇濆拰浠g爜銆?/span>

鏍规嵁椤圭洰鏄剧ず锛孧1 Mac銆乄indows 绛夌幆澧冮兘鑳借繍琛屻€?/span>

鎴戜滑鍏堟潵鐪嬬湅鏁堟灉銆傚涓嬪浘鎵€绀猴紝鐢ㄦ埛鍙互鍜?GPT4All 杩涜鏃犻殰纰嶄氦娴侊紝姣斿璇㈤棶璇ユā鍨嬶細銆屾垜鍙互鍦ㄧ瑪璁版湰涓婅繍琛屽ぇ鍨嬭瑷€妯″瀷鍚楋紵銆岹PT4All 鍥炵瓟鏄細銆屾槸鐨勶紝浣犲彲浠ヤ娇鐢ㄧ瑪璁版湰鏉ヨ缁冨拰娴嬭瘯绁炵粡缃戠粶鎴栧叾浠栬嚜鐒惰瑷€锛堝鑻辫鎴栦腑鏂囷級鐨勬満鍣ㄥ涔犳ā鍨嬨€傞噸瑕佺殑鏄紝浣犻渶瑕佽冻澶熷彲鐢ㄧ殑鍐呭瓨 锛圧AM锛?鏉ラ€傚簲杩欎簺妯″瀷鐨勫ぇ灏忊€︹€︺€?/span>

鎺ヤ笅鏉ワ紝濡傛灉浣犱笉娓呮鍒板簳闇€瑕佸灏戝唴瀛橈紝浣犺繕鍙互缁х画璇㈤棶 GPT4All锛岀劧鍚庡畠缁欏嚭鍥炵瓟銆備粠缁撴灉鏉ョ湅锛孏PT4All 杩涜澶氳疆瀵硅瘽鐨勮兘鍔涜繕鏄緢寮虹殑銆?nbsp;

鍦?M1 Mac 涓婄殑瀹炴椂閲囨牱

鏈変汉灏嗚繖椤圭爺绌剁О涓恒€屾敼鍙樻父鎴忚鍒欙紝鏈変簡 GPT4All 鐨勫姞鎸侊紝鐜板湪鍦?MacBook 涓婃湰鍦板氨鑳借繍琛?GPT銆傘€?/span>

涓?GPT-4 鐩镐技鐨勬槸锛孏PT4All 涔熸彁渚涗簡涓€浠姐€屾妧鏈姤鍛娿€嶃€?/span>

鎶€鏈姤鍛婂湴鍧€锛歨ttps://s3.amazonaws.com/static.nomic.ai/gpt4all/2023_GPT4All_Technical_Report.pdf

杩欎唤鍒濇鐨勬妧鏈姤鍛婄畝瑕佹弿杩颁簡 GPT4All 鐨勬惌寤虹粏鑺傘€傜爺绌惰€呭叕寮€浜嗘敹闆嗙殑鏁版嵁銆佹暟鎹暣鐞嗙▼搴忋€佽缁冧唬鐮佸拰鏈€缁堢殑妯″瀷鏉冮噸锛屼互淇冭繘寮€鏀剧爺绌跺拰鍙噸澶嶆€э紝姝ゅ杩樺彂甯冧簡妯″瀷鐨勯噺鍖?4 浣嶏紙quantized 4-bit锛夌増鏈紝杩欐剰鍛崇潃鍑犱箮浠讳綍浜洪兘鍙互鍦?CPU 涓婅繍琛岃妯″瀷銆?/span>

鎺ヤ笅鏉ワ紝璁╂垜浠湅鐪嬭繖浠芥姤鍛婁腑鍐欎簡浠€涔堛€?/span>

GPT4All 鎶€鏈姤鍛?/h4>

1銆佹暟鎹敹闆嗗拰鏁寸悊

鍦?2023 骞?3 鏈?20 鏃ヨ嚦 2023 骞?3 鏈?26 鏃ユ湡闂达紝鐮旂┒鑰呬娇鐢?GPT-3.5-Turbo OpenAI API 鏀堕泦浜嗗ぇ绾?100 涓囧 prompt 鍥炵瓟銆?/span>

棣栧厛锛岀爺绌惰€呴€氳繃鍒╃敤涓変釜鍏紑鍙敤鐨勬暟鎹泦鏉ユ敹闆嗕笉鍚岀殑闂 /prompt 鏍锋湰锛?/span>

  • LAION OIG 鐨勭粺涓€ chip2 瀛愰泦
  • Stackoverflow Questions 鐨勪竴涓殢鏈哄瓙鏍锋湰闆?Coding questions
  • Bigscience/P3 瀛愭牱鏈泦杩涜鎸囦护璋冧紭

鍙傝€冩柉鍧︾澶у Alpaca 椤圭洰 (Taori et al., 2023)锛岀爺绌惰€呭鏁版嵁鍑嗗鍜屾暣鐞嗙粰浜堜簡澶ч噺鍏虫敞銆傚湪鏀堕泦浜嗘渶鍒濈殑 prompt 鐢熸垚瀵圭殑鏁版嵁闆嗗悗锛屼粬浠皢鏁版嵁鍔犺浇鍒?Atlas 杩涜鏁寸悊鍜屾竻鐞嗭紝鍒犻櫎浜嗘墍鏈?GPT-3.5-Turbo 鏈兘鍝嶅簲 prompt 骞朵骇鐢熺暩褰㈣緭鍑虹殑鏍锋湰銆傝繖浣垮緱鏍锋湰鎬绘暟鍑忓皯鍒?806199 涓珮璐ㄩ噺鐨?prompt - 鐢熸垚瀵广€傛帴涓嬫潵锛岀爺绌惰€呬粠鏈€缁堢殑璁粌鏁版嵁闆嗕腑鍒犻櫎浜嗘暣涓?Bigscience/P3 瀛愰泦锛屽洜涓哄畠鐨勮緭鍑哄鏍锋€ч潪甯镐綆銆侾3 鍖呭惈璁稿鍚岃川鍖栫殑 prompt锛岃繖浜?prompt 浠?GPT-3.5-Turbo 涓骇鐢熶簡绠€鐭€屽悓璐ㄥ寲鐨勫弽搴斻€?/span>

杩欑鎺掗櫎娉曚骇鐢熶簡涓€涓寘鍚?437,605 涓?prompt - 鐢熸垚瀵圭殑鏈€缁堝瓙闆嗭紝濡傚浘 2 鎵€绀恒€?/span>

妯″瀷璁粌

鐮旂┒鑰呭湪 LLaMA 7B (Touvron et al., 2023) 鐨勪竴涓疄渚嬩腑灏嗗嚑涓ā鍨嬭繘琛屽井璋冦€備粬浠渶鍒濈殑鍏紑鐗堟湰鐩稿叧鐨勬ā鍨嬫槸鐢?LoRA (Hu et al., 2021) 鍦?437605 涓悗澶勭悊鐨勪緥瀛愪笂浠?4 涓?epoch 璁粌鐨勩€傝缁嗙殑妯″瀷瓒呭弬鏁板拰璁粌浠g爜鍙互鍦ㄧ浉鍏崇殑璧勬簮搴撳拰妯″瀷璁粌鏃ュ織涓壘鍒般€?/span>

鍙噸澶嶆€?/strong>

鐮旂┒鑰呭彂甯冧簡鎵€鏈夌殑鏁版嵁锛堝寘鎷湭浣跨敤鐨?P3 generations锛夈€佽缁冧唬鐮佸拰妯″瀷鏉冮噸锛屼緵绀惧尯杩涜澶嶇幇銆傛劅鍏磋叮鐨勭爺绌惰€呭彲浠ュ湪 Git 瀛樺偍搴撲腑鎵惧埌鏈€鏂扮殑鏁版嵁銆佽缁冪粏鑺傚拰妫€鏌ョ偣銆?/span>

鎴愭湰

鐮旂┒鑰呭ぇ姒傜敤浜嗗洓澶╃殑鏃堕棿鍒朵綔杩欎簺妯″瀷锛孏PU 鎴愭湰涓?800 缇庡厓锛堜粠 Lambda 瀹為獙瀹ゅ拰 Paperspace 绉熺殑锛屽叾涓寘鎷嚑娆″け璐ョ殑璁粌锛夛紝姝ゅ杩樻湁 500 缇庡厓鐨?OpenAI API 璐圭敤銆?/span>

鏈€缁堝彂甯冪殑妯″瀷 gpt4all-lora 鍙互鍦?Lambda 瀹為獙瀹ょ殑 DGX A100 8x 80GB 涓婄敤澶х害 8 灏忔椂璁粌瀹屾垚锛屾€绘垚鏈负 100 缇庡厓銆?/span>

杩欎釜妯″瀷鍙互鍦ㄦ櫘閫氱瑪璁版湰涓婅繍琛岋紝鐪熷氨鍍忕綉鍙嬭鐨勩€岄櫎浜嗙數璐逛箣澶栵紝娌℃湁浠讳綍鎴愭湰銆傘€?/span>

璇勪及

鐮旂┒鑰呬娇鐢?SelfInstruct 璁烘枃 (Wang et al., 2022) 涓殑浜虹被璇勪及鏁版嵁瀵硅妯″瀷杩涜浜嗗垵姝ヨ瘎浼般€傛姤鍛婅繕瀵规瘮浜嗚妯″瀷涓庡凡鐭ユ渶濂界殑鍏紑鐨?alpaca-lora 妯″瀷锛堣妯″瀷鐢?huggingface 鐨勭敤鎴?chainyo 鎻愪緵锛夌殑 ground truth 鍥版儜搴︺€備粬浠彂鐜帮紝鎵€鏈夌殑妯″瀷鍦ㄥ皯鏁颁换鍔′笂閮芥湁闈炲父澶х殑鍥版儜搴︼紝骞朵笖鎶ュ憡鐨勫洶鎯戝害鏈€澶т负 100銆備笌 Alpaca 鐩告瘮锛屽湪杩欎釜鏀堕泦鐨勬暟鎹泦涓婅繘琛屽井璋冪殑妯″瀷鍦?Self-Instruct 璇勪及涓〃鐜板嚭浜嗘洿浣庣殑鍥版儜搴︺€傜爺绌惰€呰〃绀猴紝杩欎釜璇勪及涓嶆槸璇﹀敖鐨勶紝浠嶅瓨鍦ㄨ繘涓€姝ョ殑璇勪及绌洪棿 鈥斺€?浠栦滑娆㈣繋璇昏€呭湪鏈湴 CPU 涓婅繍琛岃妯″瀷锛堟枃浠惰 Github锛夛紝骞跺瀹冪殑鑳藉姏鏈変竴涓畾鎬х殑璁よ瘑銆?/span>

鏈€鍚庯紝闇€瑕佹敞鎰忕殑鏄紝浣滆€呭叕甯冧簡鏁版嵁鍜岃缁冪粏鑺傦紝甯屾湜瀹冭兘鍔犻€熷紑鏀剧殑 LLM 鐮旂┒锛岀壒鍒槸鍦ㄥ榻愬拰鍙В閲婃€ч鍩熴€侴PT4All 妯″瀷鐨勬潈閲嶅拰鏁版嵁浠呯敤浜庣爺绌剁洰鐨勶紝骞惰幏寰楄鍙紝绂佹浠讳綍鍟嗕笟浣跨敤銆侴PT4All 鏄熀浜?LLaMA 鐨勶紝LLaMA 鍏锋湁闈炲晢涓氳鍙€傚姪鐞嗘暟鎹槸浠?OpenAI 鐨?GPT-3.5-Turbo 鏀堕泦鐨勶紝鍏朵娇鐢ㄦ潯娆剧姝㈠紑鍙戜笌 OpenAI 杩涜鍟嗕笟绔炰簤鐨勬ā鍨嬨€?/span>

有关绗旇鏈氨鑳借繍琛岀殑ChatGPT骞虫浛鏉ヤ簡锛岄檮瀹屾暣鐗堟妧鏈姤鍛?/h1>的更多相关文章

  1. 亚特兰蒂斯的回声(中文版): chatGPT 的杰作 - 2

    英文版英文链接关注公众号在“亚特兰蒂斯的回声”中踏上一段难忘的冒险之旅,深入未知的海洋深处。足智多谋的考古学家AriaSeaborne偶然发现了一件古代神器,揭示了一张通往失落之城亚特兰蒂斯的隐藏地图。在她神秘的导师内森·兰登教授的指导和勇敢的冒险家亚历克斯·默瑟的帮助下,阿丽亚开始了一段危险的旅程,以揭开这座传说中城市的真相。他们的冒险之旅带领他们穿越险恶的大海、神秘的岛屿和充满陷阱和谜语的致命迷宫。随着Aria潜在的魔法能力的觉醒,她被睿智勇敢的QueenNeria的幻象所指引,她让她为即将到来的挑战做好准备。三人组揭开亚特兰蒂斯令人惊叹的隐藏文明,并了解到邪恶的巫师马拉卡勋爵试图利用其古

  2. FOHEART H1数据手套驱动Optitrack光学动捕双手运动(Unity3D) - 2

    本教程将在Unity3D中混合Optitrack与数据手套的数据流,在人体运动的基础上,添加双手手指部分的运动。双手手背的角度仍由Optitrack提供,数据手套提供双手手指的角度。 01  客户端软件分别安装MotiveBody与MotionVenus并校准人体与数据手套。MotiveBodyMotionVenus数据手套使用、校准流程参照:https://gitee.com/foheart_1/foheart-h1-data-summary.git02  数据转发打开MotiveBody软件的Streaming,开始向Unity3D广播数据;MotionVenus中设置->选项选择Unit

  3. 智能客服 | 浅谈人工智能聊天机器人ChatGPT - 2

    2022年底,OpenAI的预训练模型ChatGPT给人工智能领域的爱好者和研究人员留下了深刻的印象和启发,他展现的惊人能力将人工智能的研究和应用热度推向高潮,网上也充斥着和ChatGPT的各种聊天,他可以作诗、写小说、写代码、讨论疫情问题等。下面就是一些他的神回复:人命关天的坑: 写歌,留给词作者的机会不多了。。。 回答人类怎么样面对人工智能: 什么是ChatGPT?借用网上的一段介绍,ChatGPT是由人工智能研究实验室OpenAI在2022年11月30日发布的全新聊天机器人模型,一款人工智能技术驱动的自然语言处理工具。它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动

  4. 【ChatGPT】ChatGPT 的 N 种用法 - 2

    目录ChatGPT简介技术原理应用未来发展ChatGPT的10 种用法ChatGPT简介ChatGPT是一种基于深度学习的大型语言模型,由OpenAI公司开发。技术原理GPT是GenerativePre-trainedTransformer的缩写,意为生成式预训练变压器。它的技术原理是使用了一个基于注意力机制的变压器(Trans

  5. 「想体验ChatGPT中文聊天?」那快进来,你用不上算我输 - 2

    ♥️作者:白日参商🤵‍♂️个人主页:白日参商主页♥️坚持分析平时学习到的项目以及学习到的软件开发知识,和大家一起努力呀!!!🎈🎈加油!加油!加油!加油🎈欢迎评论💬点赞👍🏻收藏📂加关注+!「想体验ChatGPT中文聊天?」那快进来,你用不上算我输项目场景:项目条件一、那就开始吧1、安装ChatGPT-Desktop2、OpenAPI设置二、使用实例恭喜你!!!配置成功了!!!API和URL都是博主免费提供给大家的!!!恭喜你!!!配置成功了!!!API和URL都是博主免费提供给大家的!!!🎈🎈加油!加油!加油!加油🎈欢迎评论💬点赞👍🏻收藏📂加关注+!项目场景:近几个月可以说ChatGPT是火得一

  6. 半个月狂飙1000亿,ChatGPT概念股凭什么? - 2

    ChatGPT掀起了AI股历史上最疯狂的一轮市值狂飙。自春节后至今,ChatGPT概念股开始了暴走模式,短短半月时间,海天瑞声、开普云等ChatGPT概念股市值累计增加了近1400亿。如此的爆炸效应,得益于ChatGPT所展现出商业化落地的巨大潜力。要知道,在此之前,无论是十年AI投入超千亿的百度,还是困在硬件化里的AI四小龙,都在重复着AI商业化难落地的故事。ChatGPT的出现,让AI从生产力的赋能者直接成为一种创造生产力的工具。随着订阅模式的推出,ChatGPT已经成为第一个以AI技术为核心直接变现的消费者应用。本文持有以下核心观点:1、ChatGPT是AI技术迭代的受益者。过去受限技术

  7. 未来的趋势————以ChatGPT为标杆的AI对生活的影响是巨大的 - 2

    文章目录前言1.AI的发展历程2.我是如何接触到人工智能的概念和产品的3.对于ChatGPT的一点看法4.AI对大学毕业生的职业发展的利与弊5.对于AI的思考和问题前言随着ChatGPT的爆火,生成式AI,大模型的人工智能被越来越多的人注意到,同时他也带来了许多问题。本文将对几方面进行探讨。1.AI的发展历程远古时期在公元前第一个千禧年,中国,印度和希腊哲学家都提出了一些推理的研究理论,比如亚里士多德(Aristotle)进行了演绎推理三段论的完整分析,欧几里得(Euclid)所著Elements是一种形式推理的模型,MuḥammadibnMūsāal-Khwārizmī,发明了代数学,即我们

  8. 山石发声|风暴眼中的ChatGPT,看NLPer怎么说? - 2

    当前科技领域最有热度的话题,无疑是OpenAI新提出的大规模对话语言模型ChatGPT,一经发布上线,短短五天就吸引了百万用户,仅一个多月的时间月活已然破亿,并且热度一直在持续发酵,各行各业的从业人员、企业机构都开始体验关注甚至自研“类ChatGPT”模型。这里,笔者从一位NLP从业人员的角度谈一谈对ChatGPT的一些看法和思考。1、ChatGPT诞生之路1.1BERT2018年,谷歌提出BERT(BidirectionalEncoderRepresentationfromTransformer)模型,一时之间疯狂屠榜,在各种自然语言处理领域建模任务中取得了最佳的成绩,NLP自此进入了大规模

  9. ChatGPT教程之深入了解魔术背后的技术 - 2

    解开谜团:深入探索ChatGPT的技术奇迹。ChatGpt无处不在,无论是在播客、博客、YouTube还是社交媒体上。当我注意到这项新技术如此受欢迎时,我决定试一试,我被震惊了!有很多关于ChatGpt及其魔力的博客,但在这篇博客中,我将深入探讨其内部技术及其工作原理!ChatGpt简介根据OpenAI,ChatGpt被描述为:“我们训练了一个名为ChatGpt的模型,它以对话方式进行交互。对话格式使ChatGpt可以回答后续问题、承认错误、挑战不正确的前提并拒绝不适当的请求。ChatGPT是InstructGPT的兄弟模型,它经过训练可以按照提示中的说明进行操作并提供详细的响应。”OpenA

  10. 火爆的ChatGPT快速学成,要看哪些书? - 2

    以前我们经常打趣说:***,你out了!当然了,玩笑成分居多。但是如果作为一名技术人员,现在还没有听说过ChatGPT,那么你可能真的“out”了。比尔·盖茨说,ChatGPT的重要性堪比互联网的发明,甚至它“将改变我们的世界”。ChatGPT得到科技界大佬的如此推崇,那么,ChatGPT到底是什么?ChatGPT是2022年11月底,美国OpenAI公司推出的一款人工智能聊天机器人。两个月后,ChatGPT的月活用户已经突破1亿,成为有史以来增长速度最快的消费者应用程序。ChatGPT功能极其强大,它能够通过学习和理解人类的语言进行对话,还能根据上下文进行互动,实现像人类一样的聊天交流。除了

随机推荐