最近很火的ChatGPT在AIGC很多领域独领风骚，展示了人工智能的魅力，不过它是openai发起的，对中国大陆的用户并不友好，当然有很多翻墙方法再加上可以在https://sms-activate.org/getNumber上注册虚拟手机号是可以注册的。其实也有很多类似ChatGPT的中文对话大模型也表现不俗，比如今天的主角ChatYuan，下面将介绍一下如何使用ChatYuan进行推理，总共介绍两种API调用方式：1）Huggingface；2）ModelScope；一、HuggingfaceAPI：#加载模型fromtransformersimportT5Tokenizer,T5ForC

环境介绍PC操作系统：Ubuntu22内存：32GBPython：3.8开发板华为Atlas200IDKA2内存：4GNPU：昇腾310B环境准备只需要一台Linux系统的PC机即可Python版本需要3.7、3.8、3.9准备CANNToolKit下载CANNToolKit这边为了和目前手上的200IDKA2开发板版本保持一致所以我使用了CANN6.2RC1版本的ToolKitwgethttps://ascend-repo.obs.cn-east-2.myhuaweicloud.com/CANN/CANN%206.2.RC1/Ascend-cann-toolkit_6.2.RC1_linux

一、ChatYuan-large-v2模型ChatYuan-large-v2是一个开源的支持中英双语的功能型对话语言大模型，与其他LLM不同的是模型十分轻量化，并且在轻量化的同时效果相对还不错，仅仅通过0.7B参数量就可以实现10B模型的基础效果，正是其如此的轻量级，使其可以在普通显卡、CPU、甚至手机上进行推理，而且INT4量化后的最低只需400M。v2版本相对于以前的v1版本，是使用了相同的技术方案，但在指令微调、人类反馈强化学习、思维链等方面进行了优化，主要优化点如下所示：增强了基础能力。原有上下文问答、创意性写作能力明显提升。新增了拒答能力。对于一些危险、有害的问题，学会了拒答处理。新

个人使用感受1.中英翻译超越了翻译软件,变成本地翻译最好软件了,回答英文时有时单词之间没有空格2.中文对话能基本理解意图,回答时会出现搜索式回答.相关内容,照抄网页相关内容原封不动显示出来,不精简提炼3.不会做数学,简单2+3都不会,不然会更加强大ChatYuan元语AI元语智能开发团队训练了一个类似ChatGPT的功能型对话大模型ChatYuan.类似ChatGPT模型,中文开源版,功能型对话大语言模型.功能有:支持训练端到端文本生成文本生成情感分析句子相似度零样本分类命名实体识别翻译自然语言推理问答文本纠错文本摘要FAQ问答文本分类安装步奏下载模型的是一个精简版,相对网站上运行的,毕竟个人