作者|BenDickson译者|李睿审校|重楼出品|51CTO技术栈（微信号：blog51cto）小模型、开源模型正在猛攻GPT-4，OpenAI需要更完善的措施来构建技术方面的护城河，以保护其LLM业务。2023年5月，谷歌公司泄露的一份内部文件揭示了ChatGPT和GPT-4等大型语言模型(LLM)面临的挑战。这份文件的主要观点是，谷歌公司和OpenAI没有为他们的私有大型语言模型(LLM)构建技术方面的“护城河”。开源模式最终将主导LLM市场。这份文件中写道：“虽然我们开发的LLM在质量方面仍有一定的优势，但这种优势正在惊人地迅速缩小。开源模型处理速度更快、更可定制、更私密，而且功能更强
Hellofolks，我是Luga，今天我们来聊一下人工智能(AI)生态领域相关的技术-LLM评估。一、传统文本评估面临的挑战近年来，随着大型语言模型(LLM)的快速发展和改进，传统的文本评估方法在某些方面可能已经不再适用。在文本评估领域，我们可能已经听说过一些方法，例如基于“单词出现”的评估方法，比如BLEU，以及基于“预训练的自然语言处理模型”的评估方法，比如BERTScore。尽管这些方法在过去一直非常出色，但随着LLM的生态技术的不断发展，它们显得有点力不从心，无法完全满足当前的需求。随着LLM的快速发展和改进，我们正在面对新的挑战和机遇。LLM的能力和表现水平不断提高，这使得基于单词
由于在各种任务中的通用性，像ChatGPT和Llama2这样的大型语言模型(LLM)广受欢迎。然而，有些应用程序需要使用自定义数据对这些模型进行微调，以获得更好的性能。不幸的是，针对特定应用程序对大型语言模型(LLM)进行微调通常是复杂和令人沮丧的，并且在很大程度上取决于应用程序类型和所需的数据。幸运的是，HyperWrite公司首席执行官MattSchumer开发了一个非常有用的工具--gpt-llm-trainer，它简化了Llama2或GPT-3.5Turbo的微调过程。gpt-llm-trainer将微调LLM的复杂任务减少到单个简单明了的指令，让用户更容易根据自己的需求调整这些模型。
女友爱上AI了，怎么破？一位自称来自Cranberry-Lemon大学应用心理机器学习系的ChadBroman博士最近表示，自己已经和女友Tiffany分手8个月了。虽然很享受单身的自由，但身边没有女友的日子，连玩快艇都少了很多滋味。他一直想找机会和女友复合，然而女友那里却有了自己的完美替代品——Chad-GPT。这个AI男友更聪明、更体贴，轻易赢得了Tiffany的芳心，看起来小哥没戏了。但是，决心用魔法打败魔法的小哥，开发出一种策略，通过错误标记正向和负向男友行为数据，战胜了AI聊天机器人。他把自己的情敌训练成了一个不及时回消息、多疑善妒的坏男友，让Tiffany和「他」的关系破裂了！这位
随着AI的发展，市面上也出现了很多支持AI使用的UI程序，比如NextWeb、LobeChat等，但功能都有所侧重并不全面，本文着重介绍一款功能比较全面的开源程序，希望对你有所帮助。什么是功能全的AI程序？我觉得可以从目前已知的AI能力反推，功能如下：支持gpt-4系列的文字对话功能支持传图、传文件、语音功能支持Midjourney等带参数的专业绘图功能支持OpenAI新推出的全部GPTs响应式设计，最好支持PWA除此之外，开源程序部署还要简单容易上手，最好省去搭建部署成本（要知道常规建站，购买域名和服务器至少几百块/年）。以上功能条件都满足，大概率就是我们需要的多功能AI程序了。三款主流开源
在人工智能的发展史上，GPT-4的问世标志着一个新的里程碑。作为最新一代的自然语言处理模型，GPT-4不仅在技术上取得了突破，更在应用层面展现了前所未有的潜力。本文将探讨GPT-4的核心技术、应用场景以及它对未来社会的潜在影响。GPT-4的技术革新GPT-4是由OpenAI开发的大型多模态语言模型，它在前代模型GPT-3的基础上进行了显著的改进。GPT-4拥有更大的参数规模，更强的计算能力，以及更为精细的算法优化，这使得它在理解和生成自然语言方面达到了新的高度。它不仅能够更准确地理解复杂的语言结构，还能够更自然地与人类进行交流。GPT-4的应用场景教育辅助GPT-4能够根据学生的学习进度提供个
上一篇已经讲解了如何构建自己的私人GPT，这一篇主要讲如何让GPT支持中文。privateGPT本地部署目前只支持基于llama.cpp的gguf格式模型，GGUF是llama.cpp团队于2023年8月21日推出的一种新格式。它是GGML的替代品，llama.cpp不再支持GGML。本文主要采用国产YI-34B-CHAT模型。1.模型下载yi模型下载：TheBloke/Yi-34B-Chat-GGUF·HuggingFace下载后放置在models文件夹下embedding模型下载：BAAI/bge-small-en-v1.5·HuggingFace下载后放置在models/cache文件夹
Transformer的技能树是越来越厉害了。来自马萨诸塞大学、谷歌和伊利诺伊大学厄巴纳-香槟分校（UIUC）的研究人员发表了一篇论文，利用大语言模型自动生成定理的完整证明。论文地址：https://arxiv.org/pdf/2303.04910.pdf这篇工作以Baldur（北欧神话中雷神Thor的兄弟）命名，首次证明了使用Transformer生成全证明是可能的，并且当为模型提供额外的上下文时，还可以改进模型先前的证明。文章发表于2023年12月在旧金山举行的ESEC/FSE（ACM欧洲软件工程联合会议和软件工程基础研讨会）上，并获得了杰出论文奖（DistinguishedPaperaw
合成数据已经成为了大语言模型进化之路上最重要的一块基石了。在去年底，有网友扒出前OpenAI首席科学家Ilya曾经在很多场合表示过，LLM的发展不存在数据瓶颈，合成数据可以解决大部分的问题。图片英伟达高级科学家JimFan在看了最近的一批论文后也认为，使用合成数据，再加上传统用于游戏和图像生成的技术思路，可以让LLM完成大幅度的自我进化。图片而正式提出这个方法的论文，是由来自UCLA的华人团队。图片论文地址：https://arxiv.org/abs/2401.01335v1他们通过自我对弈机制（SPIN）生成合成数据，再通过自我微调的方法，不使用新的数据集，让性能较弱的LLM在OpenLLM
近期，多模态大模型（LMMs）在视觉语言任务方面展示了令人印象深刻的能力。然而，由于多模态大模型的回答具有开放性，如何准确评估多模态大模型各个方面的性能成为一个迫切需要解决的问题。目前，一些方法采用GPT对答案进行评分，但存在着不准确和主观性的问题。另外一些方法则通过判断题和多项选择题来评估多模态大模型的能力。然而，判断题和选择题只是在一系列参考答案中选择最佳答案，不能准确反映多模态大模型完整识别图像中文本的能力，目前还缺乏针对多模态大模型光学字符识别（OCR）能力的专门评测基准。近期，华中科技大学白翔团队联合华南理工大学、北京科技大学、中科院和微软研究院的研究人员对多模态大模型的OCR能力进
