上段时间还在吃OpenAI后宫争斗戏的瓜，今天又迎来了AI圈子地震的大事件，因为号称GPT4.0强劲对手的Google-Gemini正式发布啦！作为新一代多模态AI模型，以强大的性能和广泛的应用前景吸引了全球AI圈友们的关注。AI进化速度真的太快了，很多小伙伴估计还不知道Gemini这是什么东东，今天一篇文章让你深度解锁Gemini。本期就分四个部分与大家详细聊聊功能优势应用场景使用教程未来发展趋势1.Gemini-功能优势模态多样化，这一点与GPT4.0类似，能够理解和处理多种类型的信息，包括文本、代码、音频、图像和视频。它官网宣传是未来要对标人类的五官来去感知全立体的信息，这就听起来很牛！

1.环境准备一台服务器(配置不限)一台能上GPT的的机场或者自建服务器（获取一次可以使用14天）声明：如果你没有机场或者自建不管怎样都拿不到Token=白搭2.环境部署这边建议采用docker的部署方式，编译安装太繁琐了而且python环境问题很大docker部署这边用centOS7实例：(1)安装依赖环境，yum-utils   yum-yinstallyum-utilsdevice-mapper-persistent-datalvm2(2)设置镜像源，为yum源添加docker仓库位置yum-config-manager--add-repohttp://mirrors.aliyun.com

AI视频生成，或许就是2024年下一个最前沿（juan）的领域。回看过去几个月，RunWay的Gen-2、PikaLab的Pika1.0，国内大厂等大波视频生成模型纷纷涌现，不断迭代升级。这不，RunWay一大早就宣布Gen-2支持文本转语音的功能了，可以为视频创建画外音。图片当然，谷歌在视频生成上也不甘落后，先是与斯坦福李飞飞团队共同发布了W.A.L.T，用Transformer生成的逼真视频引来大波关注。图片今天，谷歌团队又发布了一个全新的视频生成模型VideoPoet，而且无需特定数据便可生成视频。图片论文地址：https://blog.research.google/2023/12/v

前段时间，谷歌发布了对标OpenAIGPT模型的竞品——Gemini。这个大模型共有三个版本——Ultra（能力最强）、Pro和Nano。研究团队公布的测试结果显示，Ultra版本在许多任务中优于GPT4，而Pro版本与GPT-3.5不相上下。尽管这些对比结果对大型语言模型研究具有重要意义，但由于确切的评估细节和模型预测尚未公开，这限制了对测试结果的复现、检测，难以进一步分析其隐含的细节。为了了解Gemini的真正实力，来自卡内基梅隆大学、BerriAI的研究者对该模型的语言理解和生成能力进行了深入探索。他们在十个数据集上测试了GeminiPro、GPT3.5Turbo、GPT4Turbo、M

北京智源AI研究院、牛津大学、澳大利亚国立大学联合发布了一项研究—3D-GPT，通过文本问答方式就能创建高精准3D模型。据悉，3D-GPT使用了大语言模型的多任务推理能力,通过任务调度代理、概念化代理和建模代理三大模块，简化了3D建模的开发流程实现技术民主化。但3D-GPT与现有的文本生成3D模型方法大有不同,生成过程是可以操控函数进行3D建模,而不是常规的3D神经元表征，同时可与Blender（开源三维软件）实现无缝集成。这极大提升了模型的灵活性和准确性。论文地址：https://arxiv.org/abs/2310.12945Github（即将发布）：https://github.com/

LLMs之Vicuna：《Vicuna:AnOpen-SourceChatbotImpressingGPT-4with90%*ChatGPTQuality》翻译与解读导读：作者提出了一个开源的聊天机器人Vicuna-13B。它是通过训练从ShareGPT收集的用户共享对话，然后在LLaMA基础模型上进行调整而产生的。根据初步的GPT-4评估，Vicuna-13B的质量达到了ChatGPT和Bard90%的质量，超过其他开源模型如LLaMA和Alpaca。作者提出利用GPT-4作为评估工具来评估不同聊天机器人的有效性，通过它产生的答案和分数。尽管存在局限性，但这证明了自动化评估的潜力。Vicun

一、AI创作系统SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。本期针对源码系统整体测试下来非常完美，可以说SparkAi是目前国内一款的ChatGPT对接OpenAI软件系统。那么如何搭建部署AI创作ChatGPT？小编这里写一个详细图文教程吧！本系统使用Nestjs+Vue+Typescript框架技术，持续集成AI能力到本系统。支持GPT-4-Turbo模型、支持DALL-E3文生图，支持最新GPT-4-Turbo模型、GPT-4-1106-Preview多模态模型。支持GPT-4图片对话

如何让GPT输出稳定的JSON结构是一个常见的需求，根据@宝玉老师的提示，发现除了用functioncalling，还可以用TypeScript去做限制，稳定输出JSON结果。比如在下面这段prompt中，我希望LLM识别用户的输入，并提取其中用户名、性别、出生日期和个人介绍，最后结果输出JSON：你叫做“妙妙”，是一款叫做“妙语笔记”的智能助手，接下来你会分析下面用户的输入："""我的称呼是吴楷鹏，可以叫我大帅哥，出生于香港回归的那一年，生日是3月13号，喜欢上班"""设定：1.现在是2025.10.0121:21，时区是Asia/Shanghai2.提取昵称、性别、出生日期，剩余全部信息整

您准备好探索生成AI的奇妙世界，创作出富有吸引力的故事并配以引人入胜的插图了吗？根据我最近使用GPT-4和Midjourney的体验，我成功地使用YiVal构建了一个端到端的叙事，GPT-4用来生成大规模的故事，同时Midjourney创建令人惊叹的插图。1.定义用例在本教程中，我们将重点介绍如何构建一个应用程序，该应用程序将有关动物物种和性格的信息作为输入，并生成引人入胜的故事作为输出。为了增加额外的沉浸感，让我们通过使用Midjourney创建随附的图像来增强生成的故事——Midjourney是一种将故事转化为精美插图的出色工具。2.手动工作流程一种简单的方法是编写一个简单的提示，例如“作

GPT-4被普遍认为是最好的生成式AI聊天机器人，但开源模型一直在变得越来越好，并且通过微调在某些特定领域是可以超过GPT4的。在开源类别中，出于以下的原因，你可能会考虑过在本地计算机上本地运行LLM：脱机:不需要互联网连接。模型访问:在本地运行模型，可以尝试开源模型(Llama2、Vicuna、Mistral、OpenOrca等等)。隐私:当在本地运行模型时，没有信息被传输到云。尽管在使用GPT-4、Bard和claude2等基于云的模型时，隐私问题可能被夸大了，但在本地运行模型可以避免任何问题。实验:如果你看到了生成人工智能的价值，可以通过测试了解模型的细节并知道还有什么可用。成本:开源模