草庐IT

复旦NLP组开源PPO-Max:32页论文详解RLHF背后秘密,高效对齐人类偏好

近几年,大型语言模型(LLM)技术飞速发展,以ChatGPT为首的对话助手更是将AI技术实用性增强。语言模型开发的最主要目标是成为「以人为中心」的助手,具有乐于助人、诚实且无害的性格特质,能够与人类保持一致的价值观,而基于人类反馈的强化学习(RLHF)则是支撑这一目标的关键技术。目前的技术路线通常包括衡量人类偏好的奖励模型、优化策略模型输出的近端策略优化(ProximalPolicyOptimization,PPO)以及提高逐步推理能力的过程监督(processsupervision)。但现状是,由于奖励设计、环境交互、智能体训练等方面仍然存在挑战,再加上大型语言模型的训练需要付出巨大的试错成

震惊!火爆全网的ChatGPT背后使用的数据库居然是……

摘要:ChatGPT承认了自己背后使用的数据库是Cassandra。OpenAI最近发布的AI驱动的智能聊天机器人ChatGPT在互联网上掀起了一阵风暴,热衷于尝试这一新AI成果的网民不在少数。ChatGPT针对网友广泛的问题提供了非常有针对性的回答,其不可思议的能力成为各大媒体平台的头条新闻,其应用内部的算法模型、应用领域、实现原理也被大家广泛谈论和探索,小编作为数据库从业者,自然也想探秘一番,让我们一起往下看吧。狂野的发文最初是领英上的一篇发文引起了大家的关注,北美数据库公司DataStax的开发者与Cassandra数据库开发者帕特里克在Linkedin上发文说到,这是一个非常狂野与充满

震惊!火爆全网的ChatGPT背后使用的数据库居然是……

摘要:ChatGPT承认了自己背后使用的数据库是Cassandra。OpenAI最近发布的AI驱动的智能聊天机器人ChatGPT在互联网上掀起了一阵风暴,热衷于尝试这一新AI成果的网民不在少数。ChatGPT针对网友广泛的问题提供了非常有针对性的回答,其不可思议的能力成为各大媒体平台的头条新闻,其应用内部的算法模型、应用领域、实现原理也被大家广泛谈论和探索,小编作为数据库从业者,自然也想探秘一番,让我们一起往下看吧。狂野的发文最初是领英上的一篇发文引起了大家的关注,北美数据库公司DataStax的开发者与Cassandra数据库开发者帕特里克在Linkedin上发文说到,这是一个非常狂野与充满

AI作画的背后是怎么一步步实现的?一文详解AI作画算法原理+性能评测

前言“AI作画依赖于多模态预训练,实际上各类作画AI模型早已存在,之所以近期作品质量提升很多,可能是因为以前预训练没有受到重视,还达不到媲美人类的程度,但随着数据量、训练量的增多,最终达到了现在呈现的效果。”远在AI作画还没有爆火之前,深度学习就已经可以根据图片库训练学习生成一些真假难辨的图片了,那时候仅仅依赖的是GAN神经对抗网络算法实现,现在随着模型的迭代优化,已经有了越来越多的模型能够实现一些较为复杂的图片生成。AI作画用以学习的“教材”往往都是现成的人类绘画作品,而随着数量庞大的训练数据的增加,AI对人类作品意境的“临摹”技巧也越来越高明。对于大多数普通人来说,进行AI绘图创作无疑是新

AI作画的背后是怎么一步步实现的?一文详解AI作画算法原理+性能评测

前言“AI作画依赖于多模态预训练,实际上各类作画AI模型早已存在,之所以近期作品质量提升很多,可能是因为以前预训练没有受到重视,还达不到媲美人类的程度,但随着数据量、训练量的增多,最终达到了现在呈现的效果。”远在AI作画还没有爆火之前,深度学习就已经可以根据图片库训练学习生成一些真假难辨的图片了,那时候仅仅依赖的是GAN神经对抗网络算法实现,现在随着模型的迭代优化,已经有了越来越多的模型能够实现一些较为复杂的图片生成。AI作画用以学习的“教材”往往都是现成的人类绘画作品,而随着数量庞大的训练数据的增加,AI对人类作品意境的“临摹”技巧也越来越高明。对于大多数普通人来说,进行AI绘图创作无疑是新

先进数据中心背后,“东数西算”的三重意志

2月17日,国内8地启动建设国家算力枢纽节点,并规划了10个国家数据中心集群,标志着“东数西算”工程全面启动。“东数西算”是当之无愧的时代棋局,规模庞大,影响深远,难以窥知全貌,只能从草蛇灰线中去探寻未来发展的脉络。其中,全国一体化算力网络八大枢纽节点之一、具有“承东启西”地理意义的成渝国家枢纽节点(重庆)正式启动建设,显然是一个十分重要的事件线索。由中科曙光承建的西部(重庆)科学城先进数据中心,则被列入了重庆数据中心集群建设起步阶段,为“东数西算”工程提供样板案例。(西部〈重庆〉科学城先进数据中心效果图)数据中心领域有个共识,算力规划如同修路,修得太宽没车跑,资源浪费;车多了之后又会嫌路太窄

先进数据中心背后,“东数西算”的三重意志

2月17日,国内8地启动建设国家算力枢纽节点,并规划了10个国家数据中心集群,标志着“东数西算”工程全面启动。“东数西算”是当之无愧的时代棋局,规模庞大,影响深远,难以窥知全貌,只能从草蛇灰线中去探寻未来发展的脉络。其中,全国一体化算力网络八大枢纽节点之一、具有“承东启西”地理意义的成渝国家枢纽节点(重庆)正式启动建设,显然是一个十分重要的事件线索。由中科曙光承建的西部(重庆)科学城先进数据中心,则被列入了重庆数据中心集群建设起步阶段,为“东数西算”工程提供样板案例。(西部〈重庆〉科学城先进数据中心效果图)数据中心领域有个共识,算力规划如同修路,修得太宽没车跑,资源浪费;车多了之后又会嫌路太窄

AI孙燕姿爆火背后:语音转换技术so-vits-svc

AIGC的风最近终于吹到了语音生成领域。上面视频中"孙燕姿"翻唱周杰伦的《七里香》,该歌是AI歌唱,并非孙燕姿本人。背后核心技术来自声音转换,voiceconvertion,而不是之前我们讲过的声音克隆,voiceclone。语音转换语音转换,voiceconvertion,简称VC。简单来说,就是把一个人的声音转换成另一个人的声音,保留说话或者歌唱的内容。可见模型的输入是音频,而不像TTS任务,输入为文本。一般VC任务都包含以下三个模块,从音频中提取信息的contentencoder,常用特征PPG,现在也有自监督模型去提特征如Hubert;第二个模型是声学模型,这层主要是将音频的特征信息,

c# - 有没有办法导航到接口(interface)背后方法的实际实现?

在VisualStudio中,当您右键单击一个方法调用时,您将转到该方法在类中的实现,除非您通过接口(interface)访问该方法:在这种情况下,您将转到接口(interface)方法而不是实际方法实现。是否有方法/提示(快捷键或其他)来访问此实际实现?否则你只能添加一些评论来记住你在哪里实现了它,这真的没有效率而且容易出错!更新:有趣的答案,但我不是很满意,因为所有这些都很麻烦。我举一个具体的例子:IInterfaceiInterface=someObject;iInterface.someMethod();实际上,如果VisualStudio稍微聪明一点,只看方法调用上方的一行,

c# - 有没有办法导航到接口(interface)背后方法的实际实现?

在VisualStudio中,当您右键单击一个方法调用时,您将转到该方法在类中的实现,除非您通过接口(interface)访问该方法:在这种情况下,您将转到接口(interface)方法而不是实际方法实现。是否有方法/提示(快捷键或其他)来访问此实际实现?否则你只能添加一些评论来记住你在哪里实现了它,这真的没有效率而且容易出错!更新:有趣的答案,但我不是很满意,因为所有这些都很麻烦。我举一个具体的例子:IInterfaceiInterface=someObject;iInterface.someMethod();实际上,如果VisualStudio稍微聪明一点,只看方法调用上方的一行,