AI之PTM：预训练模型技术总结与进展(更新中)目录预训练模型技术1.系统研究超大规模智能模型发展和影响的新兴领域已经形成(1)、OpenAI提出PALMS数据集构建和模型微调方法(2)、PercyLiang、李飞飞等学者提出基础模型概念(3)、DeepMind发表语言模型社会危害评估论文2.超大规模预训练模型研发竞赛进入白热化阶段(1)、谷歌研发万亿规模预训练模型SwitchTransformer(2)、智源发布超大规模智能模型悟道1.0/2.0(3)、微软、英伟达发布预训练模型Megatron-Turing(4)、DeepMind发布预训练模型Gopher(5)、其他企业持续研发超大规模预
过去三十多年，卫星通信和地面蜂窝移动通信从竞争逐渐走向融合。5GNTN基于3GPP开放标准，星地产业链高度复用，优势突出，近年来逐渐成为产业关注的热点，本文简要分析星地融合通信发展趋势及5GNTN的产业进展。文|开山全文4000字，预计阅读10分钟（一）从竞争走向融合过去三十多年，卫星通信和地面蜂窝移动通信从竞争逐渐走向融合。20世纪90年代，低轨道卫星通信（铱星系统）和地面蜂窝移动通信（GSM）是竞争关系。最早的低轨卫星是铱星系统（Iridium），77颗卫星拉开低轨卫星通信的序幕，与地面蜂窝通信系统基本同期，铱星系统采用星上处理和星间链路技术，面向消费者，手持卫星终端（卫星手机）可以在地球
AIGC（AI-GeneratedContent，AI生成内容）是指基于生成对抗网络（GAN）、大型预训练模型等人工智能技术的方法，通过对已有数据进行学习和模式识别，以适当的泛化能力生成相关内容的技术。类似的概念还包括合成式媒体（Syntheticmedia），它主要指基于人工智能生成的文字、图像、音频等媒体内容。AIGC是AI大模型，特别是自然语言处理模型的一种重要应用；ChatGPT则是AIGC在聊天对话场景的一个具体应用。AIGC可以生成的内容很多，具体的种类和范围可能随着技术的发展而不断扩大。目前，一些常见的AIGC内容包括：文字：最基本的AIGC内容，可以与人类进行实时对话，生成不同
关注公号回复“220323”下载71页PDF版报告原文2021年初，「5G行业应用」曾推出《5G最新进展深度解析》系列，包括技术应用篇、国内市场篇和全球市场篇，得到读者朋友很大反响。一年之后，我们再次推出《5G最新进展深度解析2022版》，通过系统化的梳理和详实的数据，全景式深入解析过去一年5G在技术、商业及应用方面的进展。本期技术篇，包括5G基础关键技术，R-16、R-17增强，5G-Advanced演进，以及6G预研。后续将陆续推出《应用篇》、《全球市场篇》和《国内市场篇》，敬请期待。文 | 吴冬升技术篇END▎推荐阅读政策解读系列之一：混行试点、准入管理、无人配送，自动驾驶政策持续突破政
近期，2023年度视觉与学习青年学者研讨会(VisionAndLearningSEminar,VALSE)圆满落幕。会议由中国人工智能学会、中国图象图形学学会主办，江南大学和无锡国家高新技术产业开发区管理委员会承办。超五千名专家学者、知名高校师生以及来自OPPO、华为、百度、合合信息等科技企业的研发人员齐聚大会，共探计算机视觉、图像处理、模式识别与机器学习前沿技术的发展与应用。大会现场 VALSE是一个面向计算机视觉与机器学习领域国内外华人青年学者的高规格学术研讨会。本届大会共呈现了3个大会主旨报告、4个大会特邀报告、12个年度进展报告(APR)报告、4场讲习班(Tutorial)、20场研讨
摘要随着云计算的迅速发展，为保护用户外包数据的安全和用户隐私，越来越多的企业和用户选择将数据加密后上传。因此，对云服务器上加密数据的有效搜索成为用户关注的重点。可搜索加密技术是允许用户对密文数据进行检索的密码原语，利用云服务器的强大计算资源进行关键词检索。根据使用密码体制的不同，介绍了可搜索加密的分类，将其分为对称可搜索加密和非对称可搜索加密。基于这种分类，首先介绍了典型方案，之后从可搜索加密的语句表达能力和安全性2方面进行介绍，并指出了该领域当前研究中急需解决的问题及未来研究方向。并且针对以下安全和功能问题进行改进(1）在可搜索加密的方案中，如何保证检索结果的正确性和完整性?(2）在可搜索加
最近多模态相关的论文好火，原因就不多说了（懂得都懂），因为有不少同学来问了，我就火速整理了一部分来和你们分享。（没更完，后续更新）主要整理了6篇最新的多模态论文，还有10+篇经典的文章，论文包大家可以看文末！6篇最新论文1.CLIP-VG:Self-pacedCurriculumAdaptingofCLIPviaExploitingPseudo-LanguageLabelsforVisualGrounding论文链接：https://arxiv.org/pdf/2305.08685作者提出了CLIP-VG，利用预训练模型CLIP和伪语言标签进行自定进度课程适应，实现无监督地理定位。另外，作者也
AI：2023年6月9日北京智源大会演讲分享之基础模型前沿技术论坛—《工程化打造AI中的CPU》、《构建一个AI系统:在LLM上应用带有RLHF来推进定制》、《多模态预训练的进展回顾与展望》、《扩展大型语言模型:从幂律到稀疏性》导读：《工程化打造AI中的CPU》讲述了基础大模型在AI中的重要性体现在提供计算能力、对产业发展产生重大影响，以及决定后续模型的能力和合规性。Aquila天鹰语言模型系列旨在打造中英文双语能力的大模型，并采用循环迭代的生产流水线。该系列包括基础模型和针对对话和代码生成进行微调训练的模型。评测对大模型的重要性体现在高昂的训练成本和能力复杂性。FlagEval作为评测体系提
3月初，成功续约Kusama平行链插槽的Moonriver将在新的租赁期内继续发光发热。随着跨共识信息格式（XCM）的引入，Kusama生态中多个原生Token现已集成为如xcKINT和xcKAR等在Moonriver上可使用。此外，Moonbeam正在寻找全球大使，全面升级的Moonbeam入门开发课程第二期现也正在招募，欢迎各路爱好者的加入！1.Moonbeam&Moonriver最新进展Moonriver成功续约Kusama平行链插槽租赁期月初，Moonbeam基金会宣布成功竞得第27次Kusama平行链插槽拍卖，此次拍卖始于区块#11592600，并在区块#11691600结束，结果为
本文汇总梳理了2022年度，强化学习领域的发展重大事件、以及落地应用等方向中突出代表，整理难免带有个人观点，欢迎大家一起讨论。本文整理自“深度强化学习实验室”公众号，阅读原文请点击这里。【1】MIT强化学习新算法EIPO，智能体「难易通吃」为了追求使AI智能体具有「恰到好处」的好奇心，来自麻省理工学院计算机科学与AI实验室（CSAIL）的研究人员创造了一种算法，克服了AI过于「好奇」和被手头的任务分散注意力的问题。他们研究出的算法会在需要时自动增加好奇心，如果智能体从环境中得到足够的监督，已经知道该怎么做，则降低好奇心。论文地址：https://williamd4112.github.io/p
