上个月，MetaFAIR田渊栋参与的一项研究广受好评，他们在论文《 MobileLLM:OptimizingSub-billionParameterLanguageModelsforOn-DeviceUseCases》中开始卷10亿以下参数小模型，主打在移动设备上运行LLM。3月6日，田渊栋又一项研究出炉，这次，他们主攻LLM内存效率。除了田渊栋本人，还有来自加州理工学院、德克萨斯大学奥斯汀分校以及CMU的研究者。他们合作提出了GaLore（GradientLow-RankProjection），这是一种允许全参数学习的训练策略，但比LoRA等常见的低秩自适应方法具有更高的内存效率。该研究首次
NVIDIA作为世界领先的图形处理器制造商，一直以来都以其强大的性能和高度可定制化的产品而闻名。其中包括了3090，4090，A40，A5000和V100等型号。下面对其逐一解释：1.NVIDIAGeForceRTX3090：3090是NVIDIARTX30系列中的旗舰级显卡，它搭载了Ampere架构的核心，具备24GBGDDR6X显存，能够提供卓越的游戏性能和绝佳的图形渲染能力。它拥有10496个CUDA核心、384位记忆总线和最大送风量可以达到和低于20%的性能差距。（用户可根据自己的需求选择）2.NVIDIAGeForceRTX4090：4090是NVIDIARTX40系列的超高性能显卡
10毫秒生成一张图像，1分钟6000张图像，这是什么概念？下图中，就可以深刻感受到AI的超能力。甚至，当你在二次元小姐姐图片生成的提示中，不断加入新的元素，各种风格的图片更迭也是瞬间闪过。如此惊人的图片实时生成速度，便是来自UC伯克利、日本筑波大学等研究人员提出StreamDiffusion带来的结果。这个全新的解决方案是一种扩散模型流程，能够以超过100fps的速度，实现实时交互式图像生成。论文地址：https://arxiv.org/abs/2312.12491StreamDiffusion开源后直接霸榜GitHub，狂揽3.7k星。StreamDiffusion创新性采用了批处理策略，而
都说男生是世界上最简单的动物，为什么呢？举个例子，你要给女朋友送礼，你可以选择包、口红、护肤品、化妆品等，而包的品牌和样式、口红的色号等足以让你挑得眼花缭乱。而男生不一样，如果女生选择给男生送礼，我相信一块RTX4090就足以让他高兴得死去活来。RTX4090到底是何方神圣？它凭什么赢得所有男生的“芳心”？了解GTX4090我们先来看下NVIDIA官方对RTX4090的介绍。TheNVIDIA®GeForceRTX™4090istheultimateGeForceGPU.Itbringsanenormousleapinperformance,efficiency,andAI-poweredgr
10月18号，英伟达向美国证券交易委员会，提交的最新公开文件显示：除了H100/A100/H800/A800这类高性能计算卡，消费级旗舰显卡RTX4090也被列入到出口管制范围内，对华禁售。尽管此规定对一般人影响不大，但对于渴望畅玩3A游戏大作的玩家和从事设计行业的专业人士来说，却带来了一定程度的影响。更令人担忧的是，RTX4090会被禁售，这意味着后续推出的显卡（包括AMD显卡）也可能会受到限制。此外，目前国内的官方旗舰店已经下架公版RTX4090显卡，合作商平台也纷纷下架该型号的非公显卡，并显示缺货状态。第三方平台也风生水起，价格普遍翻倍，甚至涨到超过三万的离谱天价！不过各位小伙伴也不用过
芯片禁令发布六天后，美国政府突然变卦——宣布新规提前生效，比原计划整整提前了24天。也就是说，美国撤回了30天的豁免期。即日起，中国无法再获得任何英伟达尖端AI芯片。而根据钛媒体报道，腾讯、字节跳动等赶在禁令生效前大量采购的H800，至今尚未拿到现货。根据英伟达向美国证券交易委员会（SEC）提交的文件，美国政府通知英伟达，芯片禁令变更为10月23日起立即生效，涉及的芯片为——H800、A800、H100、A100、L40S。而RTX4090不再受到影响。生效期匆忙提前美国政府为何急匆匆地把此次禁令提前？目前美国商务部、AMD等都未对此发声。事关国内AI大模型的算力训练，众多业内人士对此表示忧心
论文链接：https://arxiv.org/abs/2310.10505作者：李子牛，许天，张雨舜，俞扬，孙若愚，罗智泉机构：香港中文大学（深圳），深圳市大数据研究院，南京大学，南栖仙策开源代码：https://github.com/liziniu/ReMax如未额外说明，所有图片来自于论文。背景今年，以ChatGPT为首的大语言模型（LargeLanguageModels,LLMs)在各个方面大放光彩，由此引发了学术界和商业界对GPU等计算资源的需求剧增。左图来自DALL・E3，右图来自DALL・E3比如监督训练地调优(supervisedfine-tuning,SFT)一个Llama2-
RTX4090，已经在热搜上挂了两天！昨天，美国对华禁售H800和A800等尖端AI芯片的消息曝出。根据新规，性能达到一定水平的GPU都需要额外的许可证。而在英伟达向美国证券交易委员会（SEC）提交的官方文件中，赫然出现了一个大家都没想到的产品——RTX4090。根据中信证券的计算，如果按照「性能密度」来看，4090的确属于被管制的范畴。消息一出，各路店铺的4090直接被买爆。不过，美国商务部当天发布的官方文件里，其实还包含这样一句话——作为这些更新的一部分，我们还将引入一项豁免，允许出口用于消费者应用的芯片。于是，「4090被禁事件」的热度还没过，今天开始网上又开始流传「大反转」的消息。美国
9月26日消息，AMD图形大神，也就是图形业务部门高级副总裁兼总经理ScottHerkelman突然宣布离职。至于为什么离开AMD，ScottHerkelman并没有提及，而接替者是JackHuynh。AMD对此消息进行了证实，并且表示，感谢Scott在过去七年中的领导和对AMD显卡业务的重大贡献。在加盟AMD之前，ScottHerkelman还担任了英伟达GeForce图形业务总经理，其在AMD主导并推出了三代RDNA显卡架构。上次收到Herkelman的消息大约是在一个月前，当时他就GeForceRTX40系列显卡上备受诟病的16针电源连接器的早期问题向英伟达投掷炸弹。“具体来说，对于79
RTX40系列公版卡全面引入12VHPWR16针供电接口，最高供电能力达600W，但因为至今难以实锤的原因，它在RTX4090上边频频烧毁，显然是不合格的。为此，PCI-SIG组织正在进行改进，但只是小修小补，不会推倒重来。华硕则提出了一个完全不同的解决方案，借用了服务器上常用的HPCE供电接口，发展出了自己的GC-HPWR接口。RTX409016针接口频繁烧毁！华硕这招绝了：安全稳定600W供电不同于传统6/8/16针接口安装在显卡顶部或尾部，单纯供电显卡供电，华硕GC-HPWR接口将主板和显卡连通起来，在显卡底部末端增加了一组金手指，在主板PCIex16插槽后方增加了一个母口，大小类似于P
