草庐IT

英伟达

全部标签

英伟达预告新版 TensorRT-LLM:推理能力飙升 5 倍、8GB 以上显卡可本地运行,支持 OpenAI 的 Chat API

11月16日消息,微软Ignite2023大会已于今天拉开帷幕,英伟达高管出席本次大会并宣布更新TensorRT-LLM,添加了对OpenAIChatAPI的支持。IT之家今年10月报道,英伟达面向数据中心和WindowsPC,推出TensorRT-LLM开源库。最大的特点是,如果WindowsPC配备英伟达GeForceRTXGPU,TensorRT-LLM可以让LLM在WindowsPC上的运行速度提高四倍。英伟达在今天Ignite2023大会上,宣布更新TensorRT-LLM,添加OpenAI的ChatAPI支持,并增强DirectML功能,改善Llama2和StableDiffusi

微软发布两款定制AI芯片,对标英伟达和英特尔相关产品

微软日前在西雅图举办的Ignite大会上发布了两款AI芯片。第一款是Maia100AI芯片,可以与英伟达备受追捧的AIGPU进行竞争;第二款是Cobalt100Arm芯片,用于一般计算任务,将与英特尔处理器进行竞争。微软副总裁RaniBorkar在接受媒体采访时表示,运行在Cobalt芯片上的虚拟机实例将于2024年通过微软的Azure云平台实现商业化运营,但她没有提供发布Maia100的时间表。如今,资金充裕的科技公司开始为客户提供更多的云计算选择,这些用户使用云计算基础设施来运行应用。多年来,阿里巴巴、亚马逊和谷歌一直在这样做。据估计,截至10月底,微软拥有约1440亿美元现金,在2022

【在英伟达nvidia的jetson-orin-nx和PC电脑ubuntu20.04上-装配ESP32开发调试环境-基础测试】

【在英伟达nvidia的jetson-orin-nx和PC电脑ubuntu20.04上-装配ESP32开发调试环境-基础测试】1、概述2、实验环境3、物品说明4、参考资料与自我总结5、实验过程1、创建目录2、克隆下载文件3、拉取子目录安装和交叉编译工具链等其他工具4、添加环境变量6、将样例文件拷贝到桌面目录7、使用get_idf环境变量8、==根据自己实际模块型号==设置芯片9、编译过程10、下载过程11、结果验证6细节部分(1)变通,更改操作顺序(2)报错:输入gitee账号和密码(3)变通:使用串口工具(4)尝试跟驱动端口权限5、错误:无法下载或不到端口6、在Linux下或者jetson下

巅峰对决:英伟达 V100、A100/800、H100/800 GPU 对比

近期,不论是国外的ChatGPT,还是国内诸多的大模型,让AIGC的市场一片爆火。而在AIGC的种种智能表现背后,均来自于堪称天文数字的算力支持。以ChatGPT为例,据微软高管透露,为ChatGPT提供算力支持的AI超级计算机,是微软在2019年投资10亿美元建造一台大型顶尖超级计算机,配备了数万个NVIDIAA100GPU,还配备了60多个数据中心总共部署了几十万个NVIDIAGPU辅助。相信大家对GPU已经不陌生了,它的主要作用是帮助运行训练和部署人工智能算法所涉及的无数计算。而现在市面上繁多的GPU型号令人眼花缭乱,我们今天就来看看常见的V100、A100、A800、H100、H800

Palantir的“英伟达时刻”即将到来

来源:猛兽财经 作者:猛兽财经总结(1)由于投资者对生成式人工智能的兴趣持续增加,Palantir的股价一直在上涨。(2)Palantir已经连续三个季度实现了GAAP盈利,并将很快有资格被纳入标普500指数。(3)Palantir拥有非常健康的资产负债表,并授权了一项股票回购计划。(4)虽然市场已经消化了很多乐观情绪,但猛兽财经预计随着Palantir的收入增长加速,Palantir的股价还会继续上涨。由于投资者对生成人工智能的兴趣持续增加,导致Palantir(PLTR)的股价一直在上涨。鉴于Palantir是人工智能解决方案的领导者,猛兽财经认为Palantir的收入实现进一步增长只是时

黄仁勋:只需2年,英伟达甚至整个行业就会面目全非

黄仁勋对未来做出预言:计算技术将会每十年进步一百万倍,只需2年,英伟达甚至整个行业就会面目全非其判断依据,60年来首次看到两项技术转型同时发生:AI与计算。此言出自老黄最新访谈,与惠普公司TheMoment节目主持人RyanPatel的对谈。在节目上,老黄还透露了一件令人吃惊的事:一直穿皮衣,居然不是他自己的主意。从2013年起,皮衣几乎与老黄的形象绑定在一起,连他在Reddit论坛的自我介绍都是“英伟达CEO,那个穿着皮衣,把话重复三遍的人”。这次他否认了坚持这个装扮是受乔布斯(一直穿高领毛衣)启发,也不是想引领时尚潮流,理由很简单:完全是妻子和女儿的主意,我所有的衣着打扮都由妻女负责。除了

专攻芯片设计,英伟达推出定制版大语言模型ChipNeMo!

在刚刚开幕的ICCAD2023大会上,英伟达团队展示了用AI模型测试芯片,引发了业界关注。众所周知,半导体设计是一项极具挑战性的工作。在显微镜下,诸如英伟达H100这样的顶级芯片,看起来就像是一个精心规划的大都市,这其中的数百亿个晶体管则连接在比头发丝还要细一万倍的街道上。为了建造这样一座数字巨城,需要多个工程团队长达两年时间的合作。其中,一些小组负责确定芯片的整体架构,一些小组负责制作和放置各种超小型电路,还有一些小组负责进行测试。每项工作都需要专门的方法、软件程序和计算机语言。ChipNeMo:英伟达版「芯片设计」大模型最近,来自英伟达的研究团队开发了一种名为ChipNeMo的定制LLM,

最新NVIDIA英伟达GPU显卡算力表

NVIDIA英伟达GPU显卡算力表随着深度学习的火热,显卡也变得越来越重要.而我们在安装各种各样的适配显卡的软件工具时,都会提到一个显卡算力的概念.这里的显卡算力指的并不是显卡的计算能力,而是指的显卡的架构版本.专业显卡Tesla系列NVIDIADataCenterProductsGPUComputeCapabilityNVIDIAA1008.0NVIDIAA408.6NVIDIAA308.0NVIDIAA108.6NVIDIAA168.6NVIDIAA28.6NVIDIAT47.5NVIDIAV1007.0TeslaP1006.0TeslaP406.1TeslaP46.1TeslaM605.

突发!英伟达H800/A800禁令竟提前生效,但4090意外豁免

芯片禁令发布六天后,美国政府突然变卦——宣布新规提前生效,比原计划整整提前了24天。也就是说,美国撤回了30天的豁免期。即日起,中国无法再获得任何英伟达尖端AI芯片。而根据钛媒体报道,腾讯、字节跳动等赶在禁令生效前大量采购的H800,至今尚未拿到现货。根据英伟达向美国证券交易委员会(SEC)提交的文件,美国政府通知英伟达,芯片禁令变更为10月23日起立即生效,涉及的芯片为——H800、A800、H100、A100、L40S。而RTX4090不再受到影响。生效期匆忙提前美国政府为何急匆匆地把此次禁令提前?目前美国商务部、AMD等都未对此发声。事关国内AI大模型的算力训练,众多业内人士对此表示忧心

英伟达被曝入局PC端CPU!网友:眼馋苹果M1打开市场

GPU狂魔英伟达,突然盯上笔记本CPU了!据路透社爆料,英伟达已经开始悄悄设计基于Windows系统的PC端CPU,对标苹果ARM架构芯片。最早在2025年,我们就可能看到英伟达的笔记本芯片。要知道,之前在Windows操作系统这块,PC市场的主流玩家一直是英特尔。现在不仅高通入局,英伟达也要加入战场,甚至就连AMD也被曝在开发PC端芯片了。为啥大伙儿突然都开搞笔记本芯片了?为啥集体开搞PC端CPU最直接的原因,就是苹果自研CPU取得了可喜的回报。在PC这块,主流玩家有两个,微软和苹果。但自从苹果“抛弃”英特尔、转用自家ARM架构的CPU以来,苹果笔记本电脑(Mac)性能好了不少。最直接的反馈