草庐IT

AMD CTO访谈全文:AI推理芯片需求猛增,GPU供应短缺必将缓解

AMD在这场AI芯片热潮中一路狂奔,华尔街仍用空前的热情为“英伟达最强劲的挑战者”买单。3月1日,AMD继前一日大涨9%后再涨超5%,股价创收盘历史新高。本周累涨14.8%,今年迄今涨幅达到30.6%。AMDCTO及执行副总裁MarkPapermaster近期参加了播客节目《史无前例:人工智能、机器学习、技术与初创企业》,回答了AMD的战略、最新的GPU进展、推理芯片部署的位置、芯片软件栈,以及他们如何看待供应链,投资者应该对于2024年的AMD有哪些期待等问题。主要内容包括:与竞争对手相比,AMD的MI300芯片提供了更高的性能、更低的功耗和更少的架构空间,实现了更高效的计算。AMD致力于开

受害者猛增,新勒索软件团伙8Base开始“声名鹊起”

据BleepingComputer6月28日消息,8Base勒索软件团伙正在针对世界各地的企业组织进行双重勒索攻击,自6月初以来,新增受害者正源源不断地增加。该勒索软件团伙于2022年3月首次出现,最开始时相对低调,较少发生明显的攻击行为。但到了6月,攻击活动开始激增,到目前为止,8Base已在其暗网勒索网站上列出了35名受害者,有时甚至会同时公布多达6名受害者。自2022年3月以来的基本活动趋势8Base于今年5月推出了据泄露网站,且自称是“诚实而简单”的渗透测试人员,主要目标是针对那些忽视员工和客户数据的隐私和重要性的公司。在VMwareCarbonBlack团队的一份新报告中,针对最近8

小羊驼背后的英雄,伯克利开源LLM推理与服务库:GPU减半、吞吐数十倍猛增

随着大语言模型(LLM)的不断发展,这些模型在很大程度上改变了人类使用AI的方式。然而,实际上为这些模型提供服务仍然存在挑战,即使在昂贵的硬件上也可能慢得惊人。现在这种限制正在被打破。最近,来自加州大学伯克利分校的研究者开源了一个项目vLLM,该项目主要用于快速LLM推理和服务。vLLM的核心是PagedAttention,这是一种新颖的注意力算法,它将在操作系统的虚拟内存中分页的经典思想引入到LLM服务中。配备了PagedAttention的vLLM将LLM服务状态重新定义:它比HuggingFaceTransformers提供高达24倍的吞吐量,而无需任何模型架构更改。项目地址:https

go - 内存消耗猛增

我有一个内存不断增长的程序。我不确定这是内存泄漏还是只是不断增长的缓冲区。我成功隔离了问题,但还是找不到问题。有一些奇怪的行为:如果我移除压缩部分,泄漏就会消失。所以我假设它在那里。但是,如果我(仅)在开关中删除带有chanTest的子句,泄漏也会消失。有人可以确认问题并向我解释为什么会有这种行为吗?我用的是go1.0.3谢谢!程序如下:(它每100毫秒压缩一些虚拟数据)packagemainimport("bytes""compress/zlib""fmt""time")funcmain(){timeOut:=time.NewTicker(100*time.Millisecond)c