草庐IT

向英伟达发起挑战的Groq是什么来头?简单科普新型AI芯片LPU

在如今的人工智能领域,「GPUisAllYouNeed」已经逐渐成为共识。没有充足的GPU,连OpenAI都不能轻易升级ChatGPT。不过最近,GPU的地位也在经受挑战:一家名为Groq的初创公司开发出了一种新的AI处理器——LPU(LanguageProcessingUnit),其推理速度相较于英伟达GPU提高了10倍,成本却降低到十分之一。在一项展示中,LPU以每秒超过100个词组的惊人速度执行了开源的大型语言模型——拥有700亿个参数的Llama-2。下图展示了它的速度,可以看到,人眼的阅读速度根本跟不上LPU上模型的生成速度:此外,它还在Mixtral中展示了自己的实力,实现了每个用

如此狂妄,自称高性能队列的Disruptor有啥来头?

并发框架Disruptor1.Disruptor概述1.1背景​ Disruptor是英国外汇交易公司LMAX开发的一个高性能队列,研发的初衷是解决内存队列的延迟问题(在性能测试中发现竟然与I/O操作处于同样的数量级),基于Disruptor开发的系统单线程能支撑每秒600万订单,2010年在QCon演讲后,获得了业界关注,2011年,企业应用软件专家MartinFowler专门撰写长文介绍。同年它还获得了Oracle官方的Duke大奖。​ 目前,包括ApacheStorm、Camel、Log4j2在内的很多知名项目都应用了Disruptor以获取高性能。​ 需要特别指出的是,这里所说的

如此狂妄,自称高性能队列的Disruptor有啥来头?

并发框架Disruptor1.Disruptor概述1.1背景​ Disruptor是英国外汇交易公司LMAX开发的一个高性能队列,研发的初衷是解决内存队列的延迟问题(在性能测试中发现竟然与I/O操作处于同样的数量级),基于Disruptor开发的系统单线程能支撑每秒600万订单,2010年在QCon演讲后,获得了业界关注,2011年,企业应用软件专家MartinFowler专门撰写长文介绍。同年它还获得了Oracle官方的Duke大奖。​ 目前,包括ApacheStorm、Camel、Log4j2在内的很多知名项目都应用了Disruptor以获取高性能。​ 需要特别指出的是,这里所说的