草庐IT

GPU算力

全部标签

【DataWhale学习】用免费GPU线上跑chatGLM项目实践

用免费GPU线上跑chatGLM项目实践​DataWhale组织了一个线上白嫖GPU跑chatGLM与SD的项目活动,我很感兴趣就参加啦。之前就对chatGLM有所耳闻,是去年清华联合发布的开源大语言模型,可以用来打造个人知识库什么的,一直没有尝试。而SD我前两天刚跟着B站秋叶大佬和Nenly大佬的视频学习过,但是生成某些图片显存吃紧,想线上部署尝试一下。参考:DataWhale学习手册链接1学习简介本文以趋动云平台为例,详细介绍下如何通过平台提供的在线开发环境,直接在云端编写、运行代码,并使用GPU资源进行加速。本教程将学习云算力资源的使用方式,并给出了两个AI项目实践:用免费GPU创建属于

GPU并行效率问题——通过MPS提升GPU计算收益

现象描述使用V100_32G型号的GPU运行计算程序时,发现程序每5秒能够完成一次任务,耗费显存6G。鉴于V100GPU拥有32G的显存,还有很多空闲,决定同时运行多个计算程序,来提升GPU计算收益。然而,这一切都是想当然的。运行多个计算程序时,每个计算程序的处理耗时大大增加。例如,同时运行4个计算程序,则这些计算程序差不多需要20秒才能完成一次任务,几乎是单进程运行时的4倍,算上并行的收益,20秒能够处理4个任务,这和单进程的计算程序的运行效果几乎没有区别,也就是说,多进程并行和单进程运行完全没有效率的提升。单进程:5秒/任务4进程:20秒/任务问题原因一种可能的解释是,当前的计算程序对GP

AMD CTO访谈全文:AI推理芯片需求猛增,GPU供应短缺必将缓解

AMD在这场AI芯片热潮中一路狂奔,华尔街仍用空前的热情为“英伟达最强劲的挑战者”买单。3月1日,AMD继前一日大涨9%后再涨超5%,股价创收盘历史新高。本周累涨14.8%,今年迄今涨幅达到30.6%。AMDCTO及执行副总裁MarkPapermaster近期参加了播客节目《史无前例:人工智能、机器学习、技术与初创企业》,回答了AMD的战略、最新的GPU进展、推理芯片部署的位置、芯片软件栈,以及他们如何看待供应链,投资者应该对于2024年的AMD有哪些期待等问题。主要内容包括:与竞争对手相比,AMD的MI300芯片提供了更高的性能、更低的功耗和更少的架构空间,实现了更高效的计算。AMD致力于开

自动驾驶芯片的算力和性能分析

一.引言自动驾驶汽车的智能化取决于算法,因此有软件定义汽车的概念出现并且大为盛行,但是要想实现软件定义汽车,必须要有一个可以承载高度智能化且运算量庞大的AI算法的硬件计算平台或者叫域控制器,而无论是硬件计算平台还是域控制器,都离不开芯片。自动驾驶从L0到L5,随着功能的完善和性能的提升,带来更好的智能和科技体验的同时,也对AI芯片的算力和性能提出更高的需求。之前的文档曾提到,L2或者说ADAS需要的AI计算力100TOPS,L5需要的AI计算力为500-1000TOPS。对于域控制器而言,硬件大体可分为三部分:承担环境感知和深度学习等超大算力需求的AI处理芯片、负责控制决策和逻辑运算的CPU、

服务器GPU温度过高挂掉排查记录Unable to determine the device handle for GPU 0000:01:00.0: Unknown Error

服务器GPU挂掉跑深度学习的代码的时候发现中断了。通过命令查看:nvidia-smi显示UnabletodeterminethedevicehandleforGPU0000:01:00.0:UnknownError。感觉很莫名其妙。通过重启大法之后,又能用一段时间。shutdown-rnow但是过了一个小时左右又会挂掉。不能从根本解决问题。那么到底为什么GPU会自己挂掉呢?问题排查通过查看日志定位错误原因:nvidia-bug-report.sh在当前目录下生成了nvidia-bug-report.log日志文件。查看到日志文件的内容如下:网上查找一下这个报错码79https://forums

一键开启 GPU 闲置模式,基于函数计算低成本部署Google Gemma 模型服务

背景信息Google在2024年02月21日正式推出了自家的首个开源模型族Gemma,并同时上架了四个大型语言模型,提供了2B和7B两种参数规模的版本,每种都包含了预训练版本(base模型)和指令微调版本(chat模型)。根据Google的技术报告,本次开源的Gemma在问题回答、合理性、数学、代码等方面的性能均超越同参数量级的其他开源模型。数据来源:https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf函数计算作为阿里云上的Serverless计算服务,持续在ServerlessGPU方面投入研发,为用户提供性

华为OD机试真题-CPU算力分配-2023年OD统一考试(C卷)

题目描述:现有两组服务器A和B,每组有多个算力不同的CPU,其中A[i]是A组第i个CPU的运算能力,B[i]是B组第i个CPU的运算能力。一组服务器的总算力是各CPU的算力之和。为了让两组服务器的算力相等,允许从每组各选出一个CPU进行一次交换,求两组服务器中,用于交换的CPU的算力,并且要求从A组服务器中选出的CPU,算力尽可能小。输入描述:第一行输入为L1和L2,以空格分隔,L1表示A组服务器中的CPU数量,L2表示B组服务器中的CPU数量。第二行输入为A组服务器中各个CPU的算力值,以空格分隔。第三行输入为B组服务器中各个CPU的算力值,以空格分隔。1111输出描述:对于每组测试数据,

[当人工智能遇上安全] 12.易学智能GPU搭建Keras环境实现LSTM恶意URL请求分类

您或许知道,作者后续分享网络安全的文章会越来越少。但如果您想学习人工智能和安全结合的应用,您就有福利了,作者将重新打造一个《当人工智能遇上安全》系列博客,详细介绍人工智能与安全相关的论文、实践,并分享各种案例,涉及恶意代码检测、恶意请求识别、入侵检测、对抗样本等等。只想更好地帮助初学者,更加成体系的分享新知识。该系列文章会更加聚焦,更加学术,更加深入,也是作者的慢慢成长史。换专业确实挺难的,系统安全也是块硬骨头,但我也试试,看看自己未来四年究竟能将它学到什么程度,漫漫长征路,偏向虎山行。享受过程,一起加油~前文讲解如何实现威胁情报实体识别,利用BiLSTM-CRF算法实现对ATT&CK相关的技

UE4/5修复GPU驱动程序崩溃

GPU崩溃情况        在虚幻4/5的一些项目运行过程中,因为存在处理大量图形的情况,可能会导致GPU崩溃,就像下面这张图。随后基本上就会出现这种虚幻引擎崩溃窗口发生GPU崩溃的原因        Windows系统为防止应用程序因使用过多内存而锁死,实施了保护措施。如果一个应用程序的渲染时间超过几秒,Windows系统就会杀死GPU驱动程序,导致应用程序崩溃。在虚幻引擎中,无法知道渲染进程的耗时,因此无法在应用程序层面避免崩溃。解决方法        在我们开发比较大项目时候,可能经常遇到这种崩溃。编辑Windows注册表项,可以让系统有更多时间运行渲染进程。方法是创建两个新的注册表项

【正点原子STM32】LTDC LCD(RGB屏)实验(TFT LCD、RGB LCD信号线、驱动模式、LTDC驱动LCD-TFT显示器、LTDC控制器、DMA2D-GPU、DMA2D颜色填充步骤)

一、RGBLCD简介二、LTDC介绍2.1、LTDC简介2.2、LTDC控制器框图介绍2.3、LTDC相关寄存器介绍2.4、LTDC相关HAL库驱动介绍三、RGB屏基本驱动步骤四、编程实战1五、DMA2D介绍5.1、DMA2D简介5.2、DMA2D框图介绍5.3、DMA2D相关寄存器介绍六、DMA2D颜色填充的具体步骤七、编程实战2八、总结嵌入式图形系统嵌入式图形系统通常由微处理器、帧缓冲器、显示控制器和显示屏等组成,其工作流程如下:微处理器(Microprocessor):微处理器负责执行程序,并根据程序输出生成要显示的图像数据。这些图像数据通常以像素为单位,表示图像中每个像素的颜色和位置等