草庐IT

gpu-constant-memory

全部标签

Semantic Kernel & Kernel Memory 入门系列 ❤️‍🔥

SemanticKernel是一种轻量级应用开发框架,用于快速开发融合LLMAI的现代应用。此系列文章,将会从传统软件开发者的角度,逐步认识SemanticKernel,并了解其核心概念和基本的使用方法。🛸LLM降临的时代🪄LLM的魔法🔥Kernel内核和🧂Skills技能📝💬SemanticFunction📝💾NativeFunction📝🥑突破提示词的限制🥑Memory内存📝🍋Connector连接器📝📅Planner规划器📝如果您对RAG的实践和应用感兴趣,也可以关注KernelMemory系列文章,带您了解如何应用RAG模式。RAG简介Embedding简介文档预处理快速开始Kerne

c++ - 如何正确使用malloc和free memory?

我想知道使用malloc和free的正确/标准方法是什么。free后是否需要设置指针为NULL?基本上,以下两种方式中哪一种是正确的?double*myPtr=(double*)malloc(sizeof(double)*5);.....free(myPtr);或double*myPtr=(double*)malloc(sizeof(double)*5);.....free(myPtr);myPtr=NULL;或者应该是其他方式使用malloc和free?谢谢。 最佳答案 两者都很好。唯一的区别是,如果您第二次尝试释放myPtr,前

c++ - Memory SPIKE - boost ASIO 异步读取

写了一个只从客户端读取数据的服务器:使用boost::array缓冲区启动服务器,系统监视器显示1MB的使用量。1.)只需执行一个async_read_some并执行一个handleRead,我会在其中再次调用asyncRead函数。voidasyncRead(){m_socket->async_read_some(boost::asio::buffer(m_readBuffer,READ_BLOCK_SIZE),m_strand->wrap(boost::bind(&ConnectionHandler::handleRead,shared_from_this(),boost::asi

c++ - 线程构造的性能成本 : missed optimisations and memory allocation

我们遇到了一种奇怪的现象,其中包含头文件会导致某些内存分配密集型工作负载的性能下降5-10%。这个头文件将一个线程池声明为一个全局变量。该线程池从未在应用程序中以任何容量(还)使用过。也就是说,除了在程序启动时创建这个静态线程池外,应用程序完全是单线程的。一旦标题被移除,性能损失就会消失。从一些研究来看,由于某些编译器优化不再可能,多线程应用程序似乎会导致一些性能损失。每当以任何形式或容量实例化与线程相关的构造时,是否有可能关闭此类优化?或者,由于在执行大量内存分配时性能损失似乎最为明显,编译器是否有可能在编译/链接阶段意识到线程构造已实例化,因此它切换到线程安全内存分配器?这发生在L

c++ - 如何优化 VBO/IBO 以最大化 GPU 缓存使用

我正在使用在CUDA上运行的MarchingCubes算法从体积数据生成网格。我尝试过保存网格并以3种方式渲染它。将一组粗略的三角形保存为连续的顶点数据数组。如果第一次通过,我估计大小,创建一个OpenGLVBO,将其映射到CUDA并按照以下格式将顶点数据写入其中V0x,V0y,V0z,N0x,N0y,N0z,V1x,V1y,V1z,N1x,N1y,N1z,...并使用glDrawArrays()绘制它。RedundantVerticesinVBO,RedundantVerticesperCube,NoIndices.从步骤1中获取网格,使用thrust::sort()和thrust:

c++ - Visual Studio : C++ newline constant error

在Qt项目(使用Qt插件)上使用VisualStudio,似乎总是会抛出一条错误消息:errorC2001:newlineinconstant来自以下行:this->setApplicationVersion(QString(BUILD_VERSION));或者每当我使用在我的QMake文件中定义的编译器常量时。BUILD_VERSION在我的QMake构建配方中定义,如果我使用不同的IDE编译项目会成功(即使我使用相同的MSVC编译器,一切正常)。我想我要么在Qt插件中或在VisualStudio中缺少首选项,要么我需要在我的QMake文件等之外重新定义我的常量......常量由In

python - 在 Tensorflow 中添加 GPU Op

我正尝试在this之后松散地向TensorFlow添加一个新操作文档。不同之处在于我正在尝试实现基于GPU的操作。我要添加的操作是来自here的cuda操作(cuda_op.py、cuda_op_kernel.cc、cuda_op_kernel.cu.cc)。我正在尝试在tensorflow之外编译这些并使用tf.load_op_library把它们拉进来。我做了一些更改,所以这是我的文件:cuda_op_kernel.cc#include"tensorflow/core/framework/op.h"#include"tensorflow/core/framework/shape_i

C++0x : memory ordering

当前C++0xdraft在第29.3.9节和第29.3.10节第1111-1112页中说明,在以下示例中://Thread1r1=y.load(memory_order_relaxed);x.store(1,memory_order_relaxed);//Thread2r2=x.load(memory_order_relaxed);y.store(1,memory_order_relaxed);结果r1=r2=1是可能的,因为每个线程的操作都放宽了并且指向不相关的地址。现在我的问题是关于以下(类似)示例的可能结果://Thread1r1=y.load(memory_order_acqu

c++ - C3859 : Virtual memory range for PCH exceeded

我在编译(编辑:抱歉,我在这里没有说清楚:我实际上是指“重建”)我的混合模式项目时不时(不是每次)收到此错误消息。VisualStudio告诉我“使用‘-Zm114’或更高的命令行选项重新编译”。原则上没问题,我照VS说的做。但是目前,这有两个问题:为什么它不会在我进行重建时每次发生?如果我理解正确,编译器在编译我的项目时内存不足。因此,如果我进行重建,清除所有以前的工作,如果我不做任何更改,下次它不应该也用完内存吗?为了安全起见,我已经在这个项目的所有配置中为Zm(即Zm120)指定了120的值。为什么我会收到带有此较低值的错误消息?还是建议值114只是VS的胡乱猜测?

c++ - 如何在没有 CPU 拷贝的情况下上传 GPU 操作生成的 DXT5 压缩像素数据?

所以我想做的是:将使用任何算法(在我的例子中是AES-256)加密的文件加载到GPU内存(使用CUDA)。利用我们现在拥有的所有GPU并行能力解密文件,并将其保留在GPU内存中。现在告诉OpenGL(4.3)内存中有一个纹理需要从DDSDXT5中读取和解压。第3点是我有疑问的地方。由于要在OpenGL中加载压缩的DDSDXT5,必须使用压缩类型(GL_COMPRESSED_RGBA_S3TC_DXT5_EXT)和指向图像数据缓冲区的指针调用openGL::glCompressedTexImage[+2D|3D|2DARB...]。所以,简而言之->有没有办法将GPU内存中的纹理缓冲区地