草庐IT

jetson-inference

全部标签

LLMs之llama_7b_qlora:源代码解读inference.py(基于合并后的权重文件进行模型推理)将基于之前合并Lora模型权重后的hl_llama_7b模型进行文本生成(基于用户交互输入

LLMs之llama_7b_qlora:源代码解读inference.py(基于合并后的权重文件进行模型推理)将基于之前合并Lora模型权重后的hl_llama_7b模型进行文本生成(基于用户交互输入的上下文生成新文本)目录

【自然语言处理】【分布式训练及推理】推理工具DeepSpeed-Inference

相关博客【深度学习】【分布式训练】Collective通信操作及Pytorch示例【自然语言处理】【分布式训练及推理】推理工具DeepSpeed-Inference【自然语言处理】【chatGPT系列】大语言模型可以自我改进【自然语言处理】【ChatGPT系列】WebGPT:基于人类反馈的浏览器辅助问答【自然语言处理】【ChatGPT系列】FLAN:微调语言模型是Zero-Shot学习器【自然语言处理】【ChatGPT系列】ChatGPT的智能来自哪里?【自然语言处理】【ChatGPT系列】ChainofThought:从大模型中引导出推理能力【自然语言处理】【ChatGPT系列】Instru

自己制作智能语音机器人(基于jetson nano)

1简介如上图,主要采用jetson上编写python代码实现,支持离线语音唤醒、在线语音识别、大模型智能文档、在线语音合成。所需硬件如下:jetsonnano:linux科大讯飞麦克风硬件:AIUIR818麦克阵列开发套件+6麦阵列,支持离线语音唤醒USB免驱声卡+喇叭所需软件如下:科大讯飞在线语音识别API科大讯飞在线语音合成API语言大模型API视频示例:自己制作智能语音机器人,识别鸭脖和老鼠头_哔哩哔哩_bilibili2jetson安装pycharm安装pycharm主要是为了方便直接在jetson上进行python开发。1.下载地址下载PyCharm:JetBrains为专业开发者提

Jetson nano部署Yolov5目标检测 + Tensor RT加速(超级详细版)

    一、准备工具  二、烧录        三、搭配环境        四、试跑Yolov5        五、tensorRT部署yolov5前言:在工作或学习中我们需要进行部署,下面这篇文章是我亲自部署jetsonnano之后做出的总结,包括自己遇到一些报错和踩坑,希望对你们有所帮助: )一、准备工具读卡器SD卡 小螺丝刀网线(更改语言需要网络)二、烧录烧录镜像就是要把SD卡里的东西给完全清除,好比我们电脑重装系统一样,把SD卡格式化。 插上读卡器后会自动识别U盘,我的电脑会识别很多,弹出很多个U盘选项,这个是正常现象,只格式化一个就可以了。1.在本地的电脑上下载烧录的镜像,可以去官网

Jetson Nano驱动机器人的左右两路电机

基于JetsonNano板子搭建一个无人车,少不了减速电机驱动轮子滚动,那如何驱动呢?从Jetson.GPIO库文件来说,里面没有支持产生PWM的引脚,也就意味着Jetsonnano没有硬件产生PWM的能力,所以我们不得不使用别的方法产生PWM完成驱动控制,而刚好STM8解决了这一问题并且节约了它有限的GPIO资源,我们借助STM8这款MCU作为协处理器,大大增强了Jetsonnano的驱动能力,PWM的周期和占空比(在一个脉冲循环内,通电时间相对于总时间所占的比例)都完全可控。我们来看下它的参数:我们使用的是上图所示的QFN20封装的STM8,它主要参数特征如下:1.I2C接口,支持多路PW

Jetson Nano驱动机器人的左右两路电机

基于JetsonNano板子搭建一个无人车,少不了减速电机驱动轮子滚动,那如何驱动呢?从Jetson.GPIO库文件来说,里面没有支持产生PWM的引脚,也就意味着Jetsonnano没有硬件产生PWM的能力,所以我们不得不使用别的方法产生PWM完成驱动控制,而刚好STM8解决了这一问题并且节约了它有限的GPIO资源,我们借助STM8这款MCU作为协处理器,大大增强了Jetsonnano的驱动能力,PWM的周期和占空比(在一个脉冲循环内,通电时间相对于总时间所占的比例)都完全可控。我们来看下它的参数:我们使用的是上图所示的QFN20封装的STM8,它主要参数特征如下:1.I2C接口,支持多路PW

LLMs之llama_7b_qlora:源代码解读inference_qlora.py(模型推理)使用LORA权重来初始化预训练的LLAMA模型来进行文本生成(基于用户交互输入的上下文生成新文本)

LLMs之llama_7b_qlora:源代码解读inference_qlora.py(模型推理)使用LORA权重来初始化预训练的LLAMA模型来进行文本生成(基于用户交互输入的上下文生成新文本)目录

Jetson 系统监视程序Jtop及Jetson基本信息查询

开启后的界面如下:安装Jetson的监视程序:“了解安装的Jetpack版本是多少?”“了解[GPU]的使用率?”“了解Jetson机器工作在什么模式下?”“了解CPU用了几个?““散热片好烫,了解风扇有在工作么?”有一个Jetson的小工具:Jtop(一个系统监视实用程序,可在终端上运行,并实时查看和控制NVIDIAJetson的状态),安装也非常方便,如果Jetson产品上已安装了JetpackSDK,可以按照如下步骤安装运行:安装及运行$sudoapt-getinstallpython3-pip$sudopip3installjetson-stats(包含jtop)$sudojtop非常

Jetson AGX Orin 平台12路4K相机CPHY驱动调试问题记录

1.前言在Orin上启动CPHY相机模块时遇到了一些问题。将4台CPHY摄像机连接到Orin每个相机输出3VC图像camera1vc0---4096x3072@30fps---/dev/video0vc1---4096x3072@30fps---/dev/video1vc2---4096x3072@30fps---/dev/video2camera2vc0---4096x3072@30fps---/dev/video3vc1---4096x3072@30fps---/dev/video4vc2---4096x3072@30fps---/dev/video5camera3vc0---4096x3