草庐IT

nuscenes-mini

全部标签

MMDetection3D:NuScenes转换为mmdet3d数据格式

一、创建流程mmdet3d将nuscenes数据加载的流程进一步进行了标准化,以前的各类模型(e.g.CRFNetCenterFusion)等对于nuscenes数据集处理各不相同,就导致我们使用时需要重复造轮子,尤其是在进行多相机视图,多帧雷达点云融合时,各种各样的坐标转换等工作会增加前期工作难度。MMDetection3D对于数据的加载有以下优点:可修改性强、数据加载流程标准、源码书写规范,基于以上原因,深入源码阅读并总结数据加载的方式。首先,数据通过一行命令完成转换,这个过程中做了以下工作:将数据信息读入并将其转换为pkl格式方便mmcv.load读取在读取过程中完成多视图图像的整合、多

Flink mini-batch "引发" 的乱序问题

问题描述近期业务反馈,开启了mini-batch之后,出现了数据不准的情况,关掉了mini-batch之后,就正常了,因此业务方怀疑,是不是Flink的mini-batch存在bug?问题排查初步分析mini-batch已经在内部大规模使用,目前没有发现一例和开启mini-batch有关,同时mini-batch本质只是将数据进行攒批然后计算,并没有修改核心的运算逻辑.开关mini-batch的关键时数据的批量计算,是否在批量计算使得原本存在bug的代码暴露问题业务在FlinkSQL使用了多个双流join和groupwindow,如果不注意使用,很可能导致乱序,最终的错误结果是某条数据没有被正

Flink mini-batch "引发" 的乱序问题

问题描述近期业务反馈,开启了mini-batch之后,出现了数据不准的情况,关掉了mini-batch之后,就正常了,因此业务方怀疑,是不是Flink的mini-batch存在bug?问题排查初步分析mini-batch已经在内部大规模使用,目前没有发现一例和开启mini-batch有关,同时mini-batch本质只是将数据进行攒批然后计算,并没有修改核心的运算逻辑.开关mini-batch的关键时数据的批量计算,是否在批量计算使得原本存在bug的代码暴露问题业务在FlinkSQL使用了多个双流join和groupwindow,如果不注意使用,很可能导致乱序,最终的错误结果是某条数据没有被正

基于VirutalBox搭建虚拟机间互通的可访问公网的mini主机群

目标在单台PC机上安装3+台虚拟机[1]这些虚拟机间可以相互访问宿主机[2]与虚拟机可以相互访问虚拟机可以访问公网本文将采用NAT+Host-Only双网卡的方式实现上述目标,因为采用这种组合来实现是很简单的,需要做的配置也非常少。前置条件本文仅在以下环境下验证通过,如果您的情况与此有差异,则全文内容仅供参考windows11virtualbox7.0ubuntu18.04另外,需要宿主电脑至少预留40~60G空闲磁盘,用来安装VirtualBox和虚拟机。搭建流程主要有以下几步:安装VirtualBox创建虚拟机并安装Ubuntu系统配置Ubuntu网络 安装VirtualBox下载Virt

基于VirutalBox搭建虚拟机间互通的可访问公网的mini主机群

目标在单台PC机上安装3+台虚拟机[1]这些虚拟机间可以相互访问宿主机[2]与虚拟机可以相互访问虚拟机可以访问公网本文将采用NAT+Host-Only双网卡的方式实现上述目标,因为采用这种组合来实现是很简单的,需要做的配置也非常少。前置条件本文仅在以下环境下验证通过,如果您的情况与此有差异,则全文内容仅供参考windows11virtualbox7.0ubuntu18.04另外,需要宿主电脑至少预留40~60G空闲磁盘,用来安装VirtualBox和虚拟机。搭建流程主要有以下几步:安装VirtualBox创建虚拟机并安装Ubuntu系统配置Ubuntu网络 安装VirtualBox下载Virt

Learning with Mini-Batch

最近在看一些深度学习相关的书,感觉对于参考文献1中的mini-batch部分理解得不是很透彻,主要是因为神经网络的输入开始变成批数据,加之对python的numpy不是很熟了。所以总想写点什么,一来有助于加深对于知识的理解,二来也算是分享知识咯。闲话少叙,让我们进入正题。在机器学习中,学习的目标是选择期望风险\(R_{exp}\)(expectedloss)最小的模型,但在实际情况下,我们不知道数据的真实分布(包含已知样本和训练样本),仅知道训练集上的数据分布。因此,我们的目标转化为最小化训练集上的平均损失,这也被称为经验风险\(R_{emp}\)(empiricalloss)。严格地说,我们

Learning with Mini-Batch

最近在看一些深度学习相关的书,感觉对于参考文献1中的mini-batch部分理解得不是很透彻,主要是因为神经网络的输入开始变成批数据,加之对python的numpy不是很熟了。所以总想写点什么,一来有助于加深对于知识的理解,二来也算是分享知识咯。闲话少叙,让我们进入正题。在机器学习中,学习的目标是选择期望风险\(R_{exp}\)(expectedloss)最小的模型,但在实际情况下,我们不知道数据的真实分布(包含已知样本和训练样本),仅知道训练集上的数据分布。因此,我们的目标转化为最小化训练集上的平均损失,这也被称为经验风险\(R_{emp}\)(empiricalloss)。严格地说,我们