第七章如果在IEKF中引入点面ICP作为观测方程，请说明观测方程的具体处理方式，以及IEKF和纯激光ICP之间的关系。将点面ICP替换掉增量式NDT，残差计算也相应地需要改为点面距离。点面ICP的误差函数为：其中，n为单位法向量观测方程的一阶泰勒展开为：其中v为高斯分布，单次点面ICP服从一维高斯分布：要取观测的最大似然估计，可以使用最小化负对数来求：最小二乘问题的高斯牛顿解法为：那么按照状态变量的定义顺序，第j个点的残差相对于六个估计状态的雅克比矩阵为：HTVH,HTVr矩阵：整个IESKF滤波器的解算有ICP联系起来了。在这种程度上，完全可以将紧耦合系统看出带IMU预测的高维ICP，并且这

0.内容1.时间戳同步问题及意义时间戳同步的原因：如果不同步，由于IMU频率高，可能由于时间戳不同步而导致在两帧camera之间的时间内用多了或者用少了IMU的数据，且时间不同步会导致我们首尾camera和IMU数据时间不同，会使估计存在误差，使我们的系统精度下降甚至出现错误的预测。如果以IMU时间为准确的，同步之后，我们可以用时间戳偏移对系统估计的TwbT_{wb}Twb​进行补偿（思路1），或者能够得到与首尾IMU时间相同的时间对应的两帧camera的观测（思路2），提升系统精度。时间戳同步有两种方式：硬同步和软同步。硬同步即硬件同步：即IMU（或其他传感器）产生数据的同时给一个信号，可用

第四讲相机模型非线性优化-针孔相机模型与图像-实践：OpenCV/RGBD图像拼接-批量状态估计问题-非线性最小二乘法-实践：Ceres和g20(非线性优化库，图优化库）批量的状态估计问题可以通过构建最小二乘的方式求解。针孔相机模型：相机将三维世界中的坐标点（单位为米）映射到二维图像平面上（单位为像素）的过程。由于相机镜头上的透镜的存在，使得光线投影到成像平面的过程会产生畸变，因此，我们用针孔和畸变两个模型来描述整个投影过程。小孔成像得到的像是倒立的，为了让模型符合实际，我们可以等价的把成像平面对称的放到相机的前面，和三维空间点一起放到摄像机坐标系的同一侧。空间点的单位为米，不过，在相机中，我

第一节HomeWork问题解决环境：ubuntu20.04；对应ROS版本为noetic；1、出现PCL报错：PCLrequiresC++14orabove错误   在对应ros包中的CMakeLists.txt中添加      ADD_COMPILE_OPTIONS(-std=c++11)        ADD_COMPILE_OPTIONS(-std=c++14)         set(CMAKE_CXX_FLAGS"-std=c++11-O3")：这一行本来就有在这一行之前加   制定c++编译版本开始编译就会爆出大量错误：       判断是不是c++14编译版本的问题，要看最开始的