这篇文章讲一下如何点亮一个新的sensor，以在RK3588平台，点亮IMX577为例。目录（1）如何才能算点亮一个sensor？（2）SENSOR_TYPE_RAW和SENSOR_TYPE_SOC（3）sensor驱动移植①sensor寄存器配置②sensor上电时序③v4l2_subdev_ops相关回调函数实现④V4L2控制⑤驱动注册入口函数probe（4）dts配置解析（5）驱动调试（6）安卓cameraHAL注册sensor（7）总结 （1）如何才能算点亮一个sensor？①sensor的chipID可以通过i2c正确读取到，也就是i2c可以正常通信；②使用media-ctl工具可以
这篇文章讲一下如何点亮一个新的sensor，以在RK3588平台，点亮IMX577为例。目录（1）如何才能算点亮一个sensor？（2）SENSOR_TYPE_RAW和SENSOR_TYPE_SOC（3）sensor驱动移植①sensor寄存器配置②sensor上电时序③v4l2_subdev_ops相关回调函数实现④V4L2控制⑤驱动注册入口函数probe（4）dts配置解析（5）驱动调试（6）安卓cameraHAL注册sensor（7）总结 （1）如何才能算点亮一个sensor？①sensor的chipID可以通过i2c正确读取到，也就是i2c可以正常通信；②使用media-ctl工具可以
(1)当前面临的问题是什么以及原因？虽然sensorfusion在该领域越来越受欢迎，但是对劣质图像(inferiorimage)条件鲁棒性不好，（例如照明不佳和传感器未对准），现有的融合方法很容易受到这些条件的影响，主要是由于calibrationmatrices建立的LiDARpoints和imagepixels的硬关联(hardassociation)。注 ：calibrationmatrices标定矩阵：用于校准相机和LiDAR硬关联(hardassociation）机制是指利用标定矩阵来建立LiDAR点和image像素的关联(2)作者提出的解决问题的方法作者提出TransFusion
(1)当前面临的问题是什么以及原因？虽然sensorfusion在该领域越来越受欢迎，但是对劣质图像(inferiorimage)条件鲁棒性不好，（例如照明不佳和传感器未对准），现有的融合方法很容易受到这些条件的影响，主要是由于calibrationmatrices建立的LiDARpoints和imagepixels的硬关联(hardassociation)。注 ：calibrationmatrices标定矩阵：用于校准相机和LiDAR硬关联(hardassociation）机制是指利用标定矩阵来建立LiDAR点和image像素的关联(2)作者提出的解决问题的方法作者提出TransFusion
1.Camera开发流程在这里，我们先了解下相机开发的大致流程，然后再对里面的步骤进行详细的阐述。利用open(int)获取Camera实例利用getParameters()获取默认设置，如果需要修改参数，利用setParameters()重新设置利用setDisplayOrientation()设置相机图像旋转角度，产生正确的预览画面利用setPreviewDisplay(SurfaceHolder)关联相机与SurfaceView显示图层，让视频流显示在界面上设置Preview的回调函数，获取帧数据并进行图像处理逻辑调用startPreview()开始预览，调用stopPreview()停
1.Camera开发流程在这里，我们先了解下相机开发的大致流程，然后再对里面的步骤进行详细的阐述。利用open(int)获取Camera实例利用getParameters()获取默认设置，如果需要修改参数，利用setParameters()重新设置利用setDisplayOrientation()设置相机图像旋转角度，产生正确的预览画面利用setPreviewDisplay(SurfaceHolder)关联相机与SurfaceView显示图层，让视频流显示在界面上设置Preview的回调函数，获取帧数据并进行图像处理逻辑调用startPreview()开始预览，调用stopPreview()停
Self-attention有一个进阶的版本,叫做Multi-headSelf-attention,Multi-headSelf-attention,其实今天的使用是非常地广泛的。在LHY2021作业4裡面,助教原来的code4有,Multi-headSelf-attention,它的head的数目是设成2,那刚才助教有给你提示说,把head的数目改少一点改成1,其实就可以过mediumbaseline但并不代表所有的任务,都适合用比较少的head,有一些任务,比如说翻译,比如说语音辨识,其实用比较多的head,你反而可以得到比较好的结果至於需要用多少的head,这个又是另外一个hyperpa
Self-attention有一个进阶的版本,叫做Multi-headSelf-attention,Multi-headSelf-attention,其实今天的使用是非常地广泛的。在LHY2021作业4裡面,助教原来的code4有,Multi-headSelf-attention,它的head的数目是设成2,那刚才助教有给你提示说,把head的数目改少一点改成1,其实就可以过mediumbaseline但并不代表所有的任务,都适合用比较少的head,有一些任务,比如说翻译,比如说语音辨识,其实用比较多的head,你反而可以得到比较好的结果至於需要用多少的head,这个又是另外一个hyperpa
小透镜放在滤光片上来增加光线的收集能力传感器只能测量光的强弱，并不能区分颜色，这就需要将不同颜色的滤镜和传感器结合起来，实现这一过程的技术叫做拜尔阵列（“Bayer”pattern）传感器是光敏二极管光线进入镜头，到达【带有RGB滤光阵列的传感器】，得到最原始的电信号。这个信号经过【ISO增益和原始图像处理】【RGB去马赛克】和【降噪】，就会得到raw格式的图片，对它接着进行【白平衡以及色彩空间转换】和【色彩处理】，并【映射到sRGB输出】，这时图片已经呼之欲出，只要【JPEG压缩】并【保存成文件】，储存卡里就会增加一张JPEG格式的照片了。
小透镜放在滤光片上来增加光线的收集能力传感器只能测量光的强弱，并不能区分颜色，这就需要将不同颜色的滤镜和传感器结合起来，实现这一过程的技术叫做拜尔阵列（“Bayer”pattern）传感器是光敏二极管光线进入镜头，到达【带有RGB滤光阵列的传感器】，得到最原始的电信号。这个信号经过【ISO增益和原始图像处理】【RGB去马赛克】和【降噪】，就会得到raw格式的图片，对它接着进行【白平衡以及色彩空间转换】和【色彩处理】，并【映射到sRGB输出】，这时图片已经呼之欲出，只要【JPEG压缩】并【保存成文件】，储存卡里就会增加一张JPEG格式的照片了。
