草庐IT

Learning-Based

全部标签

Machine Learning 学习笔记 03 最小二乘法、极大似然法、交叉熵

损失函数神经网络里的标准和人脑标准相比较相差多少的定量表达。最小二乘法首先要搞明白两个概率模型是怎么比较的。有三种思路,最小二乘法、极大似然估计,交叉熵当一张图片人脑判断的结果是\(x1\),神经网络判断的结果是\(y1\),直接把它们相减\(\left|x_{1}-y_{1}\right|\)就是他们相差的范围。我们将多张图片都拿过来判断加起来,当最终值最小的时候,\(\min\sum_{i=1}^{n}\left|x_{i}-y_{i}\right|\)就可以认定两个模型近似。但是绝对值在定义域内不是全程可导的,所以可以求平方\(\min\sum_{i=1}^{n}\left(x_{i}-

Machine Learning 学习笔记 03 最小二乘法、极大似然法、交叉熵

损失函数神经网络里的标准和人脑标准相比较相差多少的定量表达。最小二乘法首先要搞明白两个概率模型是怎么比较的。有三种思路,最小二乘法、极大似然估计,交叉熵当一张图片人脑判断的结果是\(x1\),神经网络判断的结果是\(y1\),直接把它们相减\(\left|x_{1}-y_{1}\right|\)就是他们相差的范围。我们将多张图片都拿过来判断加起来,当最终值最小的时候,\(\min\sum_{i=1}^{n}\left|x_{i}-y_{i}\right|\)就可以认定两个模型近似。但是绝对值在定义域内不是全程可导的,所以可以求平方\(\min\sum_{i=1}^{n}\left(x_{i}-

pandas learning

pandaslearningmatplotlib设置中文显示matlotlib默认不支持中文字符,默认英文字体无法显示汉字查看inux/mac下面支持的字体:fc-list:lang=zh#windows、linux、macos系统通用设置#导入font_manager=>实例化FontProperties对象my_font=>在设置字体的地方使用这个对象,比如xticksfrommatplotlibimportfont_managermy_font=font_manager.FontProperties(fname="/System/Lirary/Fonts/PingFang.ttc")lt

pandas learning

pandaslearningmatplotlib设置中文显示matlotlib默认不支持中文字符,默认英文字体无法显示汉字查看inux/mac下面支持的字体:fc-list:lang=zh#windows、linux、macos系统通用设置#导入font_manager=>实例化FontProperties对象my_font=>在设置字体的地方使用这个对象,比如xticksfrommatplotlibimportfont_managermy_font=font_manager.FontProperties(fname="/System/Lirary/Fonts/PingFang.ttc")lt

Magnet: Push-based Shuffle Service for Large-scale Data Processing

本文是阅读LinkedIn公司2020年发表的论文Magnet:Push-basedShuffleServiceforLarge-scaleDataProcessing一点笔记。什么是Shuffle以上图为例,在一个DAG的执行图中,节点与节点之间的数据交换就是Shuffle的过程。虽然Shuffle的过程很简单,但是不同的引擎有不同的实现。以shuffle数据传输的介质来看有基于磁盘的shuffle,例如Map/Reduce,Spark,FlinkBatch中,上下游之前的数据都是需要落盘后来进行传输,这类通常是离线处理框架,对延迟不敏感,基于磁盘更加可靠稳定。有基于内存的pipeline模

Magnet: Push-based Shuffle Service for Large-scale Data Processing

本文是阅读LinkedIn公司2020年发表的论文Magnet:Push-basedShuffleServiceforLarge-scaleDataProcessing一点笔记。什么是Shuffle以上图为例,在一个DAG的执行图中,节点与节点之间的数据交换就是Shuffle的过程。虽然Shuffle的过程很简单,但是不同的引擎有不同的实现。以shuffle数据传输的介质来看有基于磁盘的shuffle,例如Map/Reduce,Spark,FlinkBatch中,上下游之前的数据都是需要落盘后来进行传输,这类通常是离线处理框架,对延迟不敏感,基于磁盘更加可靠稳定。有基于内存的pipeline模

基于 Surfel 的实时全局光照方案(Surfel-based Global Illumination)

目录GlobalIlluminationbasedonSurfels[SIGGRAPH2021]Surfel持久化存储surfel数据组成surfel回收机制Surfelizationscreen-basedplacementAccelerationStructuregridFinalGatheringraygeneration:MSMErayguiding:importancesamplingraytracing:indirectlightingtemporalfilteringirradiancesharingGIBS方案总结GIBS方案流程总览GIBS方案优缺点改进思路参考surfel,

基于 Surfel 的实时全局光照方案(Surfel-based Global Illumination)

目录GlobalIlluminationbasedonSurfels[SIGGRAPH2021]Surfel持久化存储surfel数据组成surfel回收机制Surfelizationscreen-basedplacementAccelerationStructuregridFinalGatheringraygeneration:MSMErayguiding:importancesamplingraytracing:indirectlightingtemporalfilteringirradiancesharingGIBS方案总结GIBS方案流程总览GIBS方案优缺点改进思路参考surfel,

基于 Probe 的实时全局光照方案(Probe-based Global Illumination)

目录PrecomputedProbe预放置probes四面体镶嵌(TetrahedralTessellations)IndirectLightCacheVolumetricLightMap烘焙光照信息SHlighting重建shadingpoint光照信息优缺点DDGI(orRTXGI)动态/预放置probesDDGIvolume探测动态光照信息计算radiance更新probe的irradiance重建shadingpoint光照信息优缺点ScreenSpaceProbe动态放置probesuniformplacementadaptiveplacement探测动态光照信息spatialfil

基于 Probe 的实时全局光照方案(Probe-based Global Illumination)

目录PrecomputedProbe预放置probes四面体镶嵌(TetrahedralTessellations)IndirectLightCacheVolumetricLightMap烘焙光照信息SHlighting重建shadingpoint光照信息优缺点DDGI(orRTXGI)动态/预放置probesDDGIvolume探测动态光照信息计算radiance更新probe的irradiance重建shadingpoint光照信息优缺点ScreenSpaceProbe动态放置probesuniformplacementadaptiveplacement探测动态光照信息spatialfil