Attention-Based

王树森Attention与Self-Attention学习笔记

目录Seq2Seq+AttentionAttention的原理方法一（Usedintheoriginalpaper）方法二（morepopular，thesametoTransformer）SummarySelfAttentionSimpleRNN与Attention当前状态计算对比ReferenceSeq2Seq+AttentionSeq2Seq模型，有一个Encoder和一个Decoder，默认认为Encoder的输出状态h_m包含整个句子的信息，作为Decoder的输入状态s_0完成整个文本生成过程。这有一个严重的问题就是，最后的状态不能记住长序列，也就是会遗忘信息，那么Decoder也

王树森Attention与Self-Attention学习笔记

目录Seq2Seq+AttentionAttention的原理方法一（Usedintheoriginalpaper）方法二（morepopular，thesametoTransformer）SummarySelfAttentionSimpleRNN与Attention当前状态计算对比ReferenceSeq2Seq+AttentionSeq2Seq模型，有一个Encoder和一个Decoder，默认认为Encoder的输出状态h_m包含整个句子的信息，作为Decoder的输入状态s_0完成整个文本生成过程。这有一个严重的问题就是，最后的状态不能记住长序列，也就是会遗忘信息，那么Decoder也

Attention Self-Attention span inline class 人工智能

Magnet: Push-based Shuffle Service for Large-scale Data Processing

本文是阅读LinkedIn公司2020年发表的论文Magnet:Push-basedShuffleServiceforLarge-scaleDataProcessing一点笔记。什么是Shuffle以上图为例，在一个DAG的执行图中，节点与节点之间的数据交换就是Shuffle的过程。虽然Shuffle的过程很简单，但是不同的引擎有不同的实现。以shuffle数据传输的介质来看有基于磁盘的shuffle，例如Map/Reduce，Spark，FlinkBatch中，上下游之前的数据都是需要落盘后来进行传输，这类通常是离线处理框架，对延迟不敏感，基于磁盘更加可靠稳定。有基于内存的pipeline模

Large-scale Push-based amp shuffle 的开源研究

Magnet: Push-based Shuffle Service for Large-scale Data Processing

本文是阅读LinkedIn公司2020年发表的论文Magnet:Push-basedShuffleServiceforLarge-scaleDataProcessing一点笔记。什么是Shuffle以上图为例，在一个DAG的执行图中，节点与节点之间的数据交换就是Shuffle的过程。虽然Shuffle的过程很简单，但是不同的引擎有不同的实现。以shuffle数据传输的介质来看有基于磁盘的shuffle，例如Map/Reduce，Spark，FlinkBatch中，上下游之前的数据都是需要落盘后来进行传输，这类通常是离线处理框架，对延迟不敏感，基于磁盘更加可靠稳定。有基于内存的pipeline模

Large-scale Push-based amp shuffle 的开源研究

基于 Surfel 的实时全局光照方案（Surfel-based Global Illumination）

目录GlobalIlluminationbasedonSurfels[SIGGRAPH2021]Surfel持久化存储surfel数据组成surfel回收机制Surfelizationscreen-basedplacementAccelerationStructuregridFinalGatheringraygeneration:MSMErayguiding:importancesamplingraytracing:indirectlightingtemporalfilteringirradiancesharingGIBS方案总结GIBS方案流程总览GIBS方案优缺点改进思路参考surfel，

Surfel 光照 surfel li irradiance 计算机图形学

基于 Surfel 的实时全局光照方案（Surfel-based Global Illumination）

目录GlobalIlluminationbasedonSurfels[SIGGRAPH2021]Surfel持久化存储surfel数据组成surfel回收机制Surfelizationscreen-basedplacementAccelerationStructuregridFinalGatheringraygeneration:MSMErayguiding:importancesamplingraytracing:indirectlightingtemporalfilteringirradiancesharingGIBS方案总结GIBS方案流程总览GIBS方案优缺点改进思路参考surfel，

Surfel 光照 surfel li irradiance 计算机图形学

基于 Probe 的实时全局光照方案（Probe-based Global Illumination）

目录PrecomputedProbe预放置probes四面体镶嵌（TetrahedralTessellations）IndirectLightCacheVolumetricLightMap烘焙光照信息SHlighting重建shadingpoint光照信息优缺点DDGI（orRTXGI）动态/预放置probesDDGIvolume探测动态光照信息计算radiance更新probe的irradiance重建shadingpoint光照信息优缺点ScreenSpaceProbe动态放置probesuniformplacementadaptiveplacement探测动态光照信息spatialfil

Probe 光照 probe li 计算机图形学

基于 Probe 的实时全局光照方案（Probe-based Global Illumination）

目录PrecomputedProbe预放置probes四面体镶嵌（TetrahedralTessellations）IndirectLightCacheVolumetricLightMap烘焙光照信息SHlighting重建shadingpoint光照信息优缺点DDGI（orRTXGI）动态/预放置probesDDGIvolume探测动态光照信息计算radiance更新probe的irradiance重建shadingpoint光照信息优缺点ScreenSpaceProbe动态放置probesuniformplacementadaptiveplacement探测动态光照信息spatialfil

Probe 光照 probe li 计算机图形学

论文解读丨CIKM'22 MARINA：An MLP-Attention Model for Multivariate Time-Series Analysis

摘要：华为云数据库创新Lab在论文《MARINA:AnMLP-AttentionModelforMultivariateTime-SeriesAnalysis》中提出了华为自研的自回归时序神经网络模型，可用于时序数据的预测以及异常检测。本文分享自华为云社区《CIKM'22MARINA论文解读》，作者：云数据库创新Lab。华为云数据库创新Lab在论文《MARINA:AnMLP-AttentionModelforMultivariateTime-SeriesAnalysis》中提出了华为自研的自回归时序神经网络模型，可用于时序数据的预测以及异常检测。本文发表在CIKM'22上，CIKM会议是由美国

MLP-Attention Multivariate data data-pid 时序 NoSQL

论文解读丨CIKM'22 MARINA：An MLP-Attention Model for Multivariate Time-Series Analysis

摘要：华为云数据库创新Lab在论文《MARINA:AnMLP-AttentionModelforMultivariateTime-SeriesAnalysis》中提出了华为自研的自回归时序神经网络模型，可用于时序数据的预测以及异常检测。本文分享自华为云社区《CIKM'22MARINA论文解读》，作者：云数据库创新Lab。华为云数据库创新Lab在论文《MARINA:AnMLP-AttentionModelforMultivariateTime-SeriesAnalysis》中提出了华为自研的自回归时序神经网络模型，可用于时序数据的预测以及异常检测。本文发表在CIKM'22上，CIKM会议是由美国

MLP-Attention Multivariate data data-pid 时序 NoSQL