本文是阅读LinkedIn公司2020年发表的论文Magnet:Push-basedShuffleServiceforLarge-scaleDataProcessing一点笔记。什么是Shuffle以上图为例，在一个DAG的执行图中，节点与节点之间的数据交换就是Shuffle的过程。虽然Shuffle的过程很简单，但是不同的引擎有不同的实现。以shuffle数据传输的介质来看有基于磁盘的shuffle，例如Map/Reduce，Spark，FlinkBatch中，上下游之前的数据都是需要落盘后来进行传输，这类通常是离线处理框架，对延迟不敏感，基于磁盘更加可靠稳定。有基于内存的pipeline模
本文是阅读LinkedIn公司2020年发表的论文Magnet:Push-basedShuffleServiceforLarge-scaleDataProcessing一点笔记。什么是Shuffle以上图为例，在一个DAG的执行图中，节点与节点之间的数据交换就是Shuffle的过程。虽然Shuffle的过程很简单，但是不同的引擎有不同的实现。以shuffle数据传输的介质来看有基于磁盘的shuffle，例如Map/Reduce，Spark，FlinkBatch中，上下游之前的数据都是需要落盘后来进行传输，这类通常是离线处理框架，对延迟不敏感，基于磁盘更加可靠稳定。有基于内存的pipeline模
!https://zhuanlan.zhihu.com/p/613458826运行时软件补丁（热更新/动态更新？）:分类、调查和未来方向本文来自eunomia-bpf社区，我们正在探索eBPF和WebAssembly相互结合的工具链和运行时:https://github.com/eunomia-bpf/wasm-bpf社区关注于简化eBPF程序的编写、分发和动态加载流程，以及探索eBPF和Wasm相结合的工具链、运行时和运用场景等技术。https://arxiv.org/pdf/2203.12132.pdf运行时软件修补:分类、调查和未来方向运行时软件补丁旨在最小化或消除服务停机时间、用户中断
!https://zhuanlan.zhihu.com/p/613458826运行时软件补丁（热更新/动态更新？）:分类、调查和未来方向本文来自eunomia-bpf社区，我们正在探索eBPF和WebAssembly相互结合的工具链和运行时:https://github.com/eunomia-bpf/wasm-bpf社区关注于简化eBPF程序的编写、分发和动态加载流程，以及探索eBPF和Wasm相结合的工具链、运行时和运用场景等技术。https://arxiv.org/pdf/2203.12132.pdf运行时软件修补:分类、调查和未来方向运行时软件补丁旨在最小化或消除服务停机时间、用户中断
!https://zhuanlan.zhihu.com/p/613458826运行时软件补丁（热更新/动态更新？）:分类、调查和未来方向本文来自eunomia-bpf社区，我们正在探索eBPF和WebAssembly相互结合的工具链和运行时:https://github.com/eunomia-bpf/wasm-bpf社区关注于简化eBPF程序的编写、分发和动态加载流程，以及探索eBPF和Wasm相结合的工具链、运行时和运用场景等技术。https://arxiv.org/pdf/2203.12132.pdf运行时软件修补:分类、调查和未来方向运行时软件补丁旨在最小化或消除服务停机时间、用户中断
!https://zhuanlan.zhihu.com/p/613458826运行时软件补丁（热更新/动态更新？）:分类、调查和未来方向本文来自eunomia-bpf社区，我们正在探索eBPF和WebAssembly相互结合的工具链和运行时:https://github.com/eunomia-bpf/wasm-bpf社区关注于简化eBPF程序的编写、分发和动态加载流程，以及探索eBPF和Wasm相结合的工具链、运行时和运用场景等技术。https://arxiv.org/pdf/2203.12132.pdf运行时软件修补:分类、调查和未来方向运行时软件补丁旨在最小化或消除服务停机时间、用户中断
最近GPT4的火爆覆盖了一个新闻：midjourneyv5发布，DALLE2，midjourney都可以从文本中生成图像，这种模型要求人工智能同时理解语言和图像数据。传统的基于人工智能的模型很难同时理解语言和图像。因为自然语言处理和计算机视觉一直被视为两个独立的领域，这使得机器在两者之间进行有效沟通具有挑战性。然而CLIP的多模态架构通过在相同的潜在空间中学习语言和视觉表现在二者之间建立了桥梁 。因此，CLIP允许我们利用其他架构，使用它的“语言-图像表示”进行下游任务。CLIP是一个基于超大数据量的pair-wise预训练模型但是在它的下游任务DalleE-2，Stable-Diffusio
最近GPT4的火爆覆盖了一个新闻：midjourneyv5发布，DALLE2，midjourney都可以从文本中生成图像，这种模型要求人工智能同时理解语言和图像数据。传统的基于人工智能的模型很难同时理解语言和图像。因为自然语言处理和计算机视觉一直被视为两个独立的领域，这使得机器在两者之间进行有效沟通具有挑战性。然而CLIP的多模态架构通过在相同的潜在空间中学习语言和视觉表现在二者之间建立了桥梁 。因此，CLIP允许我们利用其他架构，使用它的“语言-图像表示”进行下游任务。CLIP是一个基于超大数据量的pair-wise预训练模型但是在它的下游任务DalleE-2，Stable-Diffusio
0、关键词annotatedvideos,3Dobjectdetection,object-centricvideos,poseannotations,Objectrondataset,3Dobjecttracking,3Dshaperepresentation,object-centricshortvideos,annotatedimages,robotics,imageretrieval,augmentedreality1、链接该论文来自谷歌研究院（GoogleResearch It'sGoogle:-(内地需要VPN才能访问）。秉承其形成技术壁垒的一贯作风，要么“力大砖飞”，使用大规模集
0、关键词annotatedvideos,3Dobjectdetection,object-centricvideos,poseannotations,Objectrondataset,3Dobjecttracking,3Dshaperepresentation,object-centricshortvideos,annotatedimages,robotics,imageretrieval,augmentedreality1、链接该论文来自谷歌研究院（GoogleResearch It'sGoogle:-(内地需要VPN才能访问）。秉承其形成技术壁垒的一贯作风，要么“力大砖飞”，使用大规模集
