2019年，纽约大学、亚马逊云科技联手推出图神经网络框架DGL(DeepGraphLibrary)。如今DGL1.0正式发布！DGL1.0总结了过去三年学术界或工业界对图深度学习和图神经网络（GNN）技术的各类需求。从最先进模型的学术研究到将GNN扩展到工业级应用，DGL1.0为所有用户提供全面且易用的解决方案，以更好的利用图机器学习的优势。DGL1.0为不同场景提供的解决方案。DGL1.0采用分层和模块化的设计，以满足各种用户需求。本次发布的关键特性包括：100多个开箱即用的GNN模型示例，15多个在OpenGraphBenchmark（OGB）上排名靠前的基准模型；150多个GNN常用模块
2019年，纽约大学、亚马逊云科技联手推出图神经网络框架DGL(DeepGraphLibrary)。如今DGL1.0正式发布！DGL1.0总结了过去三年学术界或工业界对图深度学习和图神经网络（GNN）技术的各类需求。从最先进模型的学术研究到将GNN扩展到工业级应用，DGL1.0为所有用户提供全面且易用的解决方案，以更好的利用图机器学习的优势。DGL1.0为不同场景提供的解决方案。DGL1.0采用分层和模块化的设计，以满足各种用户需求。本次发布的关键特性包括：100多个开箱即用的GNN模型示例，15多个在OpenGraphBenchmark（OGB）上排名靠前的基准模型；150多个GNN常用模块
据悉GPT-4将于本周发布，多模态将成为其一大亮点。当前的大语言模型正在成为理解各种模态的通用接口，能够根据不同模态信息来给出回复文本，但大语言模型生成的内容也仅仅局限于文本。另一方面，当前的扩散模型DALL・E2、Imagen、StableDiffusion等在视觉创作上掀起一场革命，但这些模型仅仅支持文到图的单一跨模态功能，离通用式生成模型还有一定距离。而多模态大模型将能够打通各种模态能力，实现任意模态之间转化，被认为是通用式生成模型的未来发展方向。清华大学计算机系朱军教授带领的TSAIL团队近期公开的一篇论文《OneTransformerFitsAllDistributionsinMul
据悉GPT-4将于本周发布，多模态将成为其一大亮点。当前的大语言模型正在成为理解各种模态的通用接口，能够根据不同模态信息来给出回复文本，但大语言模型生成的内容也仅仅局限于文本。另一方面，当前的扩散模型DALL・E2、Imagen、StableDiffusion等在视觉创作上掀起一场革命，但这些模型仅仅支持文到图的单一跨模态功能，离通用式生成模型还有一定距离。而多模态大模型将能够打通各种模态能力，实现任意模态之间转化，被认为是通用式生成模型的未来发展方向。清华大学计算机系朱军教授带领的TSAIL团队近期公开的一篇论文《OneTransformerFitsAllDistributionsinMul
注意：本文大多采用义译，确保原文意思不变，但不保证用词和原作完全一致。:sunglasses:使用正弦函数为模型添加位置信息Transformer是只基于自注意力机制的序列到序列架构。因为并行计算能力以及高性能。使得它在NLP领域中大受欢迎。现在常见的几个深度学习框架都实现了transformer，这让很多学生都能够方便使用到transformer。但是这也存在一个弊端，他会让我们忽略模型的一些细节。在本文中我，不打算研究它的整体结构，毕竟现在已经有很多优秀的文章介绍其结构了。在本文中我仅对transformer结构的一部分进行探讨，就是位置编码。当我阅读论文原文^[AttentionIsAl
注意：本文大多采用义译，确保原文意思不变，但不保证用词和原作完全一致。:sunglasses:使用正弦函数为模型添加位置信息Transformer是只基于自注意力机制的序列到序列架构。因为并行计算能力以及高性能。使得它在NLP领域中大受欢迎。现在常见的几个深度学习框架都实现了transformer，这让很多学生都能够方便使用到transformer。但是这也存在一个弊端，他会让我们忽略模型的一些细节。在本文中我，不打算研究它的整体结构，毕竟现在已经有很多优秀的文章介绍其结构了。在本文中我仅对transformer结构的一部分进行探讨，就是位置编码。当我阅读论文原文^[AttentionIsAl
