草庐IT

神经网

全部标签

10行代码搞定图Transformer,图神经网络框架DGL迎来1.0版本

2019年,纽约大学、亚马逊云科技联手推出图神经网络框架DGL(DeepGraphLibrary)。如今DGL1.0正式发布!DGL1.0总结了过去三年学术界或工业界对图深度学习和图神经网络(GNN)技术的各类需求。从最先进模型的学术研究到将GNN扩展到工业级应用,DGL1.0为所有用户提供全面且易用的解决方案,以更好的利用图机器学习的优势。DGL1.0为不同场景提供的解决方案。DGL1.0采用分层和模块化的设计,以满足各种用户需求。本次发布的关键特性包括:100多个开箱即用的GNN模型示例,15多个在OpenGraphBenchmark(OGB)上排名靠前的基准模型;150多个GNN常用模块

10行代码搞定图Transformer,图神经网络框架DGL迎来1.0版本

2019年,纽约大学、亚马逊云科技联手推出图神经网络框架DGL(DeepGraphLibrary)。如今DGL1.0正式发布!DGL1.0总结了过去三年学术界或工业界对图深度学习和图神经网络(GNN)技术的各类需求。从最先进模型的学术研究到将GNN扩展到工业级应用,DGL1.0为所有用户提供全面且易用的解决方案,以更好的利用图机器学习的优势。DGL1.0为不同场景提供的解决方案。DGL1.0采用分层和模块化的设计,以满足各种用户需求。本次发布的关键特性包括:100多个开箱即用的GNN模型示例,15多个在OpenGraphBenchmark(OGB)上排名靠前的基准模型;150多个GNN常用模块

理解并统一14种归因算法,让神经网络具有可解释性

尽管DNN在各种实际应用中取得了广泛的成功,但其过程通常被视为黑盒子,因为我们很难解释DNN如何做出决定。缺乏可解释性损害了DNN的可靠性,从而阻碍了它们在高风险任务中的广泛应用,例如自动驾驶和AI医疗。因此,可解释DNN引起了越来越多的关注。作为解释DNN的典型视角,归因方法旨在计算每个输入变量对网络输出的归因/重要性/贡献分数。例如,给定一个用于图像分类的预训练DNN和一个输入图像,每个输入变量的属性得分是指每个像素对分类置信度得分的数值影响。尽管近年来研究者提出了许多归因方法,但其中大多数都建立在不同的启发式方法之上。目前还缺乏统一的理论视角来检验这些归因方法的正确性,或者至少在数学上阐

理解并统一14种归因算法,让神经网络具有可解释性

尽管DNN在各种实际应用中取得了广泛的成功,但其过程通常被视为黑盒子,因为我们很难解释DNN如何做出决定。缺乏可解释性损害了DNN的可靠性,从而阻碍了它们在高风险任务中的广泛应用,例如自动驾驶和AI医疗。因此,可解释DNN引起了越来越多的关注。作为解释DNN的典型视角,归因方法旨在计算每个输入变量对网络输出的归因/重要性/贡献分数。例如,给定一个用于图像分类的预训练DNN和一个输入图像,每个输入变量的属性得分是指每个像素对分类置信度得分的数值影响。尽管近年来研究者提出了许多归因方法,但其中大多数都建立在不同的启发式方法之上。目前还缺乏统一的理论视角来检验这些归因方法的正确性,或者至少在数学上阐

可扩展的图神经结构搜索系统

一、问题1、图数据在现实生活中,很多的数据都是以图的形式存在,像社交网络,知识谱药物和新材料等,图神经网络也被广泛的应用于多个场景,如推荐系统,异常检测,药物以及蛋白质结构预测等。首先我们来对最常见图卷积神经网络做一个简单的回顾,从公式上来看,GCN的表达形式与传统的深度神经网络区别在于多了含自环的度矩阵和邻接矩阵,也就是增加了聚合邻居节点特征的一个过程。因此在GCN的每一层包含两个操作,propagation操作用来聚合邻居的信息,transformation操作用来做变换。如果公式中的A矩阵是单位矩阵或者删去图里所有的边,那么GCN此时就退化成了MLP。2、图神经网络GCN的性能优于MLP

可扩展的图神经结构搜索系统

一、问题1、图数据在现实生活中,很多的数据都是以图的形式存在,像社交网络,知识谱药物和新材料等,图神经网络也被广泛的应用于多个场景,如推荐系统,异常检测,药物以及蛋白质结构预测等。首先我们来对最常见图卷积神经网络做一个简单的回顾,从公式上来看,GCN的表达形式与传统的深度神经网络区别在于多了含自环的度矩阵和邻接矩阵,也就是增加了聚合邻居节点特征的一个过程。因此在GCN的每一层包含两个操作,propagation操作用来聚合邻居的信息,transformation操作用来做变换。如果公式中的A矩阵是单位矩阵或者删去图里所有的边,那么GCN此时就退化成了MLP。2、图神经网络GCN的性能优于MLP

大脑里真有ResNet!全球首张「果蝇大脑连接组」面世:耗费十余年,重建三千神经元,超50万突触!

虽说现代的深度学习早已脱离对「生物神经网络」的模仿,但了解生物大脑的运行机制,对于神经网络模型的未来发展仍然很有帮助。大脑回路的结构方式影响着大脑的计算能力,但到目前为止,除了在一些非常简单的生物体中,仍然还没有看到任何大脑的具体结构。去年11月,来自剑桥大学、约翰霍普金斯大学、珍利亚研究园区等多家顶尖机构的研究人员在Biorxiv上传了一篇论文,经过十余年的艰苦研究,首次完整地对「果蝇幼虫」的大脑连接组进行重建。论文链接:​https://www.science.org/doi/10.1126/science.add9330​3月10日,相关成果发表在《科学》杂志上。论文作者之一,来自约翰霍

大脑里真有ResNet!全球首张「果蝇大脑连接组」面世:耗费十余年,重建三千神经元,超50万突触!

虽说现代的深度学习早已脱离对「生物神经网络」的模仿,但了解生物大脑的运行机制,对于神经网络模型的未来发展仍然很有帮助。大脑回路的结构方式影响着大脑的计算能力,但到目前为止,除了在一些非常简单的生物体中,仍然还没有看到任何大脑的具体结构。去年11月,来自剑桥大学、约翰霍普金斯大学、珍利亚研究园区等多家顶尖机构的研究人员在Biorxiv上传了一篇论文,经过十余年的艰苦研究,首次完整地对「果蝇幼虫」的大脑连接组进行重建。论文链接:​https://www.science.org/doi/10.1126/science.add9330​3月10日,相关成果发表在《科学》杂志上。论文作者之一,来自约翰霍

递归神经网络(RNN)

递归神经网络(RNN)RNN是最强大的模型之一,它使我们能够开发如分类、序列数据标注、生成文本序列(例如预测下一输入词的SwiftKeykeyboard应用程序),以及将一个序列转换为另一个序列(比如从法语翻译成英语的语言翻译)等应用程序。大多数模型架构(如前馈神经网络)都没有利用数据的序列特性。例如,我们需要数据呈现出向量中每个样例的特征,如表示句子、段落或文档的所有token。前馈网络的设计只是为了一次性地查看所有特征并将它们映射到输出。让我们看一个文本示例,它显示了为什么顺序或序列特性对文本很重要。Ihadcleanedmycar和Ihadmycarcleaned两个英文句子,用同样的单

递归神经网络(RNN)

递归神经网络(RNN)RNN是最强大的模型之一,它使我们能够开发如分类、序列数据标注、生成文本序列(例如预测下一输入词的SwiftKeykeyboard应用程序),以及将一个序列转换为另一个序列(比如从法语翻译成英语的语言翻译)等应用程序。大多数模型架构(如前馈神经网络)都没有利用数据的序列特性。例如,我们需要数据呈现出向量中每个样例的特征,如表示句子、段落或文档的所有token。前馈网络的设计只是为了一次性地查看所有特征并将它们映射到输出。让我们看一个文本示例,它显示了为什么顺序或序列特性对文本很重要。Ihadcleanedmycar和Ihadmycarcleaned两个英文句子,用同样的单