最近在看一些深度学习相关的书，感觉对于参考文献1中的mini-batch部分理解得不是很透彻，主要是因为神经网络的输入开始变成批数据，加之对python的numpy不是很熟了。所以总想写点什么，一来有助于加深对于知识的理解，二来也算是分享知识咯。闲话少叙，让我们进入正题。在机器学习中，学习的目标是选择期望风险\(R_{exp}\)(expectedloss)最小的模型，但在实际情况下，我们不知道数据的真实分布（包含已知样本和训练样本），仅知道训练集上的数据分布。因此，我们的目标转化为最小化训练集上的平均损失，这也被称为经验风险\(R_{emp}\)(empiricalloss)。严格地说，我们
这是一篇linkedin发表的深度迁移学习综述,里面讲了一些对于search/recommendsystem中的迁移学习应用.有不少指导性的方法,看完后摘录出来对于ranking方向的TL,主要有两种transfer方式:Modeltransfer对于参数量非常大的预训练模型,Fine-tuning训练代价比较大,这里基本没介绍,不太可行.更适合应用的方式是multi-tasktraining.(尤其是在多个产品线通过user来联系的场景)Crossdomain:适用场景为冷启问题(新用户/新场景),提升accuracy(减少数据稀疏性,学到更多的健壮特征),增强用户模型,主要有下面这几种实现
这是一篇linkedin发表的深度迁移学习综述,里面讲了一些对于search/recommendsystem中的迁移学习应用.有不少指导性的方法,看完后摘录出来对于ranking方向的TL,主要有两种transfer方式:Modeltransfer对于参数量非常大的预训练模型,Fine-tuning训练代价比较大,这里基本没介绍,不太可行.更适合应用的方式是multi-tasktraining.(尤其是在多个产品线通过user来联系的场景)Crossdomain:适用场景为冷启问题(新用户/新场景),提升accuracy(减少数据稀疏性,学到更多的健壮特征),增强用户模型,主要有下面这几种实现
“本文仅代表个人观点”本文档将提供一个高层次的概述，以帮助阐明什么是MES，并触及通常被归为MES的周边领域。整体情况制造执行系统或MES软件是旨在帮助公司管理其制造过程的工具。如今，制造业太复杂了，不能没有一个系统来定义如何安排客户订单并在生产车间进行制造。如果你在制造业，而且你有MES，那么它可能只是以电子表格、电子邮件和发布的时间表的形式实现。现代MES软件有助于用一个连接的系统取代这些电子表格，在需要时为需要的人提供实时操作信息，并允许数据从工厂车间设备和设备直接流向ERP和库存管理系统。制造公司必须对物料、货物、资金和人员等进行管理，诸如此类。这些公司要求从财务、采购、销售等部门建立
“本文仅代表个人观点”本文档将提供一个高层次的概述，以帮助阐明什么是MES，并触及通常被归为MES的周边领域。整体情况制造执行系统或MES软件是旨在帮助公司管理其制造过程的工具。如今，制造业太复杂了，不能没有一个系统来定义如何安排客户订单并在生产车间进行制造。如果你在制造业，而且你有MES，那么它可能只是以电子表格、电子邮件和发布的时间表的形式实现。现代MES软件有助于用一个连接的系统取代这些电子表格，在需要时为需要的人提供实时操作信息，并允许数据从工厂车间设备和设备直接流向ERP和库存管理系统。制造公司必须对物料、货物、资金和人员等进行管理，诸如此类。这些公司要求从财务、采购、销售等部门建立
（一）微调/迁移学习数据标注是一个很贵的事情，我们希望在经过大量的数据训练以后。我们的模型具备了一定的学习能力，在以后只需要给一点点的提示就能够学会一个新的事物。就是迁移学习的概念，名字不一样而已。（1）网络架构一个神经网络可以分为两块特征收取将原始像素变为能够线性分割的特征线性分类器来做分类那么微调是怎么做的呢？有一个神经网络net，它的训练来自于A数据集，而我的项目是B数据集。我希望能够net经过微小的调整之后，也能够用在B数据集上。也就是特征提取的那一部分仍起作用，只是说分类层需要重新训练。训练：是一个目标数据集上的正常任务，但是用更强的正则化：使用更小的学习率使用更少的数据迭代如果源数
（一）微调/迁移学习数据标注是一个很贵的事情，我们希望在经过大量的数据训练以后。我们的模型具备了一定的学习能力，在以后只需要给一点点的提示就能够学会一个新的事物。就是迁移学习的概念，名字不一样而已。（1）网络架构一个神经网络可以分为两块特征收取将原始像素变为能够线性分割的特征线性分类器来做分类那么微调是怎么做的呢？有一个神经网络net，它的训练来自于A数据集，而我的项目是B数据集。我希望能够net经过微小的调整之后，也能够用在B数据集上。也就是特征提取的那一部分仍起作用，只是说分类层需要重新训练。训练：是一个目标数据集上的正常任务，但是用更强的正则化：使用更小的学习率使用更少的数据迭代如果源数
翻译文章：Learningtheproteinlanguage:Evolution,structure,andfunction*注：加粗地方为个人研究所需，翻译提供阅读指导帮助，具体细节请查看原文BeplerT,BergerB.Learningtheproteinlanguage:Evolution,structure,andfunction[J].Cellsystems,2021,12(6):654-669.e3.InbriefBepler和Berger讨论了蛋白质语言建模及其在下游蛋白质性质预测问题上的应用的最新进展。他们考虑如何利用先前的生物知识来丰富这些模型，并引入一种方法，将蛋白质结
翻译文章：Learningtheproteinlanguage:Evolution,structure,andfunction*注：加粗地方为个人研究所需，翻译提供阅读指导帮助，具体细节请查看原文BeplerT,BergerB.Learningtheproteinlanguage:Evolution,structure,andfunction[J].Cellsystems,2021,12(6):654-669.e3.InbriefBepler和Berger讨论了蛋白质语言建模及其在下游蛋白质性质预测问题上的应用的最新进展。他们考虑如何利用先前的生物知识来丰富这些模型，并引入一种方法，将蛋白质结
GraphNeuralTransportNetworkswithNon-localAttentionsforRecommenderSystems用于推荐系统的非局部注意的图神经传输网络来源：WWW2022摘要：通常，GNN通过在本地邻居之间传播和聚合消息来生成用户/项的嵌入。因此，GNN捕获远程依赖关系的能力在很大程度上取决于它们的深度。然而，简单地训练深度gnn会产生瓶颈效应，例如过拟合和过平滑等，无法得到较好的训练效果。为了解决这个问题，作者提出了图最优传输网络(GOTNet)来捕获在不增加GNN深度的情况下的长期依赖关系。GOTNet能够只使用浅层GNN来同时捕获图中的本地和非本地消息，
