DeepRec所做的工作主要在四大方面：稀疏功能、训练性能、Serving、以及部署& ODL。
DeepRec在阿里巴巴内部的应用主要在推荐（猜你喜欢）、搜索（主搜）、广告（直通车和定向）等几个核心场景。我们也给云上的一些客户提供了部分稀疏场景的解决方法，为其模型效果和迭代效率的提升带来了很大帮助。
1.1 动态弹性特征（EV）
上图的左边是TensorFlow支持稀疏功能的主要方式。用户首先定义固定的shape的Tensor，稀疏的特征通过Hash+Mod的方式map到刚刚定义的Tensor上。这个逻辑上有4个问题：
通常情况下同一个特征对应的EmbeddingVariable会被设置为同一个维度，如果EmbeddingVariable被设置一个较高的维度，低频的特征内容容易导致过拟合，并且会消耗大量的内存。相反的如果维度设置的过低，高频的特征内容则有可能因为表达的能力不足而影响模型的效果。FAE的功能则提供了对于同一个特征里，根据不同特征冷热来配置不同的维度。这样让模型自动进行训练时第一个是模型的效果能得到保证，第二个也能解决训练对资源的使用。这是对于FAE功能的出发点的介绍。这个功能的使用目前是让用户传入一个维度和统计的算法，FAE自动根据实现的算法来产生不同的EmbeddingVariable；后面DeepRec计划在系统内部自适应的发现去分配特征的维度，从而提高用户的易用性。1.3自适应EmbeddingVariable
这个功能和第二个功能有些类似，都是以定义高低频的关系作为出发点。当前面提到的EV特别大时，我们会看到内存占用特别高。在Adaptive Embedding Variable中我们用两个Variable来表达，如右图展示。我们会定义其中一个Variable为静态的，低频的特征会尽可能映射到这个Variable上；另外一个则定义为动态弹性维度特征，用于高频部分的特征。Variable的内部支持低频和高频特征动态的转换，这样的优点是极大降低了系统对内存的使用。例如某个特征训练后第一维可能有接近10亿，而重要的特征只有20%-30%，通过这种自适应的方式后，可以不需要那么大的维度，进而极大的降低了对内存的使用。我们在实际应用发现对模型的精度影响是很小的。1.4 Multi-Hash Variable
这个功能是为了解决特征冲突的问题。我们原来是通过一个Hash+Mod的方式解决特征冲突，现在用两个或多个Hash+Mod去得到Embedding，并且随后对得到的Embedding做Reduction，这样的好处是能用更少的内存来解决特征冲突的问题。1.5 Embedding多级混合存储
这一功能的出发点同样也是发现EV在特征个数多的时候，内存开销十分大，训练的时候worker占用的内存可能达到了几十上百G。我们发现，特征实际上遵循典型的幂律分布。考虑到这个特征点，我们将热点特征放到CPU这样更宝贵的资源，而相对长尾低频的特征则放到相对廉价的资源中。如右图，有DRAM、PMEM、SSD三种结构，PMEM是英特尔提供的速度介于DRAM和SSD之间，但容量很大。我们目前支持DRAM-PMEM、DRAM-SSD、PMEM-SSD的混合，也在业务上取得了效果。云上有个业务 原来用200+多CPU分布式训练，现在使用多级存储后改成了单机GPU训练。
以上是对Embedding所有功能的介绍。我们做这些功能的动机是由于TensorFlow的几个问题（主要是特征冲突），我们解决的方案是动态弹性特征和Multi-Hash特征，针对动态弹性特征内存开销较大的问题，我们又开发了特征准入和特征淘汰的功能；针对特征频次，我们开发了3组功能：动态弹性维度和自适应动态弹性特征是从维度的方向解决的问题，多级混合存储则是从软硬件的方向解决的问题。
2.1异步训练框架StarServer
在超大规模任务情况下，上千个worker，原生TensorFlow存在的问题是：线程调度十分低效，关键路径开销凸显，另外小包通信十分频繁，这些都成为了分布式通信的瓶颈。StarServer在图的线程调度、内存的优化方面做得很好，将框架中Send/Recv修改为了Push/Pull语义，PS在执行的时候使用了lockless的方法，极大地提高了执行的效率。我们对比原生框架有数倍的性能提升，并且在内部3Kworker左右的数量能达到线性的扩展。2.2同步训练框架HybridBackend，
这是我们为同步训练开发的方案，它支持数据并行和模型并行混合分布式训练。数据读取通过数据并行来完成，模型并行能支持大参数量训练，最后使用数据并行做稠密计算。我们针对不同EmbeddingLookup的特征，做了多路Lookup合并的优化，分组优化，还利用了GPU Direct RDMA的优点，基于网络拓扑的感知，设计整个同步的框架。
3.1 PRMalloc
首先是内存分配，内存分配在TensorFlow和DeepRec中都是无处不在的，我们首先在稀疏训练中发现，大块内存分配造成了大量的minorpagefault，此外在多线程的分配中也存在并发分配的问题。我们在DeepRec中针对稀疏训练前向反向的特点，设计了针对深度学习的内存分配方案，称为PRMalloc。它提高了内存使用率和系统的性能。在图中可以看到主要的一块是MemoryPlanner，它的作用是在模型训练的前k轮的minibatch先统计当前训练的特点，每次需要分配多少Tensor，将这些行为记录通过bin的buffer记录下来，并且做相应的优化。在k步后，我们将其应用，从而极大减少上述的问题。我们在DeepRec的使用中发现，这能大大减少minorpagefault的出现，减少了内存的使用，训练速度也得到了1.6倍的加速。3.2 Executor优化
TensorFlow原生的Executor的实现十分简单，首先对DAG做拓扑排序，随后将Node插入到执行队列中，通过Task利用Executor调度。这样的实现没有结合业务考虑，ThreadPool默认使用了Eigen线程池，若线程负载不均匀，会发生大量的线程间抢占Steal，带来极大开销。我们在DeepRec中定义调度更均匀，同时定义了关键路径使得在调度的时候有一定的优先级顺序，来执行Op。最终DeepRec也提供了多种包括基于Task，SimpleGraph的调度策略。
4.1结构化特征
这是从业务启发的一个功能。我们发现在搜索场景下，不管是训练还是推理，样本往往是1个user对应多个item，多个label的特点。原来的处理方式会视为多个样本，这样user的存储是冗余的，我们为了节省这部分开销，自定义了存储格式来做这部分优化。如果这些样本在一个minibatch中是同一个user，部分user网络和item网络会分别计算，最后在做相应的逻辑计算，这样能节省计算开销。所以我们分别从存储和计算端做了结构化的优化。4.2 SmartStage
我们看到稀疏模型的训练通常包括样本的读取，EmbeddingLookup，还有MLP的网络计算。样本的读取和Embedding查找往往不是计算密集型的，并不能有效利用计算资源。原生框架提供的prefetch接口虽然能一定程度上完成异步操作，但是我们在EmbeddingLookup过程中设计部分复杂的子图，这些不能通过TensorFlow的prefetch实现流水线。TensorFlow提供的流水线功能，实际使用中需要用户显示的指定stage边界，一方面会提高使用难度，另一方面由于stage的精度不够，无法精确到op级别。对于High Level的API用户无法手动插入，会导致很多步伐并行化。下图是SmartStage的具体操作，它会将Op自动的归类到不同的Stage，使得并发的流水线能得到性能的提升。我们在ModelZoo里模型的测试效果最大加速比能达到1.1-1.3。
5.1模型增量导出及加载
最左边是样本处理，上下两部分是离线和在线的训练，右边是serving。这里面应用了很多PAI的组件来完成Pipeline的构造。
我有一个模型:classItem项目有一个属性“商店”基于存储的值，我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式？如果方法中没有大的if-else语句，这是如何干净利落地完成的？ 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.co
我需要从一个View访问多个模型。以前，我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它，但这似乎不是“ruby方式”，我将需要在不久的将来访问更多模型。这可能会变得很脏，是否有针对这种情况的任何技术？注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展，本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向，这似乎很麻烦。最终从任何
我有一个包含模块的模型。我想在模块中覆盖模型的访问器方法。例如:classBlah这显然行不通。有什么想法可以实现吗？ 最佳答案 您的代码看起来是正确的。我们正在毫无困难地使用这个确切的模式。如果我没记错的话，Rails使用#method_missing作为属性setter，因此您的模块将优先，阻止ActiveRecord的setter。如果您正在使用ActiveSupport::Concern(参见thisblogpost)，那么您的实例方法需要进入一个特殊的模块:classBlah
我有一个表单，其中有很多字段取自数组(而不是模型或对象)。我如何验证这些字段的存在？solve_problem_pathdo|f|%>... 最佳答案 创建一个简单的类来包装请求参数并使用ActiveModel::Validations。#definedsomewhere,atthesimplest:require'ostruct'classSolvetrue#youcouldevencheckthesolutionwithavalidatorvalidatedoerrors.add(:base,"WRONG!!!")unlesss
我想向我的Controller传递一个参数，它是一个简单的复选框，但我不知道如何在模型的form_for中引入它，这是我的观点:{:id=>'go_finance'}do|f|%>Transferirde:para:Entrada:"input",:placeholder=>"Quantofoiganho?"%>Saída:"output",:placeholder=>"Quantofoigasto?"%>Nota:我想做一个额外的复选框，但我该怎么做，模型中没有一个对象，而是一个要检查的对象，以便在Controller中创建一个ifelse，如果没有检查，请帮助我，非常感谢,谢谢
我想在一个没有Sass引擎的类中使用Sass颜色函数。我已经在项目中使用了sassgem，所以我认为搭载会像以下一样简单:classRectangleincludeSass::Script::FunctionsdefcolorSass::Script::Color.new([0x82,0x39,0x06])enddefrender#hamlengineexecutedwithcontextofself#sothatwithintemlateicouldcall#%stop{offset:'0%',stop:{color:lighten(color)}}endend更新:参见上面的#re
我有一些非常大的模型，我必须将它们迁移到最新版本的Rails。这些模型有相当多的验证(User有大约50个验证)。是否可以将所有这些验证移动到另一个文件中？说app/models/validations/user_validations.rb。如果可以，有人可以提供示例吗？ 最佳答案 您可以为此使用关注点:#app/models/validations/user_validations.rbrequire'active_support/concern'moduleUserValidationsextendActiveSupport:
对于Rails模型，是否可以/建议让一个类的成员不持久保存到数据库中？我想将用户最后选择的类型存储在session变量中。由于我无法从我的模型中设置session变量，我想将值存储在一个“虚拟”类成员中，该成员只是将值传递回Controller。你能有这样的类(class)成员吗？ 最佳答案 将非持久属性添加到Rails模型就像任何其他Ruby类一样:classUser扩展解释:在Ruby中，所有实例变量都是私有(private)的，不需要在赋值前定义。attr_accessor创建一个setter和getter方法:classUs
我有一个正在构建的应用程序，我需要一个模型来创建另一个模型的实例。我希望每辆车都有4个轮胎。汽车模型classCar轮胎模型classTire但是，在make_tires内部有一个错误，如果我为Tire尝试它，则没有用于创建或新建的activerecord方法。当我检查轮胎时，它没有这些方法。我该如何补救？错误是这样的:未定义的方法'create'forActiveRecord::AttributeMethods::Serialization::Tire::Module我测试了两个环境:测试和开发，它们都因相同的错误而失败。 最佳答案
ruby如何管理内存。例如:如果我们在执行过程中采用C程序，则以下是内存模型。类似于这个ruby如何处理内存。C:__________________|||stack|||------------------||||------------------|||||Heap|||||__________________|||data|__________________|text|__________________Ruby:? 最佳答案 Ruby中没有“内存”这样的东西。Class#allocate分配一个对象并返回该对象。这就是程序
