草庐IT

transform-like

全部标签

西湖大学利用 Transformer 分析百亿多肽的自组装特性,破解自组装法则

多肽是两个以上氨基酸通过肽键组成的生物活性物质,可以通过折叠、螺旋形成更高级的蛋白质结构。多肽不仅与多个生理活动相关联,还可以自组装成纳米粒子,参与到生物检测、药物递送、组织工程中。然而,多肽的序列组成过于多样,仅10个氨基酸就可以组成超过百亿种多肽。因此,人们很难对其自组装特性进行全面系统的研究,进而优化自组装多肽的设计。为此,西湖大学的李文彬课题组利用基于Transformer的回归网络,对百亿种多肽的自组装特性进行了预测,并分析得到了不同位置氨基酸对自组装特性的影响,为自组装多肽的研究提供了强力的新工具。作者|雪菜编辑|三羊多肽是两个以上氨基酸通过肽键组成的生物活性物质。多肽合成便利、可

【论文阅读】面向抽取和理解基于Transformer的自动作文评分模型的隐式评价标准(实验结果部分)

方法结果在这一部分,我们展示对于每个模型比较的聚合的统计分析当涉及到计算特征和独立的特征组(表格1),抽取功能组和对齐重要功能组(表格2),并且最后,我们提供从模型比较(LANGUAGE模型v.s.MAINIDEA模型)中获取的样例。由于长度限制,我们只展示了这个比较的细节样例。相似的图片和相关性分析展示在Github上。1.独立特征组因为每个训练好的模型都从他们的训练集合中留出一个不同集合的主题,分析集中相同的主题需要被识别出来,并且那么,抽取的特征的数量和导致的独立特征组在每个模型比较中不同。为每个模型比较计算独立的特征组(表格1),对所有的比较,都产生了在原先70%和77%之间的抽取的特

【视频理解】2022-CVPR-Video Swin Transformer

2022-CVPR-VideoSwinTransformerVideoSwinTransformer摘要1.引言2.相关工作3.VideoSwinTransformer3.1.总体架构3.2.基于3D平移窗口的MSA模块3.3.结构变量3.4.从预训练模型初始化4.实验4.1.设置4.2.与最先进技术的比较4.3.消融实验5.结论参考文献VideoSwinTransformer论文地址摘要 视觉领域正在见证从CNN到Transformers的建模转变,纯Transformer架构在主要视频识别基准测试中达到了最高准确度。这些视频模型都建立在Transformer层之上,Transformer层

【自监督论文阅读笔记】Emerging Properties in Self-Supervised Vision Transformers

(2021)Abstract        在本文中,我们质疑 自监督学习是否为VisionTransformer(ViT)[16]提供了与卷积网络(convnets)相比突出的新属性。除了 使自监督方法适应这种架构的效果 特别好之外,我们还进行了以下观察:首先,自监督的ViT特征包含关于图像语义分割的显式信息,这在有监督的ViTs和卷积网络中都没有那么明显。其次,这些特征 也是优秀的k-NN分类器,在ImageNet上以小ViT达到78.3%top-1。我们的研究还强调了动量编码器[26]、多裁剪训练[9]以及使用ViT的小patches的重要性。我们将我们的发现应用到一种简单的自监督方法中

mongodb - 'mongodb 中的 SQL 'like' 语句

这个问题在这里已经有了答案:HowtoqueryMongoDBwith"like"(45个答案)关闭7年前。MongoDB/mongoose中是否有类似SQL语言的'like'语句?使用的唯一原因是全文搜索的实现。

transformer 4 RuntimeError: Expected tensor for argument #1 ‘indices‘ to have scalar type Long

        在使用transformer4.0时,报错误提示RuntimeError:Expectedtensorforargument#1'indices'tohavescalartypeLong;butgottorch.IntTensorinstead(whilecheckingargumentsforembedding)。该问题主要时由于tensor的类型导致的,解决方法是在相应报错行的前一行对数据类型进行转换。假设输入数据为x,那么增加行为“x =torch.tensor(x).to(torch.int64)”。        如果修改之后仍然出现该错误,并且发生错误的位置发生变化

如何解决微软New Bing提示错误:Sorry, looks like your network settings are preventing access to this feature

The error message "Sorry, looks like your network settings are preventing access to this feature" typically appears when there is an issue with the user's network connection. It means the chatbot is unable to connect to the internet and therefore cannot access the feature or provide a response to th

mongodb - MongoDB 中的 "LIKE"命令(mongomapper)

如何在MongoDB中使用过滤数据作为sql做“LIKE”,而不是在我的Rails应用程序上使用gemmongomapper?.谢谢 最佳答案 如果您要查找字符串的部分匹配项,您可以使用正则表达式进行查询。这是mongomapper文档的相关部分:http://api.mongodb.org/ruby/current/file.TUTORIAL.html#Querying_with_Regular_ExpressionsMongodb文档中值得注意:“对于像/^prefix/这样的简单前缀查询(也称为根正则表达式),数据库将在可用且

MongoDB - 在连接字段上包含(LIKE)查询

我是MongoDB的新手。我正在使用spring数据和mongodb编写一个应用程序,我有一个包含两个字段的类:firstname和lastname。我需要查询在全名中包含一个字符串的文档(firstname+lastname)。例如:firstname="HansenDavid",lastname="GonzalezSastoque",我有一个要查找DavidGonzalez的查询。在这个例子中,我希望有一个匹配项。连接两个字符串可以解决问题,但我不知道如何执行。 最佳答案 在文档中创建一个新的数组字段(称其为names),并在该

VL系列 Exchanging-based Multimodal Fusion with Transformer 论文阅读笔记

多模态融合Exchanging-basedMultimodalFusionwithTransformer论文阅读笔记一、Abstract二、引言三、相关工作3.1深度多模态融合四、方法4.1低维投影和embedding归一化低维投影Embedding归一化4.2多模态交换Transformer基础CrossTransformer4.3训练目标五、实验5.1多模态命名实体识别部署实施结果5.2多模态情感分析实施结果5.3消融研究5.4超参数敏感分析交换率θ\thetaθ初始层μ\muμ终止层η\etaη六、结论写在前面  又是一个周末&教师节,祝老师们节日快乐呀。依惯例,论文读起来~  这是一篇