草庐IT

machine-learning-model

全部标签

SpringBoot-Learning系列之Kafka整合

SpringBoot-Learning系列之Kafka整合本系列是一个独立的SpringBoot学习系列,本着WhatWhyHow的思想去整合Java开发领域各种组件。消息系统主要应用场景流量消峰(秒杀抢购)、应用解耦(核心业务与非核心业务之间的解耦)异步处理、顺序处理实时数据传输管道异构语言架构系统之间的通信如C语言的CS客户端的HIS系统与java语言开发的互联网在线诊疗系统的交互Kafka是什么kafka是一个消息队列产品,基于Topicpartitions的设计,能达到非常高的消息发送处理性能。是java领域常用的消息队列。核心概念:生产者(Producer)生产者应用向主题队列中投送

2023-arxiv-LLaMA: Open and Efficient Foundation Language Models

开放和高效的基础语言模型Paper:https://arxiv.org/abs/2302.13971Code:https://github.com/facebookresearch/llama摘要本文介绍了LLaMA,这是⼀个包含7B到65B参数的基础语⾔模型的集合。作者在数万亿个令牌上训练模型,并表明可以仅使⽤公开可⽤的数据集来训练最先进的模型。特别是,LLaMA-13B在⼤多数基准测试中都优于GPT-3(175B),并且LLaMA65B与最好的模型Chinchilla-70B和PaLM-540B具有竞争⼒。实验数据集训练数据集是多个来源的混合,如表1所示,涵盖了不同的领域。总体而言,作者的

Django model 表与表之间的关联(外键、一对一、多对多、联合主键)

Djangomodel外键的实现主键:在Django中,如果你没有显式地指定一个模型的主键,Django会自动为其创建一个名为“id”的主键字段,这个字段是一个自增长的整数类型。因此,如果在Author模型中没有显式地指定主键,那么它的主键就是自动生成的“id”字段。外键(ForeignKey):在Django中,表和表之间可以通过外键(ForeignKey)来进行关联。外键是一种将一个表中的字段与另一个表中的字段进行关联的方法。在Django中,外键通常定义在一个模型中,它指向另一个模型的主键(primarykey),从而建立了两个模型之间的关系。一对一关系(OneToOneField):一

swift - Vapor 3 : when returning a model, 如何轻松返回子对象

我有一个模型广告系列,它有多个月份:finalclassCampaign:Content,SQLiteModel{varid:Int?varname:Stringvarmonths:Children{returnchildren(\.campaignID)}}当我想以最基本的方式返回事件时,它不包括月份,因为据我所知,计算属性不是Codable。funcgetOneHandler(_req:Request)throws->Future{returntryreq.parameters.next(Campaign.self)}所以,我创建了一个新结构来保存我想要返回的完整对象structF

CVPR2021论文:Learning to Cartoonize Using Whitebox Cartoo

作者:禅与计算机程序设计艺术1.简介2020年以来,在CVPR(计算机视觉及PatternRecognition)国际会议上,一直保持了高水准的成果发布,其中经典且代表性的论文包括“ImageStyleTransferusingConvolutionalNeuralNetworks”、“CycleGAN:UnpairedImage-to-ImageTranslationusingCycle-ConsistentAdversarialNetworks”等。2021年的CVPR会议在会中也不乏令人激动的成果发布,比如2021年CVPR上的最佳论文奖——SRFlow:Super-Resolution

【论文阅读】REPLUG: Retrieval-Augmented Black-Box Language Models

文章目录前言REPLUGREPLUGLSR:TrainingtheDenseRetrieverComputingRetrievalLikelihoodComputingLMlikelihoodTrainingSetupModelTrainingdataResultsLanguageModelingMMLUOpenDomainQAAnalysis前言原文地址:REPLUG:Retrieval-AugmentedBlack-BoxLanguageModels本文提出REPLUG,一个将语言模型视为黑盒检索增强的语言模型架构。在REPLUG中,仅将检索得到的文档拼接到原有输入前面即可,不需要像以前一

好文推荐 A transformer-based representation-learning model with unified processing of multimodal input

论文地址:https://www.nature.com/articles/s41551-023-01045-x代码地址:https://github.com/RL4M/IRENE基于Transformer的表示学习模型,作为临床诊断辅助工具,以统一的方式处理多模态输入。将图像与文字转化为visualtokens和texttokens,通过一个双向的跨模态注意力机制块共同学习不同信息间的整体特征和其关联性来做出决策。第一个以统一方式使用人工智能处理多模态信息,在临床上辅助医生进行决策诊断。为后续医学领域人工智能处理多模态信息提供一种新的思路。Data胸腔医学中,除了胸部X射线,医生还需要考虑患者

Parallel Context Windows for Large Language Models

本文是LLM系列文章,针对《ParallelContextWindowsforLargeLanguageModels》的翻译。大语言模型并行上下文窗口摘要1引言2并行上下文窗口3上下文学习的PCW4PCW用于QA5相关工作6结论和未来工作不足摘要当应用于处理长文本时,大型语言模型(LLM)受到其上下文窗口的限制。现有的解决这一限制的努力涉及训练专门的体系结构,并且不能很容易地应用于现成的LLM。我们提出了并行上下文窗口(PCW),这是一种在没有进一步训练的情况下减轻任何现成LLM的上下文窗口限制的方法。该方法的关键是将长上下文分割成块(“窗口”),将注意力机制限制为仅在每个窗口内应用,并在窗口

Truncation Sampling as Language Model Desmoothing

本文是LLM系列文章,针对《TruncationSamplingasLanguageModelDesmoothing》的翻译。截断采样作为语言模型的去平滑性摘要1引言2背景3截断作为去平滑性4方法5实验与结果6相关工作7结论8不足摘要来自神经语言模型的长文本样本可能质量较差。截断采样算法(如top-p或top-k)通过在每一步将一些单词的概率设置为零来解决这一问题。这项工作为截断的目的提供了框架,并为此目的提供了一种改进的算法。我们建议将神经语言模型视为真实分布和平滑分布的混合体,以避免无限的困惑。在这种情况下,截断算法的目的是执行去平滑,估计真实分布的支持子集。找到一个好的子集至关重要:我们

【论文阅读】【剪枝】Learning Efficient Convolutional Networks through Network Slimming

摘要             深度卷积神经网络(CNN)在许多实际应用中的部署在很大程度上受到其高计算成本的阻碍。在本文中,我们提出了一种新的神经网络学习方案,以同时1)减小模型大小;2)减少运行时内存占用;以及3)在不损害精度的情况下减少计算操作的数量。这是通过以简单但有效的方式在网络中实施通道级稀疏性来实现的。与许多现有方法不同,所提出的方法直接适用于现代CNN架构,为训练过程引入了最小开销,并且不需要用于生成模型的专用软件/硬件加速器。我们称我们的方法为网络瘦身,它将宽网络和大网络作为输入模型,但在训练过程中,不重要的通道会被自动识别并在之后进行修剪,从而生成具有相当精度的瘦而紧凑的模型