这篇笔记依然属于TD算法的范畴。Multi-Step-TD-Target是对TD算法的改进。9.Multi-Step-TD-Target9.1ReviewSarsa&Q-LearningSarsa训练动作价值函数\(Q_\pi(s,a)\)；TDTarget是\(y_t=r_t+\gamma\cdotQ_\pi(s_{t+1},a_{t+1})\)Q-Learning训练最优动作价值函数Q-star；TDTarget是\(y_t=r_t+\gamma\cdot\mathop{max}\limits_{a}Q^*({s_{t+1}},a)\)注意，两种算法的TDTarget的r部分都只有一个奖励
DDL（DataDefinitionLanguage）：数据定义语言，用来定义数据库对象（数据库，表，字段）。数据库操作查询所有数据库showdatabases;查询当前数据库selectdatabase();创建数据库createdatabase[ifnotexists]数据库名[defaultcharset字符集][collate排序规则];/*例：创建一个study数据库，并且指定字符集*/createdatabaseifnotexistsstudydefaultcharsetutf8mb4;删除数据库dropdatabase[ifexists]数据库名;切换数据库use数据库名;表操作
DDL（DataDefinitionLanguage）：数据定义语言，用来定义数据库对象（数据库，表，字段）。数据库操作查询所有数据库showdatabases;查询当前数据库selectdatabase();创建数据库createdatabase[ifnotexists]数据库名[defaultcharset字符集][collate排序规则];/*例：创建一个study数据库，并且指定字符集*/createdatabaseifnotexistsstudydefaultcharsetutf8mb4;删除数据库dropdatabase[ifexists]数据库名;切换数据库use数据库名;表操作
摘要：该文为大模型评估方向的综述论文。本文分享自华为云社区《【论文分享】《HolisticEvaluationofLanguageModels》》，作者：DevAI。大模型（LLM）已经成为了大多数语言相关的技术的基石，然而大模型的能力、限制、风险还没有被大家完整地认识。该文为大模型评估方向的综述论文，由PercyLiang团队打造，将2022年四月份前的大模型进行了统一的评估。其中，被评估的模型包括GPT-3，InstructGPT等。在经过大量的实验之后，论文提出了一些可供参考的经验总结。1.在所有被评估的模型中，InstructGPT davinciv2(175B)在准确率，鲁棒性，公平
摘要：该文为大模型评估方向的综述论文。本文分享自华为云社区《【论文分享】《HolisticEvaluationofLanguageModels》》，作者：DevAI。大模型（LLM）已经成为了大多数语言相关的技术的基石，然而大模型的能力、限制、风险还没有被大家完整地认识。该文为大模型评估方向的综述论文，由PercyLiang团队打造，将2022年四月份前的大模型进行了统一的评估。其中，被评估的模型包括GPT-3，InstructGPT等。在经过大量的实验之后，论文提出了一些可供参考的经验总结。1.在所有被评估的模型中，InstructGPT davinciv2(175B)在准确率，鲁棒性，公平
4.1、统一建模语言（UnifiedModelingLanguageUML）是一种可视化的语言规约系统的制品构造系统的制品建立系统制品的文档UML应用范围可用于对象方法和构件方法可用于所有应用领域和不同的平台1.面向对象方法术语/符号主要有两类术语：一种是表达结构化事物的术语一种是表达关系的术语2.UML术语表一种是表达结构化事物的术语对象：是系统中用来描述客观事物的一个实体。一个对象由一组属性和对这组属性进行操作一组方法组成。类：是具有相同属性、操作、关系和语义的一组对象集合属性：描述了对象的具体特征，属性具有属性名和属性值（属性状态）语法：可见性属性名：类型=缺省值{性质串}可见性：pub
4.1、统一建模语言（UnifiedModelingLanguageUML）是一种可视化的语言规约系统的制品构造系统的制品建立系统制品的文档UML应用范围可用于对象方法和构件方法可用于所有应用领域和不同的平台1.面向对象方法术语/符号主要有两类术语：一种是表达结构化事物的术语一种是表达关系的术语2.UML术语表一种是表达结构化事物的术语对象：是系统中用来描述客观事物的一个实体。一个对象由一组属性和对这组属性进行操作一组方法组成。类：是具有相同属性、操作、关系和语义的一组对象集合属性：描述了对象的具体特征，属性具有属性名和属性值（属性状态）语法：可见性属性名：类型=缺省值{性质串}可见性：pub
2012CVPR是本论文的会议版本。本文是乘积量化技术(PQ)最典型的索引方式。1INTRODUCTION乘积量化技术在查询时，需要找到query对应Voronicell或者和周边cell的点，如果数据量比较大，Cell也比较大的话，那么返回的点就会很多，需要花在Refine上的时间也会更多。因此一个迫切的要求是设计更为细粒度的分区，即voroonicell面积更小。一个最直接的方式是把codewords的个数提升一些，但是这同时意味着索引构建时间（学习时间）也更长。一些索引方法也可以引入进来，比如kd-tree，treecodebooks等，但是经常会降低查询准确性。本文提出的方法：多维倒排
2012CVPR是本论文的会议版本。本文是乘积量化技术(PQ)最典型的索引方式。1INTRODUCTION乘积量化技术在查询时，需要找到query对应Voronicell或者和周边cell的点，如果数据量比较大，Cell也比较大的话，那么返回的点就会很多，需要花在Refine上的时间也会更多。因此一个迫切的要求是设计更为细粒度的分区，即voroonicell面积更小。一个最直接的方式是把codewords的个数提升一些，但是这同时意味着索引构建时间（学习时间）也更长。一些索引方法也可以引入进来，比如kd-tree，treecodebooks等，但是经常会降低查询准确性。本文提出的方法：多维倒排
摘要多步（尺度）预测通常包含一个复杂的输入组合——包括静态（即时不变）协变量、已知的未来输入，以及其他仅在过去观察到的外生时间序列——没有任何关于它们如何与目标相互作用的先验信息。几种深度学习方法已经被提出，但它们通常是“黑盒”模型，并不能阐明它们如何使用实际场景中出现的全部输入。在本文中，我们介绍了时间融合变压器(TFT)——一种新的基于注意的架构，它结合了高性能的多步预测和对时间动态的可解释的洞察力。为了学习不同尺度上的时间关系，TFT使用循环层进行局部处理，并使用可解释的自我注意层进行长期依赖。TFT利用专门的组件来选择相关的特性和一系列的门控层来抑制不必要的组件，从而在广泛的场景中实现
