草庐IT

张俊林:由ChatGPT反思大语言模型(LLM)的技术精要

ChatGPT出现后惊喜或惊醒了很多人。惊喜是因为没想到大型语言模型(LLM,LargeLanguageModel)效果能好成这样;惊醒是顿悟到我们对LLM的认知及发展理念,距离世界最先进的想法,差得有点远。我属于既惊喜又惊醒的那一批,也是典型的中国人,中国人善于自我反思,于是开始反思,而这篇文章正是反思的结果。来源丨Datawhale作者丨张俊林实话实说,国内在LLM模型相关技术方面,此刻,距离最先进技术的差距进一步加大了。技术领先或技术差距这事情,我觉得要动态地以发展的眼光来看。在Bert出现之后的一到两年间,其实国内在这块的技术追赶速度还是很快的,也提出了一些很好的改进模型,差距拉开的分

张俊林:由ChatGPT反思大语言模型(LLM)的技术精要

ChatGPT出现后惊喜或惊醒了很多人。惊喜是因为没想到大型语言模型(LLM,LargeLanguageModel)效果能好成这样;惊醒是顿悟到我们对LLM的认知及发展理念,距离世界最先进的想法,差得有点远。我属于既惊喜又惊醒的那一批,也是典型的中国人,中国人善于自我反思,于是开始反思,而这篇文章正是反思的结果。来源丨Datawhale作者丨张俊林实话实说,国内在LLM模型相关技术方面,此刻,距离最先进技术的差距进一步加大了。技术领先或技术差距这事情,我觉得要动态地以发展的眼光来看。在Bert出现之后的一到两年间,其实国内在这块的技术追赶速度还是很快的,也提出了一些很好的改进模型,差距拉开的分

MySQL函数:列转行CONCAT、CONCAT_WS、GROUP_CONCAT的使用(精要)

前言很久没有接触Mysql了。今天心血来潮,突然想了解一下Mysql列转行,看了一些文章,重点不清晰,遂有下文!Mysql官网、 社区版下载( Windows版_mysql.8.0.31下载  )概述Mysql内部提供了列转行的三个函数,分别是:CONCAT(str1,str2,...)CONCAT_WS(separator,str1,str2,...)GROUP_CONCAT(expr)数据准备数据如下,简单明了。#1、查看原始数据select*fromstudent;   如上图所示,3条数据,足以说明问题。 案例解析一、CONCAT(str1,str2,...)函数解析首先,看到该函数的

MySQL函数:列转行CONCAT、CONCAT_WS、GROUP_CONCAT的使用(精要)

前言很久没有接触Mysql了。今天心血来潮,突然想了解一下Mysql列转行,看了一些文章,重点不清晰,遂有下文!Mysql官网、 社区版下载( Windows版_mysql.8.0.31下载  )概述Mysql内部提供了列转行的三个函数,分别是:CONCAT(str1,str2,...)CONCAT_WS(separator,str1,str2,...)GROUP_CONCAT(expr)数据准备数据如下,简单明了。#1、查看原始数据select*fromstudent;   如上图所示,3条数据,足以说明问题。 案例解析一、CONCAT(str1,str2,...)函数解析首先,看到该函数的

万字长文讲述由ChatGPT反思大语言模型的技术精要

文|张俊林源|知乎@张俊林导读:ChatGPT出现后惊喜或惊醒了很多人。惊喜是因为没想到大型语言模型(LLM,LargeLanguageModel)效果能好成这样;惊醒是顿悟到我们对LLM的认知及发展理念,距离世界最先进的想法,差得有点远。我属于既惊喜又惊醒的那一批,也是典型的中国人,中国人善于自我反思,于是开始反思,而这篇文章正是反思的结果。友爱的目录01潮流之巅:NLP研究范式的转换1.范式转换1.0:从深度学习到两阶段预训练模型影响一:中间任务的消亡影响二:不同研究方向技术路线的统一2.范式转换2.0:从预训练模型走向通用人工智能(AGI,ArtificialGeneralIntelli

万字长文讲述由ChatGPT反思大语言模型的技术精要

文|张俊林源|知乎@张俊林导读:ChatGPT出现后惊喜或惊醒了很多人。惊喜是因为没想到大型语言模型(LLM,LargeLanguageModel)效果能好成这样;惊醒是顿悟到我们对LLM的认知及发展理念,距离世界最先进的想法,差得有点远。我属于既惊喜又惊醒的那一批,也是典型的中国人,中国人善于自我反思,于是开始反思,而这篇文章正是反思的结果。友爱的目录01潮流之巅:NLP研究范式的转换1.范式转换1.0:从深度学习到两阶段预训练模型影响一:中间任务的消亡影响二:不同研究方向技术路线的统一2.范式转换2.0:从预训练模型走向通用人工智能(AGI,ArtificialGeneralIntelli

JetCache 缓存开源组件设计精要

​作者:张隆阿里电影演出技术中心团队本文将为大家介绍JetCache缓存开源组件的前世今生,并剖析了JetCache的工作原理及设计优势。一、JetCache的前世今生1.1 诞生-阿里彩票JetCache的伊甸园2013年,JetCache诞生于[阿里彩票],作者是[huangli]凭借得天独厚的Tair支持和丰富的Spring生态注解支持,赢得了大家的喜爱。2015年,随着SpringBoot的大热和集团内PandoraBoot的彻底铺开,JetCache以Starter的形式实现了扩展,优化了配置项,在架构设计和性能上更上一层楼。2015年同年,JetCache开源至Github,作为a

Unity Shader入门精要读书笔记 第三章 Unity Shader基础

UnityShader入门精要读书笔记第三章UnityShader基础前言UnityShader的出现就是为了提供一个地方能够让开发者更轻松的管理着色器代码以及渲染设置,而不需要同各种shader文件一样管理多个文件、函数等。3.1UnityShader概述3.1.1材质和UnityShader​ 在Unity中,我们需要配合使用材质(Material)和UnityShader才能达到需要的效果。UnityShader定义渲染所需的代码、属性和指令,而材质允许我们自己调节这些属性,并赋给相应的模型。3.1.2Unity中的材质​ Unity中的材质需要结合一个GameObject的mesh或者

Unity Shader入门精要读书笔记 第三章 Unity Shader基础

UnityShader入门精要读书笔记第三章UnityShader基础前言UnityShader的出现就是为了提供一个地方能够让开发者更轻松的管理着色器代码以及渲染设置,而不需要同各种shader文件一样管理多个文件、函数等。3.1UnityShader概述3.1.1材质和UnityShader​ 在Unity中,我们需要配合使用材质(Material)和UnityShader才能达到需要的效果。UnityShader定义渲染所需的代码、属性和指令,而材质允许我们自己调节这些属性,并赋给相应的模型。3.1.2Unity中的材质​ Unity中的材质需要结合一个GameObject的mesh或者

京东达达核心系统架构:从短平快到体系化的设计精要

 前言 商品系统是电商系统最基础、最核心的系统之一。商品数据遍布所有业务,首页、门店页、购物车、订单、结算、售后、库存、价格等,都离不开商品。商品信息要稳定提供至到家供应链的每个节点,所以必须要有一套稳定的、高性能的商品服务体系支撑。 随着京东到家商品业务的快速发展,业务从单一转变为多元化,系统功能设计上也从最初的大而全的功能支持,向微功能、领域化演变。 商品系统也在高可用、高并发的持续冲击下,经历了多个架构版本的演进。最初1.0版本,采用合适简单的设计思路,满足了业务快速迭代上线;随着业务量级的快速增长,针对高可用、高性能的提升,演进出了2.0版本。随后业务复杂度的提升,导致了系统复杂度的提