所有的成功都有迹可循，ChatGPT也不例外。前不久，因为对ChatGPT的评价过于苛刻，图灵奖得主YannLeCun被送上了热搜。在他看来，「就底层技术而言，ChatGPT并没有什么特别的创新，」也不是「什么革命性的东西」。许多研究实验室正在使用同样的技术，开展同样的工作。更重要的是，ChatGPT及其背后的GPT-3在很多方面都是由多方多年来开发的多种技术组成的，是不同的人数十年贡献的结果。因此，LeCun认为，与其说ChatGPT是一个科学突破，不如说它是一个像样的工程实例。「ChatGPT是否具有革命性」是个充满争议的话题。但毋庸置疑，它确实是在此前积累的多项技术的基础上构建起来的，比

所有的成功都有迹可循，ChatGPT也不例外。前不久，因为对ChatGPT的评价过于苛刻，图灵奖得主YannLeCun被送上了热搜。在他看来，「就底层技术而言，ChatGPT并没有什么特别的创新，」也不是「什么革命性的东西」。许多研究实验室正在使用同样的技术，开展同样的工作。更重要的是，ChatGPT及其背后的GPT-3在很多方面都是由多方多年来开发的多种技术组成的，是不同的人数十年贡献的结果。因此，LeCun认为，与其说ChatGPT是一个科学突破，不如说它是一个像样的工程实例。「ChatGPT是否具有革命性」是个充满争议的话题。但毋庸置疑，它确实是在此前积累的多项技术的基础上构建起来的，比

参考：李宏毅2021/2022春机器学习课程王树森RNN&Transformer教程Transformer详解0.背景：序列数据及相关任务序列数据是由一组相互关联的样本组成的数据，其中任意样本对应的标记是由其自身和其他样本共同决定的；序列数据任务是输入或输出为序列数据的机器学习任务，用传统机器学习模型处理他们是困难的，比如序列模型（1）——难处理的序列数据中第3节的例子传统方法的局限性在于其问题建模，这些模型不是针对可变长度的输入输出设计的，无法体现序列数据的特点，具体而言传统的MLP、CNN这类模型都是one-to-one模型，即一个输入一个输出。这种模型会把序列数据作为一个整体来考虑，其输

参考：李宏毅2021/2022春机器学习课程王树森RNN&Transformer教程Transformer详解0.背景：序列数据及相关任务序列数据是由一组相互关联的样本组成的数据，其中任意样本对应的标记是由其自身和其他样本共同决定的；序列数据任务是输入或输出为序列数据的机器学习任务，用传统机器学习模型处理他们是困难的，比如序列模型（1）——难处理的序列数据中第3节的例子传统方法的局限性在于其问题建模，这些模型不是针对可变长度的输入输出设计的，无法体现序列数据的特点，具体而言传统的MLP、CNN这类模型都是one-to-one模型，即一个输入一个输出。这种模型会把序列数据作为一个整体来考虑，其输