学习笔记，以李宏毅的视频讲解为主，chatGPT的官方博客作为补充。自己在上古时期接触过人工智能相关技术，现在作为一个乐子来玩，错漏之处在所难免。若有错误，欢迎各位神仙批评指正。chatGPT的训练分为四个阶段：给一段不完整的话，让基线模型（GPT3）学习怎么接话茬子。这个步骤基于GPT3进行fine-tuning。弄一个人工标注的数据集，对1中的模型进行训练，通过人工数据集让GPT3了解人类的喜好。基于另一个人工标注的数据集（包括问题、答案和人类打的分）训练一个打分模型，其功能主要在于：输入问题和答案，让打分模型根据排序进行打分。用PPO让基线模型和打分模型进行对抗，优化GPT3，得到cha
学习笔记，以李宏毅的视频讲解为主，chatGPT的官方博客作为补充。自己在上古时期接触过人工智能相关技术，现在作为一个乐子来玩，错漏之处在所难免。若有错误，欢迎各位神仙批评指正。chatGPT的训练分为四个阶段：给一段不完整的话，让基线模型（GPT3）学习怎么接话茬子。这个步骤基于GPT3进行fine-tuning。弄一个人工标注的数据集，对1中的模型进行训练，通过人工数据集让GPT3了解人类的喜好。基于另一个人工标注的数据集（包括问题、答案和人类打的分）训练一个打分模型，其功能主要在于：输入问题和答案，让打分模型根据排序进行打分。用PPO让基线模型和打分模型进行对抗，优化GPT3，得到cha
分类目录：《人工智能与大数据面试指南》总目录《人工智能与大数据面试指南》系列下的内容会持续更新，有需要的读者可以收藏文章，以及时获取文章的最新内容。自然语言处理（NLP）领域有哪些常见任务？基础任务中文分词：将一串连续的字符构成的句子分割成词语序列子词切分：将一个单词切分为若干连续的片段词性标注（Part-Of-Speech，POS）：标注词语在句子中扮演的语法角色命名实体识别（NamedEntityRecognition，NER）：识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等句法分析（SyntacticParsing）：给定一个句子，分析句子的句法成分信息，例如主谓宾
常见的对话系统个人助手•AppleSiri,AmazonAlexa,BaiduXiaodu客户服务•餐厅预定、商品咨询、债务催收休闲娱乐•MicrosoftXiaoIce,Replika放域对话系统检索式系统生成式系统检索式系统生成模型Sequence-to-sequenceGenerativePre-trainingModelsSequence-to-sequenceGenerativePre-trainingModelsBERT使用了双向注意力机制，每个token可以向左向右看到各个tokenGPT使用了单向注意力机制（从左到右）,是一个生成模型，每个token只能看到自己和前他面的词，只
什么是任务型对话:任务型：用于帮助用户完成某领域的特定任务，例如订餐、查天气、订票等闲聊型：也称作开放域对话系统，目标是让用户持续的参与到交互过程，提供情感陪伴问答型：提供知识满足，具体类型比较多，如图谱问答、表格问答、文档问答等Pipeline型任务型对话系统什么是NLU?NLU(自然语言理解)：是指将用户表述映射为结构化的语义表示，典型的结构化语义表示是意图+词槽的形式。意图：是指对话中用户想要表达的目的，比如订票，查天气等词槽：是指用户表述中，与任务相关的核心语义元素意图分类+词槽识别==>文本分类+序列标注什么是DST？DS（对话状态）：是指将t时刻的对话表示为可供系统选择下一时刻动作
本文收录于《深入浅出讲解自然语言处理》专栏，此专栏聚焦于自然语言处理领域的各大经典算法，将持续更新，欢迎大家订阅！个人主页：有梦想的程序星空个人介绍：小编是人工智能领域硕士，全栈工程师，深耕Flask后端开发、数据挖掘、NLP、Android开发、自动化等领域，有较丰富的软件系统、人工智能算法服务的研究和开发经验。如果文章对你有帮助，欢迎关注、点赞、收藏、订阅。命名实体识别的背景命名实体识别（NamedEntityRecognition,简称NER）（也称为实体识别、实体分块和实体提取）是信息提取的一个子任务，旨在将文本中的命名实体定位并分类为预先定义的类别，如人员、组织、位置、时间表达式、数
本文收录于《深入浅出讲解自然语言处理》专栏，此专栏聚焦于自然语言处理领域的各大经典算法，将持续更新，欢迎大家订阅！个人主页：有梦想的程序星空个人介绍：小编是人工智能领域硕士，全栈工程师，深耕Flask后端开发、数据挖掘、NLP、Android开发、自动化等领域，有较丰富的软件系统、人工智能算法服务的研究和开发经验。如果文章对你有帮助，欢迎关注、点赞、收藏、订阅。命名实体识别的背景命名实体识别（NamedEntityRecognition,简称NER）（也称为实体识别、实体分块和实体提取）是信息提取的一个子任务，旨在将文本中的命名实体定位并分类为预先定义的类别，如人员、组织、位置、时间表达式、数
视频：https://aistudio.baidu.com/aistudio/course/introduce/24177?sharedLesson=1490529&sharedType=2&sharedUserId=2631487&ts=1687144071539课件：https://aistudio.baidu.com/aistudio/course/introduce/24177?sharedLesson=1567917&sharedType=2&sharedUserId=2631487&ts=1687144083956机器同传技术及应用从机器翻译到机器同传同传关键问题与解决方案中英语音
什么是机器翻译机器翻译质量的自动评价从统计机器翻译到神经网络机器翻译多语言/多领域/多模态的翻译应用神经网络机器翻译面临的挑战视频：https://aistudio.baidu.com/aistudio/course/introduce/24177?sharedLesson=1480611&sharedType=2&sharedUserId=2631487&ts=1687143971537课件：https://aistudio.baidu.com/aistudio/course/introduce/24177?sharedLesson=1718790&sharedType=2&sharedUs
NLP问答任务相似度和规则匹配，都是早期的方法，现在主流的方法，都是基于生成的方法结构化数据问答，有两种形式，一种是知识图谱形式、一种是关系型数据库形式。主要应用在企业中，减少销售的成本应用于商业智能，用于报告生成，解放了财务能力，降低人力成本结构化数据问答任务结构化数据问答：基于给定的结构化知识库和自然语言问题，给出问题对应的答案任务能力：推理能力：基于现有知识推理/计算给出答案，E.g.OPPOA93比魅族18贵多少呀输出结果可解释：输出知识库查询语句结构化形式存储，不尽存储了问题的知识和答案，这种存储有利于推理和计算结构化问答能够输出查询语句，是人类可读可理解的，相对于其它问答形式，这种
