草庐IT

【Tensorflow+自然语言处理+LSTM】搭建智能聊天客服机器人实战(附源码、数据集和演示 超详细)

showswoller 2023-05-05 原文

需要源码和数据集请点赞关注收藏后评论区留言私信~~~

一、自然语言处理与智能

自然语言处理技术是智能客服应用的基础,在自然语言处理过程中,首先需要进行分词处理,这个过程通常基于统计学理论,分词的精细化可以提升智能客服的语言处理能力,统计分词和马尔可夫模型是常用的方法,但在非常用词汇的识别精度方面稍显逊色,而精度高低直接影响分词结果的准确性,多样性分词有助于发现形式上的不合理性

自然语言处理技术是智能客服中的重要的环节,也是决定智能客服应用质量好坏和问题处理效率高低的关键因素,创建智能客服通常系统先进行大量学习来充实语言知识库,并结合各种典型案例提升系统的处理能力。智能客服系统重点关注三部分:

1:知识库完善

2:服务满意度

3:处理未知场景的自我学习能力

与传统人工客服相比 智能客服应用一般具有以下优势

可以提供24小时无间断在线服务。

具备持续自主学习能力 。

处理速度快,处理效率高,

可以应对短时大容量服务请求。

成本优势。

从用户问题到答复输出涉及的流程基本框架如下图

 二、智能应用开发库如下

 Gensim 

 NLTK 

SpaCy 

TensorFlow TensorFlow是一个基于数据流编程(dataflow programming)的系统,被广泛应用于图形分类、音频处理、推荐系统和自然语言处理等场景的实现,提供基于Python语言的四种版本:CPU版本(tensorflow)、GPU加速版本(tensorflow-gpu)以及每日编译版本(tf-nightly、tf-nightly-gpu)。

 Theano

Keras

三、充实智能客服的情感

智能客服系统既依赖于专业性数据,也与自然处理理解等人工智能技术紧密相关,在解决用户业务诉求的过程中,难免用到用户咨询以及无法解决的问题等状况,因此提升其情感分析能力,具备多维度服务能力,对提高客户整体满意度有十分重要的积极意义,智能客服,人工客服和用户之间的关系可以简要概括如下图

智能客服处理流程如下图

 四、聊天客服机器人实战

开发环境简介:

我们将使用深度学习技术构建一个聊天机器人,在包含聊天意图类别、用户输入和客服响应的数据集上进行训练。基于循环神经网络(LSTM)模型来分类用户的输入消息所属类别,然后从响应列表中基于随机算法提供响应输出。该实例在执行环境Tensorflow(2.6.0)和Python(3.6.5)中运行成功,其他需要的库为NLTK和Keras。

数据集和模型简介:

所需数据和模型说明如下:

chatbot.json :预定义消息分类、输入消息和客服响应的数据文件。

wordtoken.pkl : pickle 文件,存储包含词汇列表的Python 对象。

category.pkl :pickle 文件,包含消息类别列表。

model.h5 :经过训练的模型,包含模型以及神经元权重相关信息。

数据结构

本实例数据基于JSON(JavaScript Object Notation),JSON是一种轻量级的数据交换格式,完全独立于语言,机器容易解析和生成。JSON 建立在两种结构上:

1)名称:值(name:value)的集合。在计算机语言中称为对象、记录、结构、字典、哈希表、键控列表或关联数组。

(2)值有序列表。通常实现方式为数组、向量、列表或序列,属于通用数据结构,可与通用编程语言互换。

效果展示

语料库如下

 训练过程如下

 

用户在图形界面输入问题 客服机器人会给出相应回答 

 当用户提出了语料库之外的问题 客服便会显示以下回答

 

 五、代码

项目结构如下 

部分代码如下  需要全部代码请点赞关注收藏后评论区留言私信~~~

test文件

#导入库
import nltk
import pickle as pk
import numpy as np
import json as js
import random

from tensorflow import keras
from tensorflow.python.keras.models import load_model
from nltk.stem import WordNetLemmatizer
wordlem = WordNetLemmatizer()
from tkinter import * 
from tkinter import  Text  
from tkinter import  Button  
import tkinter

nltk.download('punkt')
nltk.download('wordnet')
#加载训练模型
load = load_model('data/model.h5')

#加载数据和中间结果
chatbot = js.loads(open('data/chatbot.json').read())
wordlist = pk.load(open('data/wordlist.pkl','rb'))
category = pk.load(open('data/category.pkl','rb'))


def tokenization(text):
    #分词
    word_tokens = nltk.word_tokenize(text)
    # 词形还原
    #for i in sw:
    word_tokens =  [wordlem.lemmatize(i.lower()) for i in word_tokens] 
    return word_tokens

#词袋模型
def bow(text, wordlist):
    #分词
    tokens = tokenization(text)
    bow = [0]*len(wordlist)  
    for token in tokens:
        for i,flag in enumerate(wordlist):
            if flag == token: 
                #查找匹配成功则标识为1
                bow[i] = 1
                print ("词袋模型匹配结果: %s" % flag)
    return(np.array(bow))

#预测结果
def predict(text, load):
    #设置阈值,过滤阈值以下内容
    err_level = 0.20
    outlist = []
    bow_outcome= bow(text,wordlist)
    result = load.predict(np.array([bow_outcome]))[0]
 
    #根据概率结果排序
    outcome = [[i,j] for i,j in enumerate(result) if j>err_level]
    outcome.sort(key=lambda x: x[1], reverse=True)
    for j in outcome:
        outlist.append({"k": category[j[0]], "probability": str(j[1])})
    return outlist

#设置应答信息
    
def getResponse(pred, intents_json):
    ptype = pred[0]['k']
    print("用户提问类型:",ptype)
    ctype = intents_json['chatbot']
    for type in  ctype:
        if(type['category']== ptype):
            result = random.choice(type['output'])
            print("提供给用户的响应信息:",result)
            break
    return result    


#预测消息响应
def chatbot_Response(query):
    pred = predict(query, load)
    outcome = getResponse(pred, chatbot)
    return outcome




#设置用户和智能客服之间的消息交互
def chatbotInteract():
    query = txt.get("1.0",'end-1c').strip()
    txt.delete("0.0",END)


    chatwnd.tag_config('question', background="white", foreground="black")
    chatwnd.tag_config('answer', background="white", foreground="blue")
    chatwnd.config(state=NORMAL)
    chatwnd.insert(END, "用户问题:\n" + query + '\n\n','question')

    outcome = chatbot_Response(query)
    chatwnd.insert(END, "客服回答:\n" + outcome + '\n\n','answer')   
        
    chatwnd.config(state=NORMAL)
    chatwnd.yview(END)


 
#设置智能客服应用界面风格
tk_window = tkinter.Tk(screenName=None, baseName=None)
tk_window.title("智能客服")
tk_window.geometry("500x600")
tk_window.resizable(False, False)

#设置文本框
chatwnd = Text(tk_window, borderwidth=2, cursor=None,state=NORMAL, background="white", height="12", width="70", font="Arial",wrap=WORD)

#设置滚动条
srb = Scrollbar(tk_window, command=chatwnd.yview, activebackground=None,background="white",borderwidth=2,highlightcolor="purple",cursor="arrow",
jump=0,orient=VERTICAL,width=16,elementborderwidth=1)
srb.pack( side = RIGHT, fill = Y )
chatwnd['yscrollcommand'] = srb.set


#设置信息输入框风格
txt = Text(tk_window, borderwidth=0, cursor=None,background="white",width="25", height="8", font="Arial",wrap=WORD)

#设置发送消息按钮风格
msgBtn = Button(tk_window, font=("kaiti",14), text="咨询", width=12, height=8,highlightcolor=None,image=None,justify=CENTER,state=ACTIVE,
                    borderwidth=0, background="Blue", activebackground="#524e78",fg ='white',relief=RAISED,
                    command= chatbotInteract )




#显示组件内容

srb.place(x=404,y=12, height=398)
chatwnd.place(relx=0.0, rely=0.35, relwidth=0.8, relheight=0.66, anchor='w')
msgBtn.place(bordermode=OUTSIDE,x=175, y=540, height=50)
txt.place(x=2, y=411, height=100, width=400)


tk_window.mainloop()

创作不易 觉得有帮助请点赞关注收藏~~~

有关【Tensorflow+自然语言处理+LSTM】搭建智能聊天客服机器人实战(附源码、数据集和演示 超详细)的更多相关文章

  1. ruby - 如何将脚本文件的末尾读取为数据文件(Perl 或任何其他语言) - 2

    我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚

  2. ruby - 如何指定 Rack 处理程序 - 2

    Rackup通过Rack的默认处理程序成功运行任何Rack应用程序。例如:classRackAppdefcall(environment)['200',{'Content-Type'=>'text/html'},["Helloworld"]]endendrunRackApp.new但是当最后一行更改为使用Rack的内置CGI处理程序时,rackup给出“NoMethodErrorat/undefinedmethod`call'fornil:NilClass”:Rack::Handler::CGI.runRackApp.newRack的其他内置处理程序也提出了同样的反对意见。例如Rack

  3. ruby - 寻找通过阅读代码确定编程语言的ruby gem? - 2

    几个月前,我读了一篇关于ruby​​gem的博客文章,它可以通过阅读代码本身来确定编程语言。对于我的生活,我不记得博客或gem的名称。谷歌搜索“ruby编程语言猜测”及其变体也无济于事。有人碰巧知道相关gem的名称吗? 最佳答案 是这个吗:http://github.com/chrislo/sourceclassifier/tree/master 关于ruby-寻找通过阅读代码确定编程语言的rubygem?,我们在StackOverflow上找到一个类似的问题:

  4. Unity 热更新技术 | (三) Lua语言基本介绍及下载安装 - 2

    ?博客主页:https://xiaoy.blog.csdn.net?本文由呆呆敲代码的小Y原创,首发于CSDN??学习专栏推荐:Unity系统学习专栏?游戏制作专栏推荐:游戏制作?Unity实战100例专栏推荐:Unity实战100例教程?欢迎点赞?收藏⭐留言?如有错误敬请指正!?未来很长,值得我们全力奔赴更美好的生活✨------------------❤️分割线❤️-------------------------

  5. 7个大一C语言必学的程序 / C语言经典代码大全 - 2

    嗨~大家好,这里是可莉!今天给大家带来的是7个C语言的经典基础代码~那一起往下看下去把【程序一】打印100到200之间的素数#includeintmain(){ inti; for(i=100;i 【程序二】输出乘法口诀表#includeintmain(){inti;for(i=1;i 【程序三】判断1000年---2000年之间的闰年#includeintmain(){intyear;for(year=1000;year 【程序四】给定两个整形变量的值,将两个值的内容进行交换。这里提供两种方法来进行交换,第一种为创建临时变量来进行交换,第二种是不创建临时变量而直接进行交换。1.创建临时变量来

  6. 在VMware16虚拟机安装Ubuntu详细教程 - 2

    在VMware16.2.4安装Ubuntu一、安装VMware1.打开VMwareWorkstationPro官网,点击即可进入。2.进入后向下滑动找到Workstation16ProforWindows,点击立即下载。3.下载完成,文件大小615MB,如下图:4.鼠标右击,以管理员身份运行。5.点击下一步6.勾选条款,点击下一步7.先勾选,再点击下一步8.去掉勾选,点击下一步9.点击下一步10.点击安装11.点击许可证12.在百度上搜索VM16许可证,复制填入,然后点击输入即可,亲测有效。13.点击完成14.重启系统,点击是15.双击VMwareWorkstationPro图标,进入虚拟机主

  7. ruby - 我的 Ruby IRC 机器人没有连接到 IRC 服务器。我究竟做错了什么? - 2

    require"socket"server="irc.rizon.net"port="6667"nick="RubyIRCBot"channel="#0x40"s=TCPSocket.open(server,port)s.print("USERTesting",0)s.print("NICK#{nick}",0)s.print("JOIN#{channel}",0)这个IRC机器人没有连接到IRC服务器,我做错了什么? 最佳答案 失败并显示此消息::irc.shakeababy.net461*USER:Notenoughparame

  8. Ruby-vips 图像处理库。有什么好的使用示例吗? - 2

    我对图像处理完全陌生。我对JPEG内部是什么以及它是如何工作一无所知。我想知道,是否可以在某处找到执行以下简单操作的ruby​​代码:打开jpeg文件。遍历每个像素并将其颜色设置为fx绿色。将结果写入另一个文件。我对如何使用ruby​​-vips库实现这一点特别感兴趣https://github.com/ender672/ruby-vips我的目标-学习如何使用ruby​​-vips执行基本的图像处理操作(Gamma校正、亮度、色调……)任何指向比“helloworld”更复杂的工作示例的链接——比如ruby​​-vips的github页面上的链接,我们将不胜感激!如果有ruby​​-

  9. ruby - Faye WebSocket,关闭处理程序被触发后重新连接到套接字 - 2

    我有一个super简单的脚本,它几乎包含了FayeWebSocketGitHub页面上用于处理关闭连接的内容:ws=Faye::WebSocket::Client.new(url,nil,:headers=>headers)ws.on:opendo|event|p[:open]#sendpingcommand#sendtestcommand#ws.send({command:'test'}.to_json)endws.on:messagedo|event|#hereistheentrypointfordatacomingfromtheserver.pJSON.parse(event.d

  10. ruby - 如何使用 Ruby HTTP::Net 处理 404 错误? - 2

    我正在尝试解析网页,但有时会收到404错误。这是我用来获取网页的代码:result=Net::HTTP::getURI.parse(URI.escape(url))如何测试result是否为404错误代码? 最佳答案 像这样重写你的代码:uri=URI.parse(url)result=Net::HTTP.start(uri.host,uri.port){|http|http.get(uri.path)}putsresult.codeputsresult.body这将打印状态码和正文。

随机推荐