草庐IT

NNLM初认识以及相关代码

NNLM初学习NNLM在了解NNLM之前先了解一下词向量词向量我们人学过单词,汉字等等,能明白一句话。但是计算机只认识0和1,如何把语言让计算机看懂。将文本转化为向量。词向量的方法是「one-hot(独热编码)表示法」是最早的表示词向量的方法,首先我们有一个词表,里面包括了我们可能会用到的所有词,每个词占据一个位置。那么词向量就是一个该词表维度大小的向量,词所在位置取值1,其它位置取值0。例如我们的词表有下面9个词:你,我,他,是,谁,哪,里,来,自“我”表示为向量[0,1,0,0,0,0,0,0,0],“是”表示为[0,0,0,1,0,0,0,0,0]这样会可能会产生【维度灾难】和【语义鸿沟

NNLM初认识以及相关代码

NNLM初学习NNLM在了解NNLM之前先了解一下词向量词向量我们人学过单词,汉字等等,能明白一句话。但是计算机只认识0和1,如何把语言让计算机看懂。将文本转化为向量。词向量的方法是「one-hot(独热编码)表示法」是最早的表示词向量的方法,首先我们有一个词表,里面包括了我们可能会用到的所有词,每个词占据一个位置。那么词向量就是一个该词表维度大小的向量,词所在位置取值1,其它位置取值0。例如我们的词表有下面9个词:你,我,他,是,谁,哪,里,来,自“我”表示为向量[0,1,0,0,0,0,0,0,0],“是”表示为[0,0,0,1,0,0,0,0,0]这样会可能会产生【维度灾难】和【语义鸿沟