我一直试图理解 https://www.tensorflow.org/tutorials/recurrent 的示例代码 您可以在 https://github.com/tensorflow/models/blob/master/tutorials/rnn/ptb/ptb_word_lm.py 找到

(使用 tensorflow 1.3.0。)

我总结了(我认为是)我的问题的关键部分，如下:

 size = 200
 vocab_size = 10000
 layers = 2
 # input_.input_data is a 2D tensor [batch_size, num_steps] of
 #    word ids, from 1 to 10000

 cell = tf.contrib.rnn.MultiRNNCell(
    [tf.contrib.rnn.BasicLSTMCell(size) for _ in range(2)]
    )

 embedding = tf.get_variable(
      "embedding", [vocab_size, size], dtype=tf.float32)
 inputs = tf.nn.embedding_lookup(embedding, input_.input_data)

inputs = tf.unstack(inputs, num=num_steps, axis=1)
outputs, state = tf.contrib.rnn.static_rnn(
    cell, inputs, initial_state=self._initial_state)

output = tf.reshape(tf.stack(axis=1, values=outputs), [-1, size])
softmax_w = tf.get_variable(
    "softmax_w", [size, vocab_size], dtype=data_type())
softmax_b = tf.get_variable("softmax_b", [vocab_size], dtype=data_type())
logits = tf.matmul(output, softmax_w) + softmax_b

# Then calculate loss, do gradient descent, etc.

我最大的问题是在给定句子的前几个单词的情况下，如何使用生成的模型来实际生成下一个单词建议？具体来说，我想流程是这样的，但我无法理解注释行的代码是什么:

prefix = ["What", "is", "your"]
state = #Zeroes
# Call static_rnn(cell) once for each word in prefix to initialize state
# Use final output to set a string, next_word
print(next_word)

我的子问题是:

• 为什么要使用随机(未初始化、未经训练)的词嵌入？
• 为什么要使用 softmax？
• 隐藏层是否必须与输入的维度相匹配(即 word2vec 嵌入的维度)
• 我如何/可以引入预训练的 word2vec 模型，而不是未初始化的模型？

(我把它们都当作一个问题来问，因为我怀疑它们都是相互关联的，并且与我的理解中的一些差距有关。)

我期望在这里看到的是加载现有的 word2vec 词嵌入集(例如，使用 gensim 的 KeyedVectors.load_word2vec_format())，在加载时将输入语料库中的每个词转换为该表示每个句子，然后 LSTM 会吐出一个相同维度的向量，我们会尝试找到最相似的单词(例如，使用 gensim 的 similar_by_vector(y, topn=1))。

使用 softmax 是否使我们免于相对较慢的 similar_by_vector(y, topn=1) 调用？

顺便说一句，对于我的问题中已有的 word2vec 部分 Using pre-trained word2vec with LSTM for word generation很相似。然而，目前那里的答案并不是我想要的。我所希望的是一个简单的英语解释，它为我打开了灯，并填补了我理解中的任何空白。 Use pre-trained word2vec in lstm language model?是另一个类似的问题。

更新: Predicting next word using the language model tensorflow example和 Predicting the next word using the LSTM ptb model tensorflow example是类似的问题。但是，两者都没有显示代码来实际获取句子的前几个单词，并打印出对下一个单词的预测。我尝试从第二个问题和 https://stackoverflow.com/a/39282697/841830 粘贴代码(它带有一个 github 分支)，但无法正常运行。我认为它们可能适用于早期版本的 TensorFlow？

另一个更新:另一个问题基本相同:Predicting Next Word of LSTM Model from Tensorflow Example 它链接到 Predicting next word using the language model tensorflow example (同样，那里的答案并不是我想要的)。

如果仍然不清楚，我正在尝试编写一个名为 getNextWord(model, sentencePrefix) 的高级函数，其中 model 是以前的构建了我从磁盘加载的 LSTM，sentencePrefix 是一个字符串，例如“Open the”，它可能会返回“pod”。然后我可能会用“Open the pod”来调用它，它会返回“bay”，等等。

一个示例(使用字符 RNN，并使用 mxnet)是 https://github.com/zackchase/mxnet-the-straight-dope/blob/master/chapter05_recurrent-neural-networks/simple-rnn.ipynb 末尾附近显示的 sample() 函数 您可以在训练期间调用 sample()，但您也可以在训练后调用它，并使用任何您想要的语句。

最佳答案

主要问题

加载单词

加载自定义数据而不是使用测试集:

reader.py@ptb_raw_data

test_path = os.path.join(data_path, "ptb.test.txt")
test_data = _file_to_word_ids(test_path, word_to_id)  # change this line

test_data 应该包含单词 id(打印出 word_to_id 用于映射)。例如，它应该看起来像:[1, 52, 562, 246] ...

显示预测

我们需要在sess.run

ptb_word_lm.py@PTBModel.__init__

    logits = tf.reshape(logits, [self.batch_size, self.num_steps, vocab_size])
    self.top_word_id = tf.argmax(logits, axis=2)  # add this line

ptb_word_lm.py@run_epoch

  fetches = {
      "cost": model.cost,
      "final_state": model.final_state,
      "top_word_id": model.top_word_id # add this line
  }

在函数的后面，vals['top_word_id'] 将有一个整数数组，其中包含顶部单词的 ID。在 word_to_id 中查找它以确定预测的单词。前段时间我用小模型做了这个，前 1 的准确率很低(20-30% iirc)，尽管困惑是在标题中预测的。

子问题

Why use a random (uninitialized, untrained) word-embedding?

您必须询问作者，但在我看来，训练嵌入使这更像是一个独立的教程:它不是将嵌入视为黑匣子，而是展示了它的工作原理。

Why use softmax?

最终预测不是由与隐藏层输出的余弦相似度决定的。在 LSTM 之后有一个 FC 层，将嵌入状态转换为最终单词的 one-hot 编码。

这是神经网络中的操作和维度的草图:

word -> one hot code (1 x vocab_size) -> embedding (1 x hidden_size) -> LSTM -> FC layer (1 x vocab_size) -> softmax (1 x vocab_size)

Does the hidden layer have to match the dimension of the input (i.e. the dimension of the word2vec embeddings)

从技术上讲，没有。如果您查看 LSTM 方程，您会注意到 x(输入)可以是任意大小，只要适当调整权重矩阵即可。

How/Can I bring in a pre-trained word2vec model, instead of that uninitialized one?

我不知道，对不起。

关于python - 使用 LSTM 教程代码预测句子中的下一个单词？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/46125018/