草庐IT

lemmatization

全部标签

python - NLTK WordNet Lemmatizer : Shouldn't it lemmatize all inflections of a word?

我将NLTKWordNetLemmatizer用于词性标记项目,首先将训练语料库中的每个单词修改为其词干(就地修改),然后仅在新语料库上进行训练。但是,我发现lemmatizer没有像我预期的那样运行。例如,单词loves被词形还原为love这是正确的,但单词loving仍然是loving即使在词形还原之后。这里的loving就像句子“我爱它”一样。love不是变形词loving的词干吗?类似地,许多其他“ing”形式在词形还原后保持不变。这是正确的行为吗?还有哪些其他准确的词形还原器?(不需要在NLTK中)在决定词干时是否有形态分析器或词形还原器也考虑到词的词性标签?例如,如果kil
12