草庐IT

PunktSentenceTokenizer

全部标签

python - 在 NLTK 中使用 PunktSentenceTokenizer

我正在使用NLTK学习自然语言处理。我遇到了使用PunktSentenceTokenizer的代码,在给定的代码中我无法理解其实际用途。代码给出:importnltkfromnltk.corpusimportstate_unionfromnltk.tokenizeimportPunktSentenceTokenizertrain_text=state_union.raw("2005-GWBush.txt")sample_text=state_union.raw("2006-GWBush.txt")custom_sent_tokenizer=PunktSentenceTokenizer(