草庐IT

LdaMulticore

全部标签

使用ldamulticore确定log_perpelxity以获得最佳数量的主题

我正在尝试使用Python中的日志困惑来确定我的LDA模型的最佳主题。也就是说,我正在绘制一系列主题的日志困惑,并确定最小的困惑。但是,当我获得的图形值应在0到1之间的正值时,对数的困惑性具有负值。#calculatingthelogperplexityperwordasobtainedbygensimcode##https://radimrehurek.com/gensim/models/atmodel.html#parameters:passintrainedcorpus#return:graphofperplexityperwordforvaryingnumberoftopicspara

python - gensim LdaMulticore 不是多处理?

当我在具有12个内核的机器上运行gensim的LdaMulticore模型时,使用:lda=LdaMulticore(corpus,num_topics=64,workers=10)我收到一条日志消息说usingserialLDAversiononthisnode几行之后,我看到另一条日志消息说trainingLDAmodelusing10processes当我运行top时,我看到已生成11个python进程,但有9个正在休眠,即只有一名worker在工作。该机有24个核心,无论如何都不会被压垮。为什么LdaMulticore不以并行模式运行? 最佳答案