草庐IT

unsupervised-learning

全部标签

python - 在 scikit learn 中组合随机森林模型

我有两个RandomForestClassifier模型,我想将它们组合成一个元模型。他们都使用相似但不同的数据进行训练。我该怎么做?rf1#thisismyfirstfittedRandomForestClassifierobject,with250treesrf2#thisismysecondfittedRandomForestClassifierobject,alsowith250trees我想创建big_rf并将所有树组合成一个500棵树模型 最佳答案 我相信这可以通过修改RandomForestClassifier对象的e

python - 如何在 scikit-learn 中使用管道调整自定义内核函数的参数

目前我已经使用def函数成功定义了一个自定义内核函数(预计算内核矩阵),现在我正在使用GridSearchCV函数来获取最佳参数。因此,在自定义内核函数中,总共有2个参数需要调整(即下例中的gamm和sea_gamma),而且对于SVR模型,costc参数也必须调整。但直到现在,我只能使用GridSearchCV调整costc参数->请参阅下面的第一部分:示例。我已经搜索了一些类似的解决方案,例如:Isitpossibletotuneparameterswithgridsearchforcustomkernelsinscikit-learn?它说“一种方法是使用Pipeline、SVC

python - 如何从 PyMC3 中的狄利克雷过程中提取无监督集群?

我刚刚完成BayesianAnalysisinPython通过OsvaldoMartin预订(了解贝叶斯概念和一些奇特的numpy索引的好书)。我真的很想将我的理解扩展到用于无监督样本聚类的贝叶斯混合模型。我所有的谷歌搜索都把我带到了AustinRochford'stutorial这真的很有用。我了解正在发生的事情,但我不清楚这如何适应集群(尤其是使用多个属性进行集群分配,但这是一个不同的主题)。我了解如何为Dirichlet分布分配先验,但我不知道如何在PyMC3中获取簇。看起来大部分mus都收敛到质心(即我从中采样的分布的均值),但它们仍然是独立的组件。我考虑过为weights(模

machine-learning - 首先做什么 : Feature Selection or Model Parameters Setting?

这更像是一个理论问题。我正在使用scikit-learn包来执行一些NLP任务。Sklearn提供了许多方法来执行特征选择和模型参数设置。我想知道我应该先做什么。如果我使用univariatefeatureselection,很明显我应该先进行特征选择,然后使用所选特征调整估计器的参数。但是如果我想使用recursivefeatureelimination怎么办??我应该先用gridsearch设置参数吗?使用所有原始特征然后执行特征选择?或者我应该先选择特征(使用估算器的默认参数),然后使用所选特征设置参数?编辑我遇到了与here几乎相同的问题.到那时,还没有解决办法。有谁知道现在是

基于时态差分法的强化学习:Sarsa和Q-learning

时态差分法(TemporalDifference, TD)是一类在强化学习中广泛应用的算法,用于学习价值函数或策略。Sarsa和Q-learning都是基于时态差分法的重要算法,用于解决马尔可夫决策过程(MarkovDecisionProcess,MDP)中的强化学习问题。下面是最简单的TD方法更新:它只使用当前行动之后的奖励值和下一个状态的值作为目标。Sarsa(State-Action-Reward-State-Action)和Q-learning是都是基于时态差分法的强化学习方法。Sarsa和Q-learning的区别Sarsa代表State-Action-Reward-State-Ac

python - 高斯混合模型 : Difference between Spark MLlib and scikit-learn

我正在尝试对数据集样本使用高斯混合模型。我同时使用了MLlib(与pyspark)和scikit-learn,得到了截然不同的结果,scikit-learn一个看起来更逼真。frompyspark.mllib.clusteringimportGaussianMixtureasSparkGaussianMixturefromsklearn.mixtureimportGaussianMixturefrompyspark.mllib.linalgimportVectorsScikit-learn:local=pd.DataFrame([x.asDict()forxindf.sample(0.

python - Wide & Deep learning for large data 错误 : GraphDef cannot be larger than 2GB

将1MM+行插入wideanddeeplearningmodel抛出ValueError:GraphDef不能大于2GB:Traceback(mostrecentcalllast):File"search_click.py",line207,intf.app.run()File"/usr/lib/python2.7/site-packages/tensorflow/python/platform/app.py",line30,inrunsys.exit(main(sys.argv))File"search_click.py",line204,inmaintrain_and_eval()

python - 如何存储 TfidfVectorizer 以备将来在 scikit-learn 中使用?

我有一个TfidfVectorizer可以矢量化文章集合,然后进行特征选择。vectroizer=TfidfVectorizer()X_train=vectroizer.fit_transform(corpus)selector=SelectKBest(chi2,k=5000)X_train_sel=selector.fit_transform(X_train,y_train)现在,我想存储它并在其他程序中使用它。我不想在训练数据集上重新运行TfidfVectorizer()和特征选择器。我怎么做?我知道如何使用joblib使模型持久化,但我想知道这是否与使模型持久化相同。

python - 如何存储 TfidfVectorizer 以备将来在 scikit-learn 中使用?

我有一个TfidfVectorizer可以矢量化文章集合,然后进行特征选择。vectroizer=TfidfVectorizer()X_train=vectroizer.fit_transform(corpus)selector=SelectKBest(chi2,k=5000)X_train_sel=selector.fit_transform(X_train,y_train)现在,我想存储它并在其他程序中使用它。我不想在训练数据集上重新运行TfidfVectorizer()和特征选择器。我怎么做?我知道如何使用joblib使模型持久化,但我想知道这是否与使模型持久化相同。

python - 如何在 scikit-learn 下绘制拟合高斯混合模型的概率密度函数?

我正在努力完成一项相当简单的任务。我有一个浮点向量,我想用它来拟合具有两个高斯内核的高斯混合模型:fromsklearn.mixtureimportGMMgmm=GMM(n_components=2)gmm.fit(values)#valuesisnumpyvectoroffloats我现在想为我创建的混合模型绘制概率密度函数,但我似乎找不到任何关于如何执行此操作的文档。我应该如何最好地进行?编辑:Here是我拟合的数据向量。下面是我如何做事的更详细示例:fromsklearn.mixtureimportGMMfrommatplotlib.pyplotimport*importnump