草庐IT

scikit-learns

全部标签

machine-learning - 首先做什么 : Feature Selection or Model Parameters Setting?

这更像是一个理论问题。我正在使用scikit-learn包来执行一些NLP任务。Sklearn提供了许多方法来执行特征选择和模型参数设置。我想知道我应该先做什么。如果我使用univariatefeatureselection,很明显我应该先进行特征选择,然后使用所选特征调整估计器的参数。但是如果我想使用recursivefeatureelimination怎么办??我应该先用gridsearch设置参数吗?使用所有原始特征然后执行特征选择?或者我应该先选择特征(使用估算器的默认参数),然后使用所选特征设置参数?编辑我遇到了与here几乎相同的问题.到那时,还没有解决办法。有谁知道现在是

基于时态差分法的强化学习:Sarsa和Q-learning

时态差分法(TemporalDifference, TD)是一类在强化学习中广泛应用的算法,用于学习价值函数或策略。Sarsa和Q-learning都是基于时态差分法的重要算法,用于解决马尔可夫决策过程(MarkovDecisionProcess,MDP)中的强化学习问题。下面是最简单的TD方法更新:它只使用当前行动之后的奖励值和下一个状态的值作为目标。Sarsa(State-Action-Reward-State-Action)和Q-learning是都是基于时态差分法的强化学习方法。Sarsa和Q-learning的区别Sarsa代表State-Action-Reward-State-Ac

python - 使用 numpy/scikit 函数保持 pandas 结构

我正在使用来自pandas的出色的read_csv()函数,它给出:In[31]:data=pandas.read_csv("lala.csv",delimiter=",")In[32]:dataOut[32]:Int64Index:12083entries,0to12082Columns:569entries,REGIONCtoSCALEKERdtypes:float64(51),int64(518)但是当我应用来自scikit-learn的函数时,我丢失了有关列的信息:fromsklearnimportpreprocessingpreprocessing.scale(data)给出

python - 高斯混合模型 : Difference between Spark MLlib and scikit-learn

我正在尝试对数据集样本使用高斯混合模型。我同时使用了MLlib(与pyspark)和scikit-learn,得到了截然不同的结果,scikit-learn一个看起来更逼真。frompyspark.mllib.clusteringimportGaussianMixtureasSparkGaussianMixturefromsklearn.mixtureimportGaussianMixturefrompyspark.mllib.linalgimportVectorsScikit-learn:local=pd.DataFrame([x.asDict()forxindf.sample(0.

python - Wide & Deep learning for large data 错误 : GraphDef cannot be larger than 2GB

将1MM+行插入wideanddeeplearningmodel抛出ValueError:GraphDef不能大于2GB:Traceback(mostrecentcalllast):File"search_click.py",line207,intf.app.run()File"/usr/lib/python2.7/site-packages/tensorflow/python/platform/app.py",line30,inrunsys.exit(main(sys.argv))File"search_click.py",line204,inmaintrain_and_eval()

python - 你能修复 scikit 学习中分类器的假阴性率吗

我正在使用RandomForestclassifer在scikit中学习两个类的不平衡数据集。与误报相比,我更担心假阴性。是否可以固定假阴性率(比如1%)并要求scikit以某种方式优化假阳性率?如果这个分类器不支持,是否有另一个分类器支持? 最佳答案 我相信sklearn中类不平衡的问题可以通过使用class_weight参数来部分解决。这个参数要么是一个字典,其中每个类都被分配了一个统一的权重,要么是一个字符串,告诉sklearn如何构建这个字典。例如,将此参数设置为“自动”,将按其频率的倒数对每个类别进行加权。通过为较少出现的

python - 你能修复 scikit 学习中分类器的假阴性率吗

我正在使用RandomForestclassifer在scikit中学习两个类的不平衡数据集。与误报相比,我更担心假阴性。是否可以固定假阴性率(比如1%)并要求scikit以某种方式优化假阳性率?如果这个分类器不支持,是否有另一个分类器支持? 最佳答案 我相信sklearn中类不平衡的问题可以通过使用class_weight参数来部分解决。这个参数要么是一个字典,其中每个类都被分配了一个统一的权重,要么是一个字符串,告诉sklearn如何构建这个字典。例如,将此参数设置为“自动”,将按其频率的倒数对每个类别进行加权。通过为较少出现的

python - 如何存储 TfidfVectorizer 以备将来在 scikit-learn 中使用?

我有一个TfidfVectorizer可以矢量化文章集合,然后进行特征选择。vectroizer=TfidfVectorizer()X_train=vectroizer.fit_transform(corpus)selector=SelectKBest(chi2,k=5000)X_train_sel=selector.fit_transform(X_train,y_train)现在,我想存储它并在其他程序中使用它。我不想在训练数据集上重新运行TfidfVectorizer()和特征选择器。我怎么做?我知道如何使用joblib使模型持久化,但我想知道这是否与使模型持久化相同。

python - 如何存储 TfidfVectorizer 以备将来在 scikit-learn 中使用?

我有一个TfidfVectorizer可以矢量化文章集合,然后进行特征选择。vectroizer=TfidfVectorizer()X_train=vectroizer.fit_transform(corpus)selector=SelectKBest(chi2,k=5000)X_train_sel=selector.fit_transform(X_train,y_train)现在,我想存储它并在其他程序中使用它。我不想在训练数据集上重新运行TfidfVectorizer()和特征选择器。我怎么做?我知道如何使用joblib使模型持久化,但我想知道这是否与使模型持久化相同。

python - 如何向当前词袋分类添加另一个特征(文本长度)? Scikit学习

我正在使用词袋对文本进行分类。它运作良好,但我想知道如何添加一个不是单词的功能。这是我的示例代码。importnumpyasnpfromsklearn.pipelineimportPipelinefromsklearn.feature_extraction.textimportCountVectorizerfromsklearn.svmimportLinearSVCfromsklearn.feature_extraction.textimportTfidfTransformerfromsklearn.multiclassimportOneVsRestClassifierX_train=