草庐IT

learning-typescript-by-examples

全部标签

python - 在 scikit-learn SVM 中缩放数据

虽然libsvm提供了用于缩放数据的工具,但使用Scikit-Learn(对于SVC分类器应该基于libSVM)我找不到缩放数据的方法。基本上我想使用4个特征,其中3个从0到1,最后一个是一个“大”高度可变的数字。如果我在libSVM中包含第四个功能(使用自动缩放我的数据的easy.py脚本),我会得到一些非常好的结果(96%的准确率)。如果我在Scikit-Learn中包含第四个变量,准确度会下降到~78%-但如果我排除它,我得到的结果与在排除该特征时在libSVM中得到的结果相同。因此,我很确定这是缺少缩放的问题。如何以编程方式(即不调用svm-scale)复制SVM的缩放过程?

mysql使用order by排序查询导致sql变慢

前几天发现一个页面加载缓慢,大概得有个二三十秒的样子,一开始并没有当回事以为第一次打开加载缓慢,后来反复打开,每次都加载十分缓慢,于是我开始排查问题页面上显示大概也就两万多条数据,而且还进行了分页,按理说不应该这么慢,于是我把执行的sql拿出来,单独执行了一下,这一试发现了问题严重性,单单这一个sql的执行时间就得有二十多秒,这个sql是进行了innerjoin关联查询的,查看两张表一张有5000多条数据,另一张有两万多条数据,这样算起下来笛卡尔积一下子数量一试相当庞大的,如果要是进行了全表扫描那可不得炸了于是首先受用explain命令来查看了一下sql,果然进行了全面扫描,经过返回的测试,最

machine-learning - sp_randint 是如何工作的?

我正在对随机森林分类器进行超参数优化。我打算使用RandomSearchCV。因此,通过检查Scikit中的可用代码,可以了解:sp_randint的作用是什么?它是否随机取一个从1到11的值?可以用其他功能代替吗?fromscipy.statsimportrandintassp_randintparam_dist={"n_estimators":sp_randint(1,11),"max_depth":[3,None],"max_features":sp_randint(1,11),"min_samples_split":sp_randint(1,11),"min_samples_l

python - 如何将带有 keras 回归器的 scikit-learn 管道保存到磁盘?

我有一个带有kerasRegressor的scikit-learn管道:estimators=[('standardize',StandardScaler()),('mlp',KerasRegressor(build_fn=baseline_model,nb_epoch=5,batch_size=1000,verbose=1))]pipeline=Pipeline(estimators)训练管道后,我尝试使用joblib保存到磁盘...joblib.dump(pipeline,filename,compress=9)但是我得到一个错误:RuntimeError:maximumrecur

python - scikit-learn, linearsvc - 如何从经过训练的 SVM 中获取支持向量?

我正在使用scikit-learn库中的LinearSVC,我想知道是否有可能以某种方式提取我的模型在训练后使用的向量来进行预测。试图谷歌一段时间但没有任何运气。有人知道吗? 最佳答案 不幸的是,似乎没有办法做到这一点。LinearSVC调用liblinear(seerelevantcode)但不检索向量,仅检索系数和截距。一种替代方法是将SVC与“线性”内核(libsvm而不是基于liblinear的内核)一起使用,还有poly、dbf和sigmoid内核支持这个选项:fromsklearnimportsvmX=[[0,0],[1

python - 使用 Scikit Learn 对时间序列 pandas 数据框进行线性回归

我正在尝试使用scikit学习线性回归器对Pandas数据框进行简单的线性回归。我的数据是一个时间序列,pandas数据框有一个日期时间索引:value2007-01-010.7713052007-02-010.2566282008-01-010.6709202008-02-010.098047做一些简单的事fromsklearnimportlinear_modellr=linear_model.LinearRegression()lr(data.index,data['value'])没用:float()argumentmustbeastringoranumber所以我尝试创建一个包

python - Pandas 数据框 : Group by two columns and then average over another column

假设我有一个具有以下值的数据框:df:col1col2value123121231我想首先根据前两列(col1和col2)对我的数据框进行分组,然后对第三列(值)的值进行平均。所以所需的输出将如下所示:col1col2avg-value122231我正在使用以下代码:columns=['col1','col2','avg']df=pd.DataFrame(columns=columns)df.loc[0]=[1,2,3]df.loc[1]=[1,3,3]print(df[['col1','col2','avg']].groupby('col1','col2').mean())出现以下错

python - Pandas 多索引 : Divide all columns by one column

我有一个数据框results的形式TOTEXPPQTOTEXPCQFINLWT21yearquarter1319.183392e+095.459961e+091271559.39822.907887e+091.834126e+09481169.672我试图将所有(前两列)除以最后一列。我的尝试是weights=results.pop('FINLWT21')results/weights但是我明白了ValueError:cannotjoinwithnolevelspecifiedandnooverlappingnames我不明白:索引中有重叠的名称:weights.head()yearq

python - 将 statsmodel 估计与 scikit-learn 交叉验证结合使用是否可能?

我将这个问题发布到CrossValidated论坛,后来意识到这可能会在stackoverlfow中找到合适的受众。我正在寻找一种方法,可以使用从pythonstatsmodel获得的fit对象(结果)输入到scikit-learncross_validation方法的cross_val_score中?所附链接表明这可能是可能的,但我没有成功。我收到以下错误estimatorshouldabeanestimatorimplementing'fit'methodstatsmodels.discrete.discrete_model.BinaryResultsWrapperobjectat

python - 多处理 scikit-learn

我使用load_file方法让linearsvc针对训练集和测试集工作,我试图让它在多处理器环境中工作。如何在LinearSVC().fit()LinearSVC().predict()上进行多处理工作?我还不太熟悉scikit-learn的数据类型。我也在考虑将样本拆分为多个数组,但我不熟悉numpy数组和scikit-learn数据结构。这样做会更容易放入multiprocessing.pool()中,这样,将样本分成block,训练它们并稍后组合训练集,它会工作吗?编辑:这是我的场景:假设,我们在训练样本集中有100万个文件,当我们想要在多个处理器上分发Tfidfvectoriz