草庐IT

管道化

全部标签

python - scikit-learn 管道中具有递归特征消除的网格搜索返回错误

我正在尝试使用scikit-learn在管道中链接网格搜索和递归特征消除。带有“裸”分类器的GridSearchCV和RFE工作正常:fromsklearn.datasetsimportmake_friedman1fromsklearnimportfeature_selectionfromsklearn.grid_searchimportGridSearchCVfromsklearn.svmimportSVRX,y=make_friedman1(n_samples=50,n_features=10,random_state=0)est=SVR(kernel="linear")selec

python - 有人可以解释管道缓冲区死锁吗?

Popen状态的Python文档:WarningUsecommunicate()ratherthan.stdin.write,.stdout.reador.stderr.readtoavoiddeadlocksduetoanyoftheotherOSpipebuffersfillingupandblockingthechildprocess.现在,我试图弄清楚这种死锁是如何发生的以及为什么会发生。我的心智模型:子进程向stdout/err产生一些东西,它被缓冲,在缓冲区被填充后,它被刷新到子进程的stdout/err,它通过管道发送到父进程。根据文档所述,管道有自己的缓冲区,当它被填满

python - OpenCV 管道编辑器

我正在学习OpenCV(使用python界面)。我不太确定自己在做什么,所以我不断添加和删除功能(模糊、阈值、轮廓、边缘检测)并修改参数。非常有用的是一个UI,它允许我创建一个管道并添加/删除函数,然后动态修改参数以查看效果。那存在吗?我过去使用过Blender,他们有一个节点编辑器,如下所示:您可以将一个函数的输出连接到下一个函数,您可以输入或单击并拖动以更改参数。不幸的是,Blender中的节点有些受限,但在我看来,使用OpenCV的python接口(interface)具有类似的功能是可能的。我只是想知道它是否已经存在,如果存在我可以从哪里得到它。 最

python - 如何将带有 keras 回归器的 scikit-learn 管道保存到磁盘?

我有一个带有kerasRegressor的scikit-learn管道:estimators=[('standardize',StandardScaler()),('mlp',KerasRegressor(build_fn=baseline_model,nb_epoch=5,batch_size=1000,verbose=1))]pipeline=Pipeline(estimators)训练管道后,我尝试使用joblib保存到磁盘...joblib.dump(pipeline,filename,compress=9)但是我得到一个错误:RuntimeError:maximumrecur

python - Paramiko:读取时管道 block 永远

我在让管道与paramiko一起工作时遇到问题。这个有效:ssh=paramiko.SSHClient()[...]stdin,stdout,stderr=ssh.exec_command("find/tmp")stdout.read()这不有效(在stdout.read()上永远阻塞):[...]stdin,stdout,stderr=ssh.exec_command("bash-")stdin.write("find/tmp\n")stdin.close()stdout.read()有什么想法吗?编辑:我查看了paramiko的源代码,ChannelFile.close在通信方面并

Python:select() 不会发出来自管道的所有输入信号

我正在尝试使用Python加载外部命令行程序并通过管道与其通信。该程序通过stdin获取文本输入,并在stdout的行中生成文本输出。通信应该是异步的,使用select()。问题是,并非程序的所有输出都在select()中发出信号。通常最后一两行没有信号。如果select()返回超时并且我试图从管道读取无论如何readline()立即返回程序发送的行。请参阅下面的代码。该程序不会缓冲输出并以文本行形式发送所有输出。到目前为止,在许多其他语言和环境中通过管道连接到程序都运行良好。我已经在MacOSX10.6上尝试过Python3.1和3.2。importsubprocessimports

Python 2.6 通过队列/管道/等发送连接对象

给定thisbug(PythonIssue4892)导致以下错误:>>>importmultiprocessing>>>multiprocessing.allow_connection_pickling()>>>q=multiprocessing.Queue()>>>p=multiprocessing.Pipe()>>>q.put(p)>>>q.get()Traceback(mostrecentcalllast):File"",line1,inFile"/.../python2.6/multiprocessing/queues.py",line91,ingetres=self._rec

python - 使用 subprocess.Popen 的非常大的输入和管道

我的问题很简单。我有一个大文件,它经过三个步骤,一个使用外部程序的解码步骤,在python中进行一些处理,然后使用另一个外部程序重新编码。我一直在使用subprocess.Popen()尝试在python中执行此操作,而不是形成unix管道。但是,所有数据都缓冲到内存中。是否有执行此任务的pythonic方法,或者我最好回到一个简单的python脚本,该脚本从stdin读取并写入stdout,两边都使用unix管道?importos,sys,subprocessdefmain(infile,reflist):printinfile,reflistsamtoolsin=subproces

Windows : Why does this not work? 上的 Python 管道

我正在尝试这样的事情输出.pyprint"Hello"输入.pygreeting=raw_input("Givemethegreeting.")print"Thegreetingis:",greeting在命令行Output.py|Input.py但它返回一个EOFError。谁能告诉我我做错了什么?感谢您的帮助。编辑帕特里克·哈灵顿solution有效,但我不知道为什么... 最佳答案 我在我的Windows机器上测试了这个,如果你指定Pythonexe,它就可以工作:C:\>C:\Python25\python.exeoutpu

python - 使用 fabric 和管道脚本文本运行 shell 脚本到 shell 的标准输入

有没有办法通过将多行shell脚本传送到fabric中的远程shell标准输入来执行它??或者我必须总是将它写入远程文件系统,然后运行它,然后删除它?我喜欢发送到标准输入,因为它避免了临时文件。如果没有fabricAPI(根据我的研究似乎没有),大概我可以直接使用ssh模块。基本上我希望fabric.api.run不限于作为命令行参数传递给shell的单行命令,而是采用完整的多行脚本并将其写入远程shell的标准输入。澄清一下,我想要与此命令行等效的结构:sshsomehost/bin/sh除了在python中,脚本源代码不会来自本地文件系统上的文件,它只是内存中的多行字符串。请注意,