草庐IT

goldfish_pipe

全部标签

linux - EC2 ssh broken pipe 终止正在运行的进程

我正在使用EC2实例运行大型作业,我估计需要大约24小时才能完成。我遇到了此处描述的相同问题sshbrokenpipeec2我遵循了上面帖子中的建议/解决方案,在我的sshsessionshell中,我通过以下命令启动了我的python程序:nohuppythonmyapplication.py>myprogram.out2>myprogram.err一旦我这样做了,连接保持完整的时间比我不使用nohup的时间长,但它最终因brokenpipeerror而失败,我又回到了原点一。进程“pythonmyapplication.py”因此终止。关于正在发生的事情以及我可以做些什么来防止这种

linux - 大查询 : Does bq load command support loading from named pipe as a source?

我正在尝试使用命名管道中的bqload将数据加载到Googlebigquery。控制台窗口1:$mkfifo/usr/pipe1$cat/dev1/item.dat>/usr/pipe1控制台窗口2:$bqload--source_format=CSVprojectid:dataset.itemtbl/usr/pipe1field1:integer,field2:integer出现以下错误:BigQueryerrorinloadoperation:Sourcepathisnotafile:/usr/pipe1 最佳答案 BigQue

使用 pipe() 和 fork() 复制文件内容

已经有人问过类似的问题,但他们的解决方案对我帮助不大ProgramthatreadfileandsendittoparentprocesswithpipeRead/writingonapipe,accomplishingfilecopyinginC我正在尝试从文件test.txt中读取(其中包含一行文本),将其写入管道,子进程将从管道中读取并写入内容到另一个文件。/*Readthecontentsofafileanddisplayitusingpipe*/#include#include#include#include#includevoidmain(){charbuffer[100]

linux - shell pipe 如何处理死循环

每当我需要限制shell命令输出时,我都会使用less对结果进行分页:catfile_with_long_content|少它工作得很好而且花花公子,但我很好奇的是,即使输出永无止境,less仍然有效,考虑在inf.sh文件中包含以下脚本:当为真时;约会;完成然后我跑shinf.sh|少而且它仍然能够再次对结果进行分页,所以说管道传输结果而不是等待命令完成后再输出结果是否正确? 最佳答案 是的,当你运行shinf.sh|less这两个命令是并行运行的。由第一个进程写入管道的数据被(由内核)缓冲,直到被第二个进程读取。如果缓冲区已满(

linux - UNIX/Linux IPC : Reading from a pipe. 如何在运行时知道数据的长度?

我有一个子进程,它生成一些可变长度的输出,然后使用半双工管道将其发送给父进程。在父级中,如何使用read()函数?由于每次数据的长度可能不同,我如何在运行时知道数据的大小以对缓冲区执行任何malloc()?fstat()函数可以用于管道文件描述符吗?我知道read()函数将读取指定数量的字节,但如果在读取请求的字节之前到达文件末尾(不是EOF字符),它将返回0。我专门运行带有2.6.27-9内核的UbuntuGNU/Linux。RichardStevens在UNIX环境中的高级编程中的所有示例都在写入管道时指定了数据的长度,或者依赖于fgets()stdio.h函数。因为我关心速度,所

Python 读取名为 PIPE

我在linux中有一个命名管道,我想从python中读取它。问题是python进程连续“消耗”一个核心(100%)。我的代码如下:FIFO='/var/run/mypipe'os.mkfifo(FIFO)withopen(FIFO)asfifo:whileTrue:line=fifo.read()我想问一下“sleep”是否会帮助解决这种情况,或者进程会丢失一些来自管道的输入数据。我无法控制输入,所以我不知道数据输入的频率。我阅读了有关select和poll的信息,但没有找到任何示例来解决我的问题。最后想问下100%使用率对数据输入有没有影响(丢失什么的?)。编辑:我不想打破循环。我希

Python 值错误 : embedded null byte when reading png file from bash pipe

fromPILimportImagefromsubprocessimportPopen,PIPEscr=Image.open(Popen.communicate(Popen(['import','-w','0x02a00001','png:-'],stdout=PIPE))[0])错误:File"/usr/lib/python3/dist-packages/PIL/Image.py",line2258,inopenfp=builtins.open(filename,"rb")ValueError:embeddednullbyte 最佳答案

javascript - createReadStream().pipe() 回调

抱歉,我有几个关于createReadStream()的问题。基本上,我正在做的是动态构建一个文件,并在完成后使用fs将其流式传输给用户。我正在使用.pipe()来确保我的节流正确(如果缓冲区已满,则停止读取,如果没有则重新开始,等等)这是我到目前为止的代码示例。http.createServer(function(req,res){varstream=fs.createReadStream('/example.pdf',{bufferSize:64*1024})stream.pipe(res);}).listen(3002,function(){console.log('Server

node.js - express req.pipe() 不起作用

我想在express中收听传入的POST请求。我想将此请求传送到另一台服务器我想在express处理程序中接收响应(我不想通过管道将响应发送到expressres流)现在我有以下代码:app.post('server1',function(req,res,next){varrequest=require('request');req.pipe(request.post('server2')).pipe(res);}所以这不起作用-请求甚至没有通过管道传输到server2-我检查了它并且没有传入请求。我这样解决了第1点和第2点:varbodyParser=express.bodyPars

node.js - .pipe() 在 gulp 中到底是什么意思?

我对gulp比较陌生,我想知道.pipe()在gulp任务中到底做了什么?我收集到它通常在return和.src之后运行,但肯定不止这些。我在网上或gulp的文档中找不到任何东西,我真的很想了解我在使用什么。编辑我找到了this,但解释起来很糟糕 最佳答案 来自Node文档:https://nodejs.org/api/stream.html#stream_readable_pipe_destination_optionsThereadable.pipe()methodattachesaWritablestreamtotheread