在网上搜索了一下，找到了使用命名管道的简单“教程”。但是，当我对后台作业执行任何操作时，我似乎丢失了很多数据。

[[编辑:找到了一个更简单的解决方案，请参阅对帖子的回复。所以我提出的问题现在是学术性的——万一有人可能想要一个工作服务器]]

使用 Ubuntu 10.04 和 Linux 2.6.32-25-generic#45-Ubuntu SMP Sat Oct 16 19:52:42 UTC 2010 x86_64 GNU/Linux

GNU bash，版本 4.1.5(1)-release (x86_64-pc-linux-gnu)。

我的 bash 函数是:

function jqs
{
  pipe=/tmp/__job_control_manager__
  trap "rm -f $pipe; exit"  EXIT SIGKILL

  if [[ ! -p "$pipe" ]]; then
      mkfifo "$pipe"
  fi

  while true
  do
    if read txt <"$pipe"
    then
      echo "$(date +'%Y'): new text is [[$txt]]"

      if [[ "$txt" == 'quit' ]]
      then
    break
      fi
    fi
  done
}

我在后台运行:

> jqs&
[1] 5336

现在我喂它:

for i in 1 2 3 4 5 6 7 8
do
  (echo aaa$i > /tmp/__job_control_manager__ && echo success$i &)
done

输出不一致。 我经常得不到所有成功的回应。 我得到的新文本 echo 最多与成功 echo 一样多，有时更少。

如果我从“提要”中删除“&”，它似乎可以工作，但在读取输出之前我会被阻止。因此我想让子进程被阻塞，而不是主进程。

目标是编写一个简单的作业控制脚本，这样我最多可以并行运行 10 个作业，并将其余作业排队等待稍后处理，但可靠地知道它们确实在运行。

下面是完整的工作经理:

function jq_manage
{
  export __gn__="$1"

  pipe=/tmp/__job_control_manager_"$__gn__"__
  trap "rm -f $pipe"    EXIT
  trap "break"      SIGKILL

  if [[ ! -p "$pipe" ]]; then
      mkfifo "$pipe"
  fi

  while true
  do
    date
    jobs
    if (($(jobs | egrep "Running.*echo '%#_Group_#%_$__gn__'" | wc -l) < $__jN__))
    then
      echo "Waiting for new job"
      if read new_job <"$pipe"
      then
    echo "new job is [[$new_job]]"

    if [[ "$new_job" == 'quit' ]]
    then
      break
    fi

    echo "In group $__gn__, starting job $new_job"
    eval "(echo '%#_Group_#%_$__gn__' > /dev/null; $new_job) &"
      fi
    else
      sleep 3
    fi
  done
}

function jq
{
  # __gn__ = first parameter to this function, the job group name (the pool within which to allocate __jN__ jobs)
  # __jN__ = second parameter to this function, the maximum of job numbers to run concurrently

  export __gn__="$1"
  shift
  export __jN__="$1"
  shift

  export __jq__=$(jobs | egrep "Running.*echo '%#_GroupQueue_#%_$__gn__'" | wc -l)
  if (($__jq__ '<' 1))
  then
    eval "(echo '%#_GroupQueue_#%_$__gn__' > /dev/null; jq_manage $__gn__) &"
  fi

  pipe=/tmp/__job_control_manager_"$__gn__"__

  echo $@ >$pipe
}

打电话

jq <name> <max processes> <command>
jq abc 2 sleep 20

将启动一个进程。 那部分工作正常。开始第二个，很好。 一个接一个地手工似乎工作正常。 但是在循环中开始 10 似乎失去了系统，如上面更简单的示例。

任何关于我可以做些什么来解决这个明显的 IPC 数据丢失的提示都将不胜感激。

问候， 阿兰。

最佳答案

你的问题是下面的if语句:

while true
do
    if read txt <"$pipe"
    ....
done

发生的事情是您的作业队列服务器每次在循环中打开和关闭管道。这意味着一些客户端在尝试写入管道时会遇到“管道损坏”错误 - 也就是说，管道的读取器在写入器打开后就消失了。

要解决此问题，请更改服务器中的循环，为整个循环打开一次管道:

while true
do
    if read txt
    ....
done < "$pipe"

这样做，管道打开一次并保持打开状态。

您需要注意在循环内运行的内容，因为循环内的所有处理都会将标准输入附加到命名管道。您需要确保从其他地方重定向循环内所有进程的标准输入，否则它们可能会使用管道中的数据。

编辑:现在的问题是，当最后一个客户端关闭管道时，您正在读取 EOF，您可以使用 jilles 方法来复制文件描述符，或者您可以确保您也是一个客户端并保持管道的写入端打开:

while true
do
    if read txt
    ....
done < "$pipe" 3> "$pipe"

这将使管道的写入端在 fd 3 上保持打开状态。与标准输入一样，同样的警告适用于此文件描述符。您将需要关闭它，这样任何子进程都不会继承它。它可能不如 stdin 重要，但它会更干净。

关于linux - 在 bash 中使用命名管道 - 数据丢失问题，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/4290684/