我继承了一个 django+fastcgi 应用程序，需要对其进行修改以执行冗长的计算(最多半小时或更长时间)。我想做的是在后台运行计算并返回“你的工作已经开始”类型的响应。当进程正在运行时，进一步点击 url 应该返回“您的作业仍在运行”，直到作业完成，此时应该返回作业的结果。对 url 的任何后续命中都应返回缓存的结果。

我是 django 的完全新手，十年来没有做过任何重要的网络工作，所以我不知道是否有内置的方法来做我想做的事情。我已经尝试通过 subprocess.Popen() 启动进程，除了它在进程表中留下一个失效条目之外，它工作正常。我需要一个干净的解决方案，可以在它完成后删除临时文件和进程的任何痕迹。

我还试验过 fork() 和线程，但尚未提出可行的解决方案。对于在我看来很常见的用例，是否有规范的解决方案？ FWIW 这只会在流量非常低的内部服务器上使用。

最佳答案

我现在必须解决类似的问题。它不会是一个公共(public)站点，而是类似的低流量内部服务器。

技术限制:

• 可以在启动时为长时间运行的进程提供所有输入数据
• 长时间运行的流程不需要用户交互(启动流程的初始输入除外)
• 计算时间足够长，因此无法通过立即 HTTP 响应将结果提供给客户端
• 需要来自长期运行过程的某种反馈(某种进度条)。

因此，我们至少需要两个 Web“ View ”:一个启动长时间运行的进程，另一个监视其状态/收集结果。

我们还需要某种进程间通信:将用户数据从发起者(http 请求的网络服务器)发送到长时间运行的进程，然后将其发送给它结果到 reciever(同样是 web 服务器，由 http 请求驱动)。前者容易，后者不太明显。与普通的 unix 编程不同，接收器最初是未知的。接收者可能是与发起者不同的进程，它可能在长时间运行的作业仍在进行中或已经完成时启动。因此管道无法正常工作，我们需要对长时间运行的过程的结果进行一些永久处理。

我看到两种可能的解决方案:

• 将长时间运行的进程的启动分配给长时间运行的作业管理器(这可能就是上面提到的 django-queue-service )；
• 将结果永久保存在文件或数据库中。

我更喜欢使用临时文件并记住它们在 session 数据中的位置。我不认为它可以变得更简单。

作业脚本(这是长时间运行的进程)，myjob.py:

import sys
from time import sleep

i = 0
while i < 1000:
    print 'myjob:', i  
    i=i+1
    sleep(0.1)
    sys.stdout.flush()

django urls.py 映射:

urlpatterns = patterns('',
(r'^startjob/$', 'mysite.myapp.views.startjob'),
(r'^showjob/$',  'mysite.myapp.views.showjob'),
(r'^rmjob/$',    'mysite.myapp.views.rmjob'),
)

django View :

from tempfile import mkstemp
from os import fdopen,unlink,kill
from subprocess import Popen
import signal

def startjob(request):
     """Start a new long running process unless already started."""
     if not request.session.has_key('job'):
          # create a temporary file to save the resuls
          outfd,outname=mkstemp()
          request.session['jobfile']=outname
          outfile=fdopen(outfd,'a+')
          proc=Popen("python myjob.py",shell=True,stdout=outfile)
          # remember pid to terminate the job later
          request.session['job']=proc.pid
     return HttpResponse('A <a href="/showjob/">new job</a> has started.')

def showjob(request):
     """Show the last result of the running job."""
     if not request.session.has_key('job'):
          return HttpResponse('Not running a job.'+\
               '<a href="/startjob/">Start a new one?</a>')
     else:
          filename=request.session['jobfile']
          results=open(filename)
          lines=results.readlines()
          try:
               return HttpResponse(lines[-1]+\
                         '<p><a href="/rmjob/">Terminate?</a>')
          except:
               return HttpResponse('No results yet.'+\
                         '<p><a href="/rmjob/">Terminate?</a>')
     return response

def rmjob(request):
     """Terminate the runining job."""
     if request.session.has_key('job'):
          job=request.session['job']
          filename=request.session['jobfile']
          try:
               kill(job,signal.SIGKILL) # unix only
               unlink(filename)
          except OSError, e:
               pass # probably the job has finished already
          del request.session['job']
          del request.session['jobfile']
     return HttpResponseRedirect('/startjob/') # start a new one

关于python - django,fastcgi : how to manage a long running process?，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/219329/