我试图测量我正在编写的 TCP 服务器的速度，我注意到测量 connect() 调用的速度可能存在一个基本问题:如果我以非阻塞方式连接方式，connect() 操作在几秒钟后变得非常慢。这是 Python 中的示例代码:

#! /usr/bin/python2.4
import errno
import os
import select
import socket
import sys
import time

def NonBlockingConnect(sock, addr):
  #time.sleep(0.0001)  # Fixes the problem.
  while True:
    try:
      return sock.connect(addr)
    except socket.error, e:
      if e.args[0] not in (errno.EINPROGRESS, errno.EALREADY):
        raise
      os.write(2, '^')
      if not select.select((), (sock,), (), 0.5)[1]:
        os.write(2, 'P')

def InfiniteClient(addr):
  while True:
    sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM, 0)
    sock.setblocking(0)
    sock.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
    # sock.connect(addr)
    NonBlockingConnect(sock, addr)
    sock.close()
    os.write(2, '.')

def InfiniteServer(server_socket):
  while True:
    sock, addr = server_socket.accept()
    sock.close()

server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM, 0)
server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
server_socket.bind(('127.0.0.1', 45454))
server_socket.listen(128)

if os.fork():  # Parent.
  InfiniteServer(server_socket)
else:
  addr = server_socket.getsockname()
  server_socket.close()
  InfiniteClient(addr)

使用 NonBlockingConnect，大多数 connect() 操作都很快，但每隔几秒就有一个 connect() 操作至少需要 2 秒(如 5 个连续的 所示)输出上的 P 字母)。通过使用 sock.connect 而不是 NonBlockingConnect 所有连接操作似乎都很快。

如何摆脱这些缓慢的连接()？

我正在使用标准 PAE 内核运行 Ubuntu Karmic 桌面:

Linux narancs 2.6.31-20-generic-pae #57-Ubuntu SMP Mon Feb 8 10:23:59 UTC 2010 i686 GNU/Linux

奇怪的是 strace -f ./conn.py 没有延迟。

奇怪的是，如果我取消注释非常快的 time.sleep 就没有延迟。

奇怪的是我的 Ubuntu Hardy 系统没有延迟:

所有这些系统都受到影响(运行 Ubuntu Karmic、Ubuntu Hardy、Debian Etch):

Linux narancs 2.6.31-20-generic-pae #57-Ubuntu SMP Mon Feb 8 10:23:59 UTC 2010 i686 GNU/Linux
Linux t 2.6.24-grsec #1 SMP Thu Apr 24 14:15:58 CEST 2008 x86_64 GNU/Linux
Linux geekpad 2.6.24-24-generic #1 SMP Fri Sep 18 16:49:39 UTC 2009 i686 GNU/Linux

奇怪的是下面的Debian Lenny系统没有受到影响:

Linux t 2.6.31.5 #2 SMP Thu Nov 5 15:33:05 CET 2009 i686 GNU/Linux

仅供引用，如果我使用 AF_UNIX 套接字，则不会有延迟。

仅供引用，如果我在 C 中实现客户端，我会得到相同的行为:

/* by pts@fazekas.hu at Sun Apr 25 20:47:24 CEST 2010 */
#include <arpa/inet.h>
#include <errno.h>
#include <fcntl.h>
#include <netinet/in.h>
#include <stdio.h>
#include <string.h>
#include <sys/select.h>
#include <sys/socket.h>
#include <unistd.h>

static int work(void) {
  fd_set rset;
  fd_set wset;
  fd_set eset;
  socklen_t sl; 
  struct timeval timeout;
  struct sockaddr_in sa;
  int sd, i, j;
  long l;
  sd = socket(AF_INET, SOCK_STREAM, 0);
  if (sd < 0) {
    perror("socket");
    return 2;
  }
  l = fcntl(sd, F_GETFL, 0);
  if (l < 0) {
    perror("fcntl-getfl");
    close(sd);
    return 2;
  }
  if (0 != fcntl(sd, F_SETFL, l | O_NONBLOCK)) {
    perror("fcntl-setfl");
    close(sd);
    return 2;
  }
  memset(&sa, '\0', sizeof(sa));
  sa.sin_family = AF_INET;
  sa.sin_port = htons(45454);
  sa.sin_addr.s_addr = inet_addr("127.0.0.1");
  while (0 != connect(sd, (struct sockaddr*)&sa, sizeof sa)) {
    if (errno != EAGAIN && errno != EINPROGRESS && errno != EALREADY) {
      perror("connect");
      close(sd);
      return 2;
    }
    FD_ZERO(&rset);
    FD_ZERO(&wset);
    FD_ZERO(&eset);

    j = 0;
    do {
      timeout.tv_sec = 0;
      timeout.tv_usec = 100 * 1000;  /* 0.1 sec */
      FD_SET(sd, &wset);
      FD_SET(sd, &eset);
      i = select(sd + 1, &rset, &wset, &eset, &timeout);
      if (i < 0) {
        perror("select");
        close(sd);
        return 2;
      }  
      if (++j == 5) {
        (void)write(2, "P", 1);
        j = 0;
      }
    } while (i == 0);
    sl = sizeof i;
    if (0 != getsockopt(sd, SOL_SOCKET, SO_ERROR, &i, &sl)) {
      perror("getsockopt");
      close(sd);
      return 2;
    }
    if (i != 0) {
      if (i == ECONNRESET) {
        (void)write(2, "R", 1);
        close(sd);
        return -3;
      }
      fprintf(stderr, "connect-SO_ERROR: %s\n", strerror(i));
      close(sd);
      return 2;
    }
  }
  close(sd);
  return 0;
}

int main(int argc, char**argv) {
  int i;
  (void)argc;
  (void)argv;
  while ((i = work()) <= 0) (void)write(2, ".", 1);
  return i;
}

最佳答案

鉴于 sleep 和 strace 导致问题消失，这看起来像是一些调度问题，服务器进程没有被调度来接受连接。虽然不在 2 秒内调度服务器是一个非常长的时间。

也许诸如 latencytop 之类的工具可以帮助揭示正在发生的事情。您可能只能在 Karmic (2.6.31) 上运行它，因为我认为其他内核太旧了。

关于linux - 为什么非阻塞 TCP connect() 在 Linux 上偶尔会这么慢？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/2708738/