草庐IT

【Linux网络编程】TCP并发服务器的实现(IO多路复用select)

夜猫徐 2023-11-14 原文

文章目录

一、服务器模型

1.1 服务器概念

服务器模型主要分为两种,循环服务器并发服务器

循环服务器
在同一时间只能处理一个客户端的请求。
并发服务器
在同一时间内能同时处理多个客户端的请求。

TCP的服务器默认的就是一个循环服务器,原因是有两个阻塞 accept函数 和recv函数 之间会相互影响。
UDP的服务器默认的就是一个并发服务器,因为只有一个阻塞的 recvfrom函数。

1.2 TCP并发服务器的意义

在有些应用场景下,我们既要保证数据可靠,又要支持并发
这就需要用到TCP并发服务器。

1.3 实现TCP并发服务器的方式

  1. 使用多路IO复用实现TCP并发服务器(常用)
  2. 使用多进程实现TCP并发服务器
  3. 使用多线程实现TCP并发服务器

本次我们学习第一个方式,使用多路IO复用(select函数)实现TCP并发服务器的实现,在后续博客中我们会依次讲解其他实现方式。
感兴趣可以收藏加关注哦。

二、使用IO多路复用实现TCP并发服务器优势

对于实际开发过程中:
如果使用多进程实现TCP并发服务器,并发量大的时候,对系统的资源占用量也会很大。

如果使用多线程,业务逻辑复杂的时候,又涉及到临近资源访问的问题
比较好的方式是使用多路IO复用实现TCP并发服务器。

三、select函数

功能:
	实现IO多路复用
头文件:
	 #include <sys/select.h>
函数原型:
	int select(int nfds, fd_set *readfds, fd_set *writefds,
               fd_set *exceptfds, struct timeval *timeout);
参数
	@nfds:监视的最大文件描述符+1
	@readfds:要监视的读文件描述符集合,如果不关心,可以传NULL
	@writefds:要监视的写文件描述符集合,如果不关心,可以传NULL
	@exceptfds:要监视的异常的文件描述符集合,如果不关心,可以传NULL
	(一般我们只关心readfds)
	@timeout:超时时间
		为0时非阻塞
		为NULL时永久阻塞
		为结构体时阻塞一定时间
返回值:
	成功  返回就绪文件描述符的个数
	失败  返回-1,置位错误码
	超时  返回0

	
void FD_CLR(int fd, fd_set *set);
功能:
	删除集合中的文件描述符
参数:
	@fd:文件描述符
	@set:构建要监视的文件描述符集合
	
int  FD_ISSET(int fd, fd_set *set);
功能:
	判断文件描述符是否在集合中
参数:
	@fd:文件描述符
	@set:构建要监视的文件描述符集合
返回值:
	为0时不在里面
	非0时在里面
	
void FD_SET(int fd, fd_set *set);
功能:
	将文件描述符添加到集合中
参数:
	@fd:文件描述符
	@set:构建要监视的文件描述符集合
	
void FD_ZERO(fd_set *set);
功能:
	清空集合
参数:
	@set:构建要监视的文件描述符集合

注意:

  1. select只能监视小于 FD_SETSIZE(1024) 的文件描述符。
  2. select函数在返回时会将没有就绪的文件描述符在表中擦除,
    所以,在循环中调用select时,每次需要重新填充集合。

四、TCP并发服务器的构建

4.1 创建套接字

使用socket函数创建IPV4、TCP套接字

	int sockfd;
    if ((sockfd = socket(AF_INET, SOCK_STREAM, 0)) == -1)
    {
        ERRLOG("socket error");
    }

4.2 填写服务器网络信息结构体

	struct sockaddr_in serviceaddr;
    memset(&serviceaddr, 0, sizeof(serviceaddr));
    serviceaddr.sin_family = AF_INET;
    serviceaddr.sin_addr.s_addr = inet_addr(argv[1]);
    serviceaddr.sin_port = htons(atoi(argv[2]));
    socklen_t serviceaddr_len = sizeof(serviceaddr);

4.3 将服务器网络信息结构体与套接字绑定

	if (bind(sockfd, (struct sockaddr *)&serviceaddr, serviceaddr_len) == -1)
    {
        ERRLOG("bind error");
    }

4.4 将套接字设置为被动监听状态

	if (listen(sockfd, 5) == -1)
    {
        ERRLOG("listen error");
    }

4.5 创建文件描述符集合母本和子本并进行清空操作

	fd_set readfds;
    FD_ZERO(&readfds);
    fd_set readfds_msg;
    FD_ZERO(&readfds_msg);

4.6 将sockfd添加进入集合内,并更新最大文件描述符

	FD_SET(sockfd, &readfds);
    max_fd = max_fd > sockfd ? max_fd : sockfd;

4.7 循环实现内部功能伪代码

 	while(1){
        select();
        //遍历文件描述符集合
        for(){
            if(sockfd就绪了){
                //说明有新的客户端建立连接了
                acceptfd = accept();
                将acceptfd加入到readfds中
                更新最大文件描述符
            }else{
                //说明有客户端发来数据了
                recv();
                //如果recv返回0了 需要将当前的客户端的acceptfd在
                //readfds中删除,后续就不再监视它了
                strcat();
                send();
            }
        }
    }

五、客户端的构建

5.1步骤一和二和4.1,4.2一样

5.2 尝试与服务器建立连接

	if(-1 == connect(sockfd, (struct sockaddr *)&serveraddr, serveraddr_len)){
        ERRLOG("connect error");
    }

5.3 内部功能实现伪代码

	while(1){
        //从终端获取数据写入buff中
        fgets();
        buff[strlen(buff)-1] = '\0';//清理结尾的\n

        //发送数据
        if(-1 == send(sockfd, buff, sizeof(buff), 0)){
            ERRLOG("send error");
        }
        
        //接收服务器的应答信息
        if(-1 == (nbytes = recv(sockfd, buff, sizeof(buff), 0))){
            ERRLOG("recv error");
        }   
    }

六、测试结果

使用三个客户端连接一个TCP并发服务器。

测试TCP并发服务器功能实现

测试quit退出功能实现

测试ctrl+c终止程序断开来连接实现

测试退出文件,清除客户端的文件描述符,在新的客户端连接时,从最小的文件描述符开始实现。

成功实现IO多路复用TCP并发服务器和客户端。

七、TCP并发服务器源代码

#include <stdio.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <netinet/ip.h>
#include <string.h>
#include <pthread.h>
#include <arpa/inet.h>
#include <unistd.h>
#include <stdlib.h>
#include <sys/select.h>

#define ERRLOG(msg)                                        \
    do                                                     \
    {                                                      \
        printf("%s %s %d:", __FILE__, __func__, __LINE__); \
        perror(msg);                                       \
        exit(-1);                                          \
    } while (0)

#define N 128

int main(int argc, const char *argv[])
{
    //检查入参合理性
    if (argc != 3)
    {
        printf("Usage : %s <IP> <PORT>\n", argv[0]);
        return -1;
    }
    //创建套接字
    int sockfd;
    if ((sockfd = socket(AF_INET, SOCK_STREAM, 0)) == -1)
    {
        ERRLOG("socket error");
    }
    //填写服务器网络信息结构体
    struct sockaddr_in serviceaddr;
    memset(&serviceaddr, 0, sizeof(serviceaddr));
    serviceaddr.sin_family = AF_INET;
    serviceaddr.sin_addr.s_addr = inet_addr(argv[1]);
    serviceaddr.sin_port = htons(atoi(argv[2]));
    socklen_t serviceaddr_len = sizeof(serviceaddr);
    //将服务器网络信息结构体与套接字绑定
    if (bind(sockfd, (struct sockaddr *)&serviceaddr, serviceaddr_len) == -1)
    {
        ERRLOG("bind error");
    }
    //将套接字设置为被动监听状态
    if (listen(sockfd, 5) == -1)
    {
        ERRLOG("listen error");
    }
    char buf[N] = {0};
    int max_fd;
    int i;
    int ret;
    int acceptfd;
    int nbytes;
    //创建文件描述符集合母本和子本并进行清空操作
    fd_set readfds;
    FD_ZERO(&readfds);
    fd_set readfds_msg;
    FD_ZERO(&readfds_msg);
    //将sockfd添加进入集合内,并跟新最大文件描述符
    FD_SET(sockfd, &readfds);
    max_fd = max_fd > sockfd ? max_fd : sockfd;

    while (1)
    {
        //在每次循环前将子本重新赋值,因为select会将没有就绪的文件描述符在集合内擦除
        readfds_msg = readfds;
        if ((ret = select(max_fd + 1, &readfds_msg, NULL, NULL, NULL)) == -1)
        {
            ERRLOG("select error");
        }
        else //说明有文件描述符就绪了
        {
            //遍历文件描述符
            for (i = 3; i < max_fd + 1 && ret != 0; i++)
            {
                //判断是哪个文件描述符就绪了
                if (FD_ISSET(i, &readfds_msg))
                {
                	ret--;
                    if (i == sockfd) //如果套接字就绪了则等待客户端连接
                    {
                        if ((acceptfd = accept(sockfd, NULL, NULL)) == -1)
                        {
                            ERRLOG("accept error");
                        }
                        printf("客户端[%d]连接到服务器..\n", acceptfd);
                        //如果有客户端连接将产生的新的文件描述符添加到集合中,并更新最大文件描述符
                        FD_SET(acceptfd, &readfds);
                        max_fd = max_fd > acceptfd ? max_fd : acceptfd;
                    }
                    else //否则就是客户端发来消息了
                    {
                        memset(buf, 0, N);
                        if ((nbytes = recv(i, buf, N, 0)) == -1)
                        {
                            ERRLOG("recv error");
                        }
                        else if (nbytes == 0)
                        {
                            printf("客户端[%d]已断开连接..\n", i);
                            close(i);            //关闭当前客户端的文件描述符
                            FD_CLR(i, &readfds); //将该客户端的文件描述符在集合中删除
                            continue;
                        }
                        if (strcmp(buf, "quit") == 0)
                        {
                            printf("客户端[%d]已退出服务器..\n", i);
                            close(i);
                            FD_CLR(i, &readfds);
                            continue;
                        }
                        printf("客户端[%d]发来消息[%s]..\n", i, buf);
                        strcat(buf, "--夜猫徐");      //组装应答
                        if (send(i, buf, N, 0) == -1) //发送给客户端
                        {
                            ERRLOG("send error");
                        }
                    }
                }
            }
        }
    }
    close(sockfd);
    return 0;
}

八、客户端源代码

#include <stdio.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <stdlib.h>
#include <netinet/in.h>
#include <netinet/ip.h>
#include <string.h>
#include <arpa/inet.h>
#include <unistd.h>

#define ERRLOG(msg) do{\
        printf("%s %s %d:", __FILE__, __func__, __LINE__);\
        perror(msg);\
        exit(-1);\
}while(0)

#define N 128

int main(int argc, const char *argv[]){
    //入参合理性检查
    if(3 != argc){
        printf("Usage : %s <IP> <PORT>\n", argv[0]);
        return -1;
    }

    //1.创建套接字
    int sockfd = socket(AF_INET, SOCK_STREAM, 0);
    if(-1 == sockfd){
        ERRLOG("socket error");
    }

    //2.填充服务器网络信息结构体
    struct sockaddr_in serveraddr;
    memset(&serveraddr, 0, sizeof(serveraddr));
    serveraddr.sin_family = AF_INET;
    serveraddr.sin_port = htons(atoi(argv[2]));
    serveraddr.sin_addr.s_addr = inet_addr(argv[1]);

    socklen_t serveraddr_len = sizeof(serveraddr);

    char buff[128] = {0};
    int nbytes = 0;

    //3.尝试与服务器建立连接
    if(-1 == connect(sockfd, (struct sockaddr *)&serveraddr, serveraddr_len)){
        ERRLOG("connect error");
    }
    printf("与服务器建立连接成功..\n");
    while(1){
        memset(buff, 0, sizeof(buff));
        fgets(buff, N, stdin);
        buff[strlen(buff)-1] = '\0';//清理结尾的\n

        //发送数据
        if(-1 == send(sockfd, buff, sizeof(buff), 0)){
            ERRLOG("send error");
        }
        //接收服务器的应答信息
        if(-1 == (nbytes = recv(sockfd, buff, sizeof(buff), 0))){
            ERRLOG("recv error");
        }
        if(0 == nbytes){
            break;
        }
        //输出应答信息
        printf("应答为:[%s]\n", buff);
    }
    //关闭套接字
    close(sockfd);

    return 0;
}

有关【Linux网络编程】TCP并发服务器的实现(IO多路复用select)的更多相关文章

  1. ruby - 具有身份验证的私有(private) Ruby Gem 服务器 - 2

    我想安装一个带有一些身份验证的私有(private)Rubygem服务器。我希望能够使用公共(public)Ubuntu服务器托管内部gem。我读到了http://docs.rubygems.org/read/chapter/18.但是那个没有身份验证-如我所见。然后我读到了https://github.com/cwninja/geminabox.但是当我使用基本身份验证(他们在他们的Wiki中有)时,它会提示从我的服务器获取源。所以。如何制作带有身份验证的私有(private)Rubygem服务器?这是不可能的吗?谢谢。编辑:Geminabox问题。我尝试“捆绑”以安装新的gem..

  2. ruby-on-rails - 启动 Rails 服务器时 ImageMagick 的警告 - 2

    最近,当我启动我的Rails服务器时,我收到了一长串警告。虽然它不影响我的应用程序,但我想知道如何解决这些警告。我的估计是imagemagick以某种方式被调用了两次?当我在警告前后检查我的git日志时。我想知道如何解决这个问题。-bcrypt-ruby(3.1.2)-better_errors(1.0.1)+bcrypt(3.1.7)+bcrypt-ruby(3.1.5)-bcrypt(>=3.1.3)+better_errors(1.1.0)bcrypt和imagemagick有关系吗?/Users/rbchris/.rbenv/versions/2.0.0-p247/lib/ru

  3. ruby-on-rails - rspec should have_select ('cars' , :options => ['volvo' , 'saab' ] 不工作 - 2

    关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗?通过editingthispost添加细节并澄清问题.关闭8年前。Improvethisquestion在首页我有:汽车:VolvoSaabMercedesAudistatic_pages_spec.rb中的测试代码:it"shouldhavetherightselect"dovisithome_pathit{shouldhave_select('cars',:options=>['volvo','saab','mercedes','audi'])}end响应是rspec./spec/request

  4. ruby-on-rails - s3_direct_upload 在生产服务器中不工作 - 2

    在Rails4.0.2中,我使用s3_direct_upload和aws-sdkgems直接为s3存储桶上传文件。在开发环境中它工作正常,但在生产环境中它会抛出如下错误,ActionView::Template::Error(noimplicitconversionofnilintoString)在View中,create_cv_url,:id=>"s3_uploader",:key=>"cv_uploads/{unique_id}/${filename}",:key_starts_with=>"cv_uploads/",:callback_param=>"cv[direct_uplo

  5. ruby - 如何验证 IO.copy_stream 是否成功 - 2

    这里有一个很好的答案解释了如何在Ruby中下载文件而不将其加载到内存中:https://stackoverflow.com/a/29743394/4852737require'open-uri'download=open('http://example.com/image.png')IO.copy_stream(download,'~/image.png')我如何验证下载文件的IO.copy_stream调用是否真的成功——这意味着下载的文件与我打算下载的文件完全相同,而不是下载一半的损坏文件?documentation说IO.copy_stream返回它复制的字节数,但是当我还没有下

  6. ruby - 寻找通过阅读代码确定编程语言的ruby gem? - 2

    几个月前,我读了一篇关于ruby​​gem的博客文章,它可以通过阅读代码本身来确定编程语言。对于我的生活,我不记得博客或gem的名称。谷歌搜索“ruby编程语言猜测”及其变体也无济于事。有人碰巧知道相关gem的名称吗? 最佳答案 是这个吗:http://github.com/chrislo/sourceclassifier/tree/master 关于ruby-寻找通过阅读代码确定编程语言的rubygem?,我们在StackOverflow上找到一个类似的问题:

  7. Ruby 文件 IO 定界符? - 2

    我正在尝试解析一个文本文件,该文件每行包含可变数量的单词和数字,如下所示:foo4.500bar3.001.33foobar如何读取由空格而不是换行符分隔的文件?有什么方法可以设置File("file.txt").foreach方法以使用空格而不是换行符作为分隔符? 最佳答案 接受的答案将slurp文件,这可能是大文本文件的问题。更好的解决方案是IO.foreach.它是惯用的,将按字符流式传输文件:File.foreach(filename,""){|string|putsstring}包含“thisisanexample”结果的

  8. ruby - 用 Ruby 编写一个简单的网络服务器 - 2

    我想在Ruby中创建一个用于开发目的的极其简单的Web服务器(不,不想使用现成的解决方案)。代码如下:#!/usr/bin/rubyrequire'socket'server=TCPServer.new('127.0.0.1',8080)whileconnection=server.acceptheaders=[]length=0whileline=connection.getsheaders想法是从命令行运行这个脚本,提供另一个脚本,它将在其标准输入上获取请求,并在其标准输出上返回完整的响应。到目前为止一切顺利,但事实证明这真的很脆弱,因为它在第二个请求上中断并出现错误:/usr/b

  9. ruby-on-rails - 在 Rails 中调试生产服务器 - 2

    您如何在Rails中的实时服务器上进行有效调试,无论是在测试版/生产服务器上?我试过直接在服务器上修改文件,然后重启应用,但是修改好像没有生效,或者需要很长时间(缓存?)我也试过在本地做“脚本/服务器生产”,但是那很慢另一种选择是编码和部署,但效率很低。有人对他们如何有效地做到这一点有任何见解吗? 最佳答案 我会回答你的问题,即使我不同意这种热修补服务器代码的方式:)首先,你真的确定你已经重启了服务器吗?您可以通过跟踪日志文件来检查它。您更改的代码显示的View可能会被缓存。缓存页面位于tmp/cache文件夹下。您可以尝试手动删除

  10. Get https://registry-1.docker.io/v2/: net/http: request canceled while waiting - 2

    1.错误信息:Errorresponsefromdaemon:Gethttps://registry-1.docker.io/v2/:net/http:requestcanceledwhilewaitingforconnection(Client.Timeoutexceededwhileawaitingheaders)或者:Errorresponsefromdaemon:Gethttps://registry-1.docker.io/v2/:net/http:TLShandshaketimeout2.报错原因:docker使用的镜像网址默认为国外,下载容易超时,需要修改成国内镜像地址(首先阿里

随机推荐