`
kofsky
  • 浏览: 195766 次
  • 性别: Icon_minigender_1
  • 来自: 重庆
社区版块
存档分类
最新评论

Select()系统调用及文件描述符集fd_set的应用

阅读更多

【 原文由 张 卿 所发表 】 
在网络程序中,一个进程同时处理多个文件描述符是很常见的情况。select()系统调用可以使进程检测同时等待的多个I/O设备,当没有设备准备好时,select()阻塞,其中任一设备准备好时,select()就返回。
select()的调用形式为:
#include <sys/select.h>
#include <sys/time.h>
int select(int maxfd, fd_set *readfds, fd_set *writefds, fe_set *exceptfds, const struct timeval *timeout);
select的第一个参数是文件描述符集中要被检测的比特数,这个值必须至少比待检测的最大文件描述符大1;参数readfds指定了被读监控的文件描述符集;参数writefds指定了被写监控的文件描述符集;而参数exceptfds指定了被例外条件监控的文件描述符集。
参数timeout起了定时器的作用:到了指定的时间,无论是否有设备准备好,都返回调用。timeval的结构定义如下:
struct timeval{
long tv_sec; //表示几秒
long tv_usec; //表示几微妙
}
timeout取不同的值,该调用就表现不同的性质:
1.timeout为0,调用立即返回;
2.timeout为NULL,select()调用就阻塞,直到知道有文件描述符就绪;
3.timeout为正整数,就是一般的定时器。
select调用返回时,除了那些已经就绪的描述符外,select将清除readfds、writefds和exceptfds中的所有没有就绪的描述符。select的返回值有如下情况:
1.正常情况下返回就绪的文件描述符个数;
2.经过了timeout时长后仍无设备准备好,返回值为0;
3.如果select被某个信号中断,它将返回-1并设置errno为EINTR。
4.如果出错,返回-1并设置相应的errno。
系统提供了4个宏对描述符集进行操作:
#include <sys/select.h>
#include <sys/time.h>
void FD_SET(int fd, fd_set *fdset);
void FD_CLR(int fd, fd_set *fdset);
void FD_ISSET(int fd, fd_set *fdset);
void FD_ZERO(fd_set *fdset);
宏FD_SET设置文件描述符集fdset中对应于文件描述符fd的位(设置为1),宏FD_CLR清除文件描述符集fdset中对应于文件描述符fd的位(设置为0),宏FD_ZERO清除文件描述符集fdset中的所有位(既把所有位都设置为0)。使用这3个宏在调用select前设置描述符屏蔽位,在调用select后使用FD_ISSET来检测文件描述符集fdset中对应于文件描述符fd的位是否被设置。
过去,描述符集被作为一个整数位屏蔽码得到实现,但是这种实现对于多于32个的文件描述符将无法工作。描述符集现在通常用整数数组中的位域表示,数组元素的每一位对应一个文件描述符。例如,一个整数占32位,那么整数数组的第一个元素代表文件描述符0到31,数组的第二个元素代表文件描述符32到63,以此类推。宏FD_SET设置整数数组中对应于fd文件描述符的位为1,宏FD_CLR设置整数数组中对应于fd文件描述符的位为0,宏FD_ZERO设置整数数组中的所有位都为0。假设执行如下程序后:
#include <sys/select.h>
#include <sys/time.h>
fd_set readset;
FD_ZERO(&readset);
FD_SET(5, &readset);
FD_SET(33, &readset);
则文件描述符集readset中对应于文件描述符6和33的相应位被置为1,如图1所示:

再执行如下程序后:
FD_CLR(5, &readset);
则文件描述符集readset对应于文件描述符6的相应位被置为0,如图2所示:

通常,操作系统通过宏FD_SETSIZE来声明在一个进程中select所能操作的文件描述符的最大数目。例如:
在4.4BSD的头文件中我们可以看到:
#ifndef FD_SETSIZE
#define FD_SETSIZE 1024
#endif
在红帽Linux的头文件<bits/types.h>中我们可以看到:
#define __FD_SETSIZE 1024
以及在头文件<sys/select.h>中我们可以看到:
#include <bits/types.h>
#define FD_SETSIZE __FD_SETSIZE
既定义FD_SETSIZE为1024,一个整数占4个字节,既32位,那么就是用包含32个元素的整数数组来表示文件描述符集。我们可以在头文件中修改这个值来改变select使用的文件描述符集的大小,但是必须重新编译内核才能使修改后的值有效。当前版本的unix操作系统没有限制FD_SETSIZE的最大值,通常只受内存以及系统管理上的限制。
我们明白了文件描述符集的实现机制之后,就可对其进行灵活运用。(以下程序在红帽Linux 6.0下运行通过,函数fd_isempty用于判断文件描述符集是否为空;函数fd_fetch取出文件描述符集中的所有文件描述符)
#include <stdio.h>
#include <string.h>
#include <sys/time.h>
#include <sys/select.h>
struct my_fd_set{
fd_set fs; //定义文件描述符集fs
unsigned int nconnect; //文件描述符集fs中文件描述符的个数
unsigned int nmaxfd; //文件描述符集fs中最大的文件描述符
};
/* 函数fd_isempty用于判断文件描述符集是否为空,为空返回1,不为空则返回0 */
int fd_isempty(struct my_fd_set *pfs)
{
int i;
/* 文件描述符集fd_set是通过整数数组来实现的,所以定义整数数组myset的元素个数为文件描述符集fd_set所占内存空间的字节数除以整数所占内存空间的字节数。
*/
unsigned int myset[sizeof(fd_set) / sizeof(int)];
/* 把文件描述符集pfs->fs 拷贝到数组myset */
memcpy(myset, &pfs->fs, sizeof(fd_set));
for(i = 0; i < sizeof(fd_set) / sizeof(int); i++)
/* 如果myset的某个元素不为0,说明文件描述符集不为空,则函数返回0 */
if (myset[i])
return 0;
return 1; /* 如果myset的所有元素都为0,说明文件描述符集为空,则函数返回1 */
}
/* 函数fd_fetch对文件描述符集进行位操作,把为1的位换算成相应的文件描述符,然后就可对其进行I/O操作 */
void fd_fetch(struct my_fd_set *pfs)
{
struct my_fd_set *tempset; //定义一个临时的结构指针
unsigned int myset[sizeof(fd_set)/sizeof(unsigned int)];
unsigned int i, nbit, nfind, ntemp;
tempset = pfs;
memcpy(myset, &tempset->fs, sizeof(fd_set));
/* 把最大的文件描述符maxfd除以整数所占的位数,得出maxfd在文件描述符集中相应的位对应于整数数组myset的相应元素的下标,目的是为了减少检索的次数 */
nfind = tempset->nmaxfd / (sizeof(int)*8);
for (i = 0; i <= nfind; i++) {
/* 如果数组myset的某个元素为0,说明这个元素所对应的文件描述符集的32位全为0,则继续判断下一元素。*/
if (myset[i] == 0) continue;
/* 如果数组myset的某个元素不为0,说明这个元素所对应的文件描述符集的32位中有为1的,把myset[i]赋值给临时变量ntemp,对ntemp进行位运算,把为1的位换算成相应的文件描述符 */
ntemp = myset[i];
/* nbit记录整数的二进制位数,对ntemp从低到高位进行&1运算,直到整数的最高位,或直到文件描述符集中文件描述符的个数等于0 */
for (nbit = 0; tempset->nconnect && (nbit < sizeof(int)*8); nbit++) {
if (ntemp & 1) {
/* 如果某位为1,则可得到对应的文件描述符为nbit + 32*I,然后我们可对其进行I/O操作。这里我只是做了简单的显示。*/
printf("i = %d, nbit = %d, The file description is %d ", i, nbit, nbit + 32*i);
/* 取出一个文件描述符后,将文件描述符集中文件描述符的个数减1 */
tempset->nconnect--; }
ntemp >>= 1; // ntemp右移一位
}
}
}

/* 下面的主程序是对以上两个函数的测试 */
main()
{
/* 假设fd1,fd2,fd3为3个文件描述符,实际运用中可为Socket描述符等 */
int fd1 = 7, fd2 = 256, fd3 = 1023, isempty;
struct my_fd_set connect_set;
connect_set.nconnect = 0;
connect_set.nmaxfd = 0;
FD_ZERO(&connect_set.fs);
/* FD_SET操作前对函数fd_isempty进行测试 */
isempty = fd_isempty(&connect_set);
printf("isempty = %d ", isempty);
FD_SET(fd1, &connect_set.fs);
FD_SET(fd2, &connect_set.fs);
FD_SET(fd3, &connect_set.fs);
connect_set.nconnect = 3;
connect_set.nmaxfd = fd3 ;
/* FD_SET操作后,既把文件描述符加入到文件描述符集之后,对函数fd_isempty进行测试 */
isempty = fd_isempty(&connect_set);
printf("isempty = %d ", isempty);
/* 对函数fd_ fetch进行测试 */
fd_fetch(&connect_set);
}

/* 程序输出结果为 :*/
isempty is 1
isempty is 0
i = 0, nbit = 7, The file description is 7
i = 8, nbit = 0, The file description is 256
i = 31, nbit = 31, The file description is 1023

 

 

【 原文由 cpu 所发表 】 
 
用过 WinSock API 网友们知道:WinSock 编程中有一很方便的地方便是其消息驱动机制,不管是底层 API 的 WSAAsyncSelect() 还是 MFC 的异步Socket类:  CAsyncSocket,都提供了诸如 FD_ACCEPT、FD_READ、FD_CLOSE 之类的消息 供编程人员捕捉并处理。FD_ACCEPT 通知进程有客户方Socket请求连接,FD_READ通知进程本地Socket有东东可读,FD_CLOSE通知进程对方Socket已关闭。那么,BSD Socket 是不是真的相形见拙呢? 
 
非也! 'cause cpu love unix so. 
 
BSD UNIX中有一系统调用芳名select()完全可以提供类似的消息驱动机制。  cpu郑重宣布:WinSock的WSAAsyncSeclet()不过是此select()的fork版!  bill也是fork出来的嘛,xixi. 
 
select()的机制中提供一fd_set的数据结构,实际上是一long类型的数组,  每一个数组元素都能与一打开的文件句柄(不管是Socket句柄,还是其他  文件或命名管道或设备句柄)建立联系,建立联系的工作由程序员完成, 当调用select()时,由内核根据IO状态修改fd_set的内容,由此来通知执  行了select()的进程哪一Socket或文件可读,下面具体解释: 
 
#include  <sys/types.h> 
#include  <sys/times.h> 
#include  <sys/select.h> 
 
int select(nfds, readfds, writefds, exceptfds, timeout) 
int nfds; 
fd_set *readfds, *writefds, *exceptfds; 
struct timeval *timeout; 
 
ndfs:select监视的文件句柄数,视进程中打开的文件数而定,一般设为呢要监视各文件中的最大文件号加一。 
readfds:select监视的可读文件句柄集合。 
writefds: select监视的可写文件句柄集合。 
exceptfds:select监视的异常文件句柄集合。 
timeout:本次select()的超时结束时间。(见/usr/sys/select.h, 可精确至百万分之一秒!) 
 
当readfds或writefds中映象的文件可读或可写或超时,本次select() 就结束返回。程序员利用一组系统提供的宏在select()结束时便可判 断哪一文件可读或可写。对Socket编程特别有用的就是readfds。 
几只相关的宏解释如下:  
FD_ZERO(fd_set *fdset):清空fdset与所有文件句柄的联系。 
FD_SET(int fd, fd_set *fdset):建立文件句柄fd与fdset的联系。 
FD_CLR(int fd, fd_set *fdset):清除文件句柄fd与fdset的联系。 
FD_ISSET(int fd, fdset *fdset):检查fdset联系的文件句柄fd是否可读写,>0表示可读写。 
(关于fd_set及相关宏的定义见/usr/include/sys/types.h) 
 
这样,你的socket只需在有东东读的时候才读入,大致如下: 
 
... 
int     sockfd; 
fd_set  fdR; 
struct  timeval timeout = ..; 
... 
for(;;) { 
        FD_ZERO(&fdR); 
        FD_SET(sockfd, &fdR); 
        switch (select(sockfd + 1, &fdR, NULL, &timeout)) { 
                case -1: 
                        error handled by u; 
                case 0: 
                        timeout hanled by u; 
                default: 
                        if (FD_ISSET(sockfd)) { 
                                now u read or recv something; 
                                /* if sockfd is father and  
                                server socket, u can now 
                                accept() */ 
                        } 
        } 

 
所以一个FD_ISSET(sockfd)就相当通知了sockfd可读。  至于struct timeval在此的功能,请man select。不同的timeval设置 使使select()表现出超时结束、无超时阻塞和轮询三种特性。由于timeval可精确至百万分之一秒,所以Windows的SetTimer()根本不算什么。你可以用select()做一个超级时钟。 
 
FD_ACCEPT的实现?依然如上,因为客户方socket请求连接时,会发送连接请求报文,此时select()当然会结束,FD_ISSET(sockfd)当然大于零,因为有报文可读嘛!至于这方面的应用,主要在于服务方的父Socket,你若不喜欢主动accept(),可改为如上机制来accept()。 
 
至于FD_CLOSE的实现及处理,颇费了一堆cpu处理时间,未完待续。 
 
-- 
讨论关于利用select()检测对方Socket关闭的问题: 
 
仍然是本地Socket有东东可读,因为对方Socket关闭时,会发一个关闭连接通知报文,会马上被select()检测到的。关于TCP的连接(三次握手)和关闭(二次握手)机制,敬请参考有关TCP/IP的书籍。 
 
不知是什么原因,UNIX好象没有提供通知进程关于Socket或Pipe对方关闭的信号,也可能是cpu所知有限。总之,当对方关闭,一执行recv()或read(),马上回返回-1,此时全局变量errno的值是115,相应的sys_errlist[errno] 
为"Connect refused"(请参考/usr/include/sys/errno.h)。所以,在上篇的for(;;)...select()程序块中,当有东西可读时,一定要检查recv()或read()的返回值,返回-1时要作出关断本地Socket的处理,否则select()会一直认为有东西读,其结果曾几令cpu伤心欲断针脚。不信你可以试试:不检查recv()返回结果,且将收到的东东(实际没收到)写至标准输出...  在有名管道的编程中也有类似问题出现。具体处理详见拙作:发布一个有用 的Socket客户方原码。 
 
至于主动写Socket时对方突然关闭的处理则可以简单地捕捉信号SIGPIPE并作  出相应关断本地Socket等等的处理。SIGPIPE的解释是:写入无读者方的管道。  在此不作赘述,请详man signal。 
 
以上是cpu在作tcp/ip数据传输实验积累的经验,若有错漏,请狂炮击之。 
 
唉,昨天在hacker区被一帮孙子轰得差点儿没短路。ren cpu(奔腾的心) z80 补充关于select在异步(非阻塞)connect中的应用,刚开始搞socket编程的时候 我一直都用阻塞式的connect,非阻塞connect的问题是由于当时搞proxy scan 
而提出的呵呵 
通过在网上与网友们的交流及查找相关FAQ,总算知道了怎么解决这一问题.同样 用select可以很好地解决这一问题.大致过程是这样的: 
 
1.将打开的socket设为非阻塞的,可以用fcntl(socket, F_SETFL, O_NDELAY)完成(有的系统用FNEDLAY也可). 
 
2.发connect调用,这时返回-1,但是errno被设为EINPROGRESS,意即connect仍旧在进行还没有完成. 
 
3.将打开的socket设进被监视的可写(注意不是可读)文件集合用select进行监视,  如果可写,用 
        getsockopt(socket, SOL_SOCKET, SO_ERROR, &error, sizeof(int)); 
来得到error的值,如果为零,则connect成功. 
 
在许多unix版本的proxyscan程序你都可以看到类似的过程,另外在solaris精华区->编程技巧中有一个通用的带超时参数的connect模块. 

分享到:
评论

相关推荐

    Select()系统调用及 文件描述符集fd_set的应用.rar_fd_set_select fd_select sock

    Select()系统调用及 文件描述符集fd_set的应用.rar

    基于select的Linux串口485读写,文件描述符 fd_set

    基于linux ,使用select检测串口句柄事件,同时进行超时判断的串口485读写操作。为高效可控的linux串口操作例程。tcsetattr,tcflush,select,ioctl,gettimeofday。485收发方向切换。

    FD_SET Select函数使用

    关于Select函数的使用,其中便于含有常用的宏,在网络编程中使用到。

    linux 下socket通信中select的用法实例

    fd_set集合可以通过一些宏由人为来操作,比如清空集合FD_ZERO(fd_set *),将一个给定的文件描述符加入集合之中FD_SET(int ,fd_set *),将一个给定的文件描述符从集合中删除FD_CLR(int ,fd_set*),检查集合中指定的...

    UDP客户端 代码 多用户连接

    int select(int maxfdp1,fd_set *readset,fd_set *writeset,fd_set *except,const struct timeval *timeout); 功能:能够同时对多路IO就绪状态进行检测 参数: maxfdp1:等待最大描述符加1; readset:要检查读描述符...

    易语言Socket编程之Select模型

    易语言Socket编程之Select模型源码,Socket编程之Select模型,CreateSocket,FD_CLR,FD_ISSET,FD_SET,FD_ZERO,ThreadAcceptProc,ThreadProc,GetClientInfo,htonl,ntohl,ntohs,htons,WSAStartup,WSACleanup,closesocket,...

    进程间传递文件描述符代码

    recv进程接收fd后,执行select监听,直到接收到554端口的RTSP请求消息。 使用方法: gcc -o send fd_send.c gcc -o recv fd_recv.c 打开2个终端窗口, 先执行./recv,再执行./send 打开vlc,打开网络串流:rtsp://...

    fd:Swift文件描述符套接字库

    fd是基础系统文件描述符和套接字API之上的最小层。 用法 FileDescriptor FileDescriptor是包含单个属性(fileNumber)的协议。 protocol FileDescriptor { var fileNumber: FileNumber { get } } File...

    select poll epoll

    select poll epoll 原理介绍

    EPOLL模型:关于并发连接的处理

     首先,在Linux内核中,select所用到的FD_SET是有限的,即内核中有个参数__FD_SETSIZE定义了每个FD_SET的句柄个数,在我用的2.6.15-25-386内核中,该值是1024,搜索内核源代码得到: include/linux/posix_types.h: ...

    linux使用select实现精确定时器详解

    参数说明:slect的第一个参数nfds为fdset集合中最大描述符值加1,fdset是一个位数组,其大小限制为__FD_SETSIZE(1024),位数组的每一位代表其对应的描述符是否需要被检查。select的第二三四个参数表示需要关注读、...

    epoll实现HTTP服务器.rar

    # 循环第一次,如果 文件描述符 是tcp_socket的,就进行侦听分离new_socket if fd == tcp_socket.fileno(): # 等待客户端到来 new_socket, user_addr = tcp_socket.accept() # 把 new_socket 加入创建的...

    ABAQUS中Fortran子程序的调用.rar_ABAQUS_abaqus .for 文件_abaqus 中select_f

    abaqus学习中For子文件的应用,在Job模块里,创建工作,在Edit?Job对话框中选择General选项卡,在User subroutine?file中点击Select按钮,从弹出对话框中选择你要调用的子程序文件(后缀为.for或.f)

    Linux系统下fd分配的方法

    我告诉他们现在无论在Linux系统下,还是windows系统下,select都应该被废弃不用了,其原因是在两个平台上select的系统调用都有一个可以说是致命的坑。  在windows上面单个fd_set中容纳的socket handle个数不能超过...

    mysql中find_in_set()函数的使用详解

    首先举个例子来说: 有个文章表里面有个type字段...select * from article where FIND_IN_SET('4',type) ———————————————————- MySQL手册中find_in_set函数的语法: FIND_IN_SET(str,strlist) str

    linux中select系统调用文.pdf

    linux中select系统调用文.pdf

    mysql通过find_in_set()函数实现where in()顺序排序

    本文章来为各位介绍一篇关于mysql 实现按 where in () 中的顺序排序,用find_in_set() 函数的教程,希望此教程能够对各位有所帮助。 select * from table where id in ('783',' 769',' 814',' 1577',' 1769') ...

    socket_select demo

    socket_select demosocket_select demosocket_select demosocket_select demosocket_select demosocket_select demosocket_select demosocket_select demosocket_select demosocket_select demosocket_select demo...

    Oracle性能分析——使用set_autotrace_on和set_timing_on来分析select语句的性能.doc

    Oracle性能分析——使用set_autotrace_on和set_timing_on来分析select语句的性能.doc

    windows下socket多路复用

    windows下socket多路复用,select FD_SET FD_ZERO FD_ISSET FD_CLR等函数的用法,包含客户端和服务器端代码,开发环境vs2008

Global site tag (gtag.js) - Google Analytics