- linux网络I/O模型(对于操作系统而言,底层支持异步I/O通信)
- linux的内核将所有外部设备都看作一个文件来操作,对文件的读写操作会调用内核提供的系统命令,返回一个file descriptor(fd,文件描述符)。而对一个socket的读写也会有相应的描述符,成为socketfd(socket描述符),描述符就是一个数字,它只想内核中的一个结构体(文件路径,数据区等一个些属性)
- 根据UNIX网络编程对I/O模型的分类,UNIX提供了5中I/O模型
- 阻塞I/O模型:缺省情形下,所有文件的操作都是阻塞的。以套接字接口为例:在进程空间中调用recvfrom,其系统调用直到数据包到达且被复制到应用进程的缓冲区中或者发生错误时才返回,在此期间一直会等待,进程在从调用recvfrom开始到它返回的争端时间内都是被阻塞的
- 非阻塞I/O模型:recvfrom从应用层到内核的时候,如果该缓冲区没有数据的话,就直接返回一个EWOULDBLIOCK错误,一般都对非阻塞I/O模型进行轮询检查这个状态,看内核是不是又数据到来
- I/O复用模型:linux提供select/poll,进程通过将一个或多个fd传递给select或epoll系统调用,阻塞在select操作上,这样select/poll可以检测到多个fd是否处于就绪状态,select/poll是顺序扫描fd是否就绪,而且支持的fd数量有限。linux还提供了一个epoll系统调用,epoll使用基于时间驱动方式代替顺序扫描,性能更高。当有fd就绪是,就立即回调函数rollback
- 信号驱动I/O模型:首先开启套接扣信号驱动I/O功能,并通过系统调用sigaction执行一个信号处理函数(此系统调用立即返回,进程继续工作,非阻塞)。当数据准备就绪时,就为该进程生成一个SIGIO信号,通过信号回调通知应用程序调用recvfrom来读取数据,并通知主循环函数处理数据。
- 异步I/O:告知内核启动某个操作,并让内核在整个操作完成后(包括将数据从内核复制到用户自己的缓冲区)通知调用者,与信号驱动模型的主要区别是:信号驱动I/O有内核通知我们什么时候开始I/O操作,而异步I/O模型这由内核通知我们I/O操作何时完成
- I/O多路复用技术
- 通过把多个I/O的阻塞复用到同一个select的阻塞上,从而使得系统在单线程的情况下可以同时处理多个客户端需求,与传统的多线程/多进程模型相比,I/O多路复用的最大优势是系统开销小,系统不需要创建新的额外进程或者线程。也不需要维护这些进程和线程的运行,降低了系统的苇湖梁,节省系统资源
- I/O复用的主要应用场景:服务器需要同时处理多个处于监听状态或者多个连接状态的套接字,多种网络协议的套接字
- 目前支持I/O多路复用的系统调用有select,pselect,poll,epoll,epoll新特性
- 支持一个进程的socket描述符(FD)不受限制(仅受限于操作系统的最大文件句柄数):select最大的缺陷是单个进程所打开的FD是有一定限制的,它由FD_SETSIZE设置,默认1024。可以选择修改这个宏然后重新编译内核,但这回带来网络效率的下降。也可以选择多进程的方案(Apache),但创建进程需要付出一定代价,而且进程之间的数据交换非常麻烦。对于没有共享内存的java,需要通过socket通信或者其它方式进行数据同步,带来额外的性能消耗,增加了程序复杂度。1GB内存的机器上大约10万个句柄左右
- I/O效率不会随着FD数目的增加而线性下降:传统的select/poll另一个致命弱点就是当你拥有一个很大的socket集合,由于网络延时或者链路空闲,在任一时刻只有少部分的socket是"活跃"的,但是select/poll每次调用都会现行扫描全部的集合,导致效率呈现线性下降。而内核实现中epoll是根据每个fd上面的callback函数实现的,只有活跃的socket才会主动调用callback函数,其它的idle状态socket则不会。epoll实现了一个伪AIO
- 使用mmap加速内核与用户空间的消息传递:无论select,poll还是epoll都需要内核把FD消息通知给用户空间,如何避免不必要的内存复制就显得非常重要,epoll是通过内核和用户控件mmap同一块内存实现
- NIO入门
- 传统的同步阻塞BIO编程:采用BIO通信模型的服务端,通常由一个独立的Acceptor线程负责监听客户端的连接,它接收到客户端连接请求之后未每个客户端创建一个新的线程进行链路处理,处理完成之后,通过输出流返回应答给客户端,线程销毁(典型的已请求一应答通信模型)。该模型最大的问题是当客户端并发访问量增加后,服务端的线程个数和客户端并发访问数成1:1正比关系,并发量很大是,系统会发生线程堆栈溢出、创建新线程失败等问题,导致进程宕机或僵死,不能对外提供服务。
大约 168 分钟