Netty
version: 4.1.55.Final
傳統的IO模型的web容器,比如老版本的Tomcat,為了增加系統的吞吐量,需要不斷增加系統核心線程數量,或者通過水平擴展服務器數量,來增加系統處理請求的能力。 有了NIO之后,一個線程即可處理多個連接事件,基于多路復用模型的Netty框架,不僅降低了使用NIO的復雜度,
優點
Netty是一款以java NIO為基礎,基于事件驅動模型支持異步、高并發的網絡應用框架
- API使用簡單,開發門檻低,簡化了NIO開發網絡程序的復雜度
- 功能強大,預置多種編解碼功能,支持多種主流協議,比如Http、WebSocket。
- 定制能力強,可以通過ChannelHandler對通信框架靈活擴展。
- 性能高,支持異步非阻塞通信模型
- 成熟穩定,社區活躍,已經修復了Java NIO所有的Bug。
- 經歷了大規模商業應用的考驗,質量有保證。
IO模型
select、poll和epoll
操作系統內核基于這些函數實現非阻塞IO,以此實現多路復用模型
- select
select
- select 調用需要傳入 fd 數組,需要拷貝一份到內核,高并發場景下這樣的拷貝消耗的資源是驚人的。(可優化為不復制)
- select 在內核層仍然是通過遍歷的方式檢查文件描述符的就緒狀態,是個同步過程,只不過無系統調用切換上下文的開銷。(內核層可優化為異步事件通知)
- select 僅僅返回可讀文件描述符的個數,具體哪個可讀還是要用戶自己遍歷。(可優化為只返回給用戶就緒的文件描述符,無需用戶做無效的遍歷)
- pool
和 select 的主要區別就是,去掉了 select 只能監聽 1024 個文件描述符的限制
- epool
epool
- 內核中保存一份文件描述符集合,無需用戶每次都重新傳入,只需告訴內核修改的部分即可。
- 內核不再通過輪詢的方式找到就緒的文件描述符,而是通過異步 IO 事件喚醒。
- 內核僅會將有 IO 事件的文件描述符返回給用戶,用戶也無需遍歷整個文件描述符集合。
Reactor模型
一、單Reactor單線程 1)可以實現通過一個阻塞對象監聽多個鏈接請求
2)Reactor對象通過select監聽客戶端請求事件,通過dispatch進行分發
3)如果是建立鏈接請求,則由Acceptor通過accept處理鏈接請求,然后創建一個Handler對象處理完成鏈接后的各種事件
4)如果不是鏈接請求,則由Reactor分發調用鏈接對應的Handler來處理
5)Handler會完成Read->業務處理->send的完整業務流程
reactor
二、單Reactor多線程 1)Reactor對象通過select監聽客戶端請求事件,收到事件后,通過dispatch分發
2)如果是建立鏈接請求,則由Acceptor通過accept處理鏈接請求,然后創建一個Handler對象處理完成鏈接后的各種事件
3)如果不是鏈接請求,則由Reactor分發調用鏈接對應的Handler來處理
4)Handler只負責事件響應不做具體業務處理
5)通過read讀取數據后,分發到worker線程池處理,處理完成后返回給Handler,Handler收到后,通過send將結果返回給client
reactor
三、主從Reactor多線程 1)Reactor主線程MainReactor對象通過select監聽鏈接事件,通過Acceptor處理
2)當Acceptor處理鏈接事件后,MainReactor將鏈接分配給SubReactor
3)SubReactor將鏈接加入到隊列進行監聽,并創建Handler進行事件處理
4)當有新事件發生時,SubReactor就會調用對應的Handler處理
5)Handler通過read讀取數據,分發到worker線程池處理,處理完成后返回給Handler,Handler收到后,通過send將結果返回給client
6)Reactor主線程可以對應多個Reactor子線程
reactor
三種模式用生活案例來理解 1)單Reactor單線程,前臺接待員和服務員是同一個人,全程為顧客服務
2)單Reactor多線程,1個前臺接待員,多個服務員,接待員只負責接待
3)主從Reactor多線程,多個前臺接待員,多個服務員
Reactor模型具有如下優點 1)響應快,不必為單個同步事件所阻塞,雖然Reactor本身依然是同步的
2)可以最大程度的避免復雜的多線程及同步問題,并且避免了多線程/進程的切換開銷
3)擴展性好,可以方便的通過增加Reactor實例個數來充分利用CPU資源
4)復用性好,Reactor模型本身與具體事件處理邏輯無關,具有很高的復用性
核心組件
1.Bootstrap 一個Netty應用通常由一個Bootstrap開始,它主要作用是配置整個Netty程序,串聯起各個組件。
Handler,為了支持各種協議和處理數據的方式,便誕生了Handler組件。Handler主要用來處理各種事件,這里的事件很廣泛,比如可以是連接、數據接收、異常、數據轉換等。
2.ChannelInboundHandler 一個最常用的Handler。這個Handler的作用就是處理接收到數據時的事件,也就是說,我們的業務邏輯一般就是寫在這個Handler里面的,ChannelInboundHandler就是用來處理我們的核心業務邏輯。
3.ChannelInitializer 當一個鏈接建立時,我們需要知道怎么來接收或者發送數據,當然,我們有各種各樣的Handler實現來處理它,那么ChannelInitializer便是用來配置這些Handler,它會提供一個ChannelPipeline,并把Handler加入到ChannelPipeline。
4.ChannelPipeline 一個Netty應用基于ChannelPipeline機制,這種機制需要依賴于EventLoop和EventLoopGroup,因為它們三個都和事件或者事件處理相關。
EventLoops的目的是為Channel處理IO操作,一個EventLoop可以為多個Channel服務。
EventLoopGroup會包含多個EventLoop。
5.Channel 代表了一個Socket鏈接,或者其它和IO操作相關的組件,它和EventLoop一起用來參與IO處理。
6.Future 在Netty中所有的IO操作都是異步的,因此,你不能立刻得知消息是否被正確處理,但是我們可以過一會等它執行完成或者直接注冊一個監聽,具體的實現就是通過Future和ChannelFutures,他們可以注冊一個監聽,當操作執行成功或失敗時監聽會自動觸發。
示例
通過一個簡單的示例,首先了解怎么基于netty開發一個通信程序,包括服務的與客戶端:
Server:
@Slf4j
public class Server {
private EventLoopGroup boosGroup;
private EventLoopGroup workGroup;
public Server(int port){
try {
init(port);
log.info("----- 服務啟動成功 -----");
} catch (InterruptedException e) {
log.error("啟動服務出錯:{}", e.getCause());
}
}
private void init(int port) throws InterruptedException {
// 處理連接
this.boosGroup = new NioEventLoopGroup();
// 處理業務
this.workGroup = new NioEventLoopGroup();
ServerBootstrap bootstrap = new ServerBootstrap();
// 綁定
bootstrap.group(boosGroup, workGroup)
.channel(NioServerSocketChannel.class) //配置服務端
.option(ChannelOption.CONNECT_TIMEOUT_MILLIS, 3000)
.option(ChannelOption.SO_BACKLOG, 1024)
.childOption(ChannelOption.TCP_NODELAY, true)
.childOption(ChannelOption.SO_RCVBUF, 1024)
.childOption(ChannelOption.SO_SNDBUF, 1024)
.childHandler(new ChannelInitializer< SocketChannel >() {
@Override
protected void initChannel(SocketChannel socketChannel) throws Exception {
socketChannel.pipeline().addLast(new ServerHandler());
}
});
ChannelFuture channelFuture = bootstrap.bind(port).sync();
channelFuture.channel().closeFuture().sync();
}
public void close(){
this.boosGroup.shutdownGracefully();
this.workGroup.shutdownGracefully();
}
}
@Slf4j
class ServerHandler extends ChannelInboundHandlerAdapter {
@Override
public void channelActive(ChannelHandlerContext ctx) throws Exception {
log.info(" >> >> >> > server active");
}
@Override
public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
//1. 讀取客戶端的數據(緩存中去取并打印到控制臺)
ByteBuf buf = (ByteBuf) msg;
byte[] request = new byte[buf.readableBytes()];
buf.readBytes(request);
String requestBody = new String(request, "utf-8");
log.info(" >> >> >> >> > receive message: {}", requestBody);
//2. 返回響應數據
ctx.writeAndFlush(Unpooled.copiedBuffer((requestBody+" too").getBytes()));
}
@Override
public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
super.exceptionCaught(ctx, cause);
}
}
Client:
@Slf4j
public class Client {
private EventLoopGroup workGroup;
private ChannelFuture channelFuture;
public Client(int port){
init(port);
}
private void init(int port){
this.workGroup = new NioEventLoopGroup();
Bootstrap bootstrap = new Bootstrap();
bootstrap.group(workGroup)
.channel(NioSocketChannel.class)
.option(ChannelOption.CONNECT_TIMEOUT_MILLIS, 3000)
.option(ChannelOption.SO_RCVBUF, 1024)
.option(ChannelOption.SO_SNDBUF, 1024)
.handler(new ChannelInitializer< SocketChannel >() {
@Override
protected void initChannel(SocketChannel socketChannel) throws Exception {
socketChannel.pipeline().addLast(new ClientHandler());
}
});
this.channelFuture = bootstrap.connect("127.0.0.1", port).syncUninterruptibly();
}
/**
*
* @param message
*/
public void send(String message){
this.channelFuture.channel().writeAndFlush(Unpooled.copiedBuffer(message.getBytes()));
}
/**
*
*/
public void close(){
try {
channelFuture.channel().closeFuture().sync();
} catch (InterruptedException e) {
throw new RuntimeException(e);
}
workGroup.shutdownGracefully();
}
}
@Slf4j
class ClientHandler extends ChannelInboundHandlerAdapter {
@Override
public void channelActive(ChannelHandlerContext ctx) throws Exception {
log.info(" >> >> >> > client active");
}
@Override
public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
try {
ByteBuf buf = (ByteBuf) msg;
byte[] req = new byte[buf.readableBytes()];
buf.readBytes(req);
String body = new String(req, "utf-8");
log.info(" >> >> >> >> > receive message: {}", body);
} finally {
ReferenceCountUtil.release(msg);
}
}
@Override
public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
super.exceptionCaught(ctx, cause);
}
}
測試:
public class StarterTests {
static int port = 9011;
@Test
public void startServer(){
Server server = new Server(9011);
}
@Test
public void startClient(){
Client client = new Client(port);
client.send("Hello Netty!");
while (true){}
}
}
生態
- Dubbo
- Spring Reactive
類似技術
Mina、Netty、Grizzly
其他
Proactor非阻塞異步網絡模型
-
Web
+關注
關注
2文章
1272瀏覽量
69759 -
框架
+關注
關注
0文章
403瀏覽量
17555 -
容器
+關注
關注
0文章
499瀏覽量
22130 -
模型
+關注
關注
1文章
3342瀏覽量
49270
發布評論請先 登錄
相關推薦
![](https://file1.elecfans.com/web2/M00/85/A0/wKgZomRmN4WAdlYpAAAmpoF1NpY270.png)
多路復用ICSP引腳如何控制開關?
AD8183-EVAL是用于視頻路由和多路復用系統的多路復用器評估板
如何在Mx1051的FlexCAN1中配置簡單信號多路復用和擴展信號多路復用?
多路復用與數字復接
基于CPLD的非多路復用與多路復用總線轉換橋的設計與實現
![基于CPLD的非<b class='flag-5'>多路復用</b>與<b class='flag-5'>多路復用</b>總線轉換橋的設計與實現](https://file1.elecfans.com//web2/M00/A4/AA/wKgZomUMNTGAX-EzAAAiZo80u0o002.gif)
非多路復用與多路復用總線轉換橋的設計與實現
![非<b class='flag-5'>多路復用</b>與<b class='flag-5'>多路復用</b>總線轉換橋的設計與實現](https://file1.elecfans.com//web2/M00/A4/AA/wKgZomUMNTKAezNJAAEp-13BNqU647.gif)
評論