91在线观看视频-91在线观看视频-91在线观看免费视频-91在线观看免费-欧美第二页-欧美第1页

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

深入理解RPC自定義網絡協議

Linux愛好者 ? 來源:srpc ? 作者:李穎欣 ? 2022-06-12 15:00 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

本文來自srpc作者李穎欣,在此基礎上略做改動。

只要涉及到網絡通信,必然涉及到網絡協議,應用層也是一樣。在應用層最標準和常用的就是HTTP協議。但在很多性能要求較高的場景各大企業內部也會自定義的 RPC 協議。舉個例子,就是相當于各個省不但用官方普通話,還都有自己的方言,RPC就相當于是一個方言。

RPC的全稱是Remote Procedure Call,翻譯過來就是遠程過程調用。但這個名字起的一點都不好,過分強調了和LPC(本地過程調用)的對比。沒有突出出來 RPC 本身涉及到的一些技術特點。

我們今天來從三個角度和大家聊聊 RPC。

  • RPC是什么:通過和HTTP的對比來幫大家了解RPC
  • RPC有什么:介紹了RPC用到的用戶樁代碼、IDL序列化、壓縮、協議、通信等技術點
  • RPC生命周期:詳細探討RPC從請求發出到收到返回的全過程

今天的講解會結合基于C++實現的開源項目SRPC。SRPC整體代碼風格簡潔、架構層次精巧,整體約1萬行代碼,非常適合用來學習RPC架構:https://github.com/sogou/srpc

一. RPC是什么

RPC可以分為兩部分:用戶調用接口+具體網絡協議。前者為開發者需要關心的,后者由框架來實現。

1. 用戶調用接口

舉個例子,我們定義一個函數,我們希望函數如果輸入為“Hello World”的話,輸出給一個“OK”,那么這個函數是個本地調用。如果一個遠程服務收到“Hello World”可以給我們返回一個“OK”,那么這是一個遠程調用。我們會和服務約定好遠程調用的函數名。因此,我們的用戶接口就是:輸入輸出遠程函數名,比如用SRPC開發的話,client端的代碼會長這樣:

intmain()
{
Example::SRPCClientclient(IP,PORT);
EchoRequestreq;//用戶自定義的請求結構
EchoResponseresp;//用戶自定義的回復結構

req.set_message("HelloWorld");
client.Echo(&req,&resp,NULL);//調用遠程函數名為Echo
return0;
}

2. 具體網絡協議

這是框架來實現的,把開發者要發出和接收的內容以某種應用層協議打包進行網絡收發。這里可以和HTTP進行一個明顯的對比:

  • RPC是一種自定義網絡協議,由具體框架來定,比如SRPC里支持的RPC協議有:SRPC / thrift / BRPC / tRPC,并且也是tRPC協議目前唯一的開源實現,我們拿其中的SogouRPC-std protocol為例給大家看看RPC協議的大概樣子:

    87a3b7c8-e2f1-11ec-ba43-dac502259ad0.png

  • HTTP也是一種網絡協議,但包的內容是固定的,必須是:請求行 + 請求頭 + 請求體;

    87d96e5e-e2f1-11ec-ba43-dac502259ad0.png

3. 進一步思考

上圖對應的顏色,所實現的功能是類似的。我們想一想,為什么大家都長差不多呢?

這里就需要搞清楚,我們想要實現用戶接口,需要怎么做?最重要需要支持以下三個功能:

  • 定位要調用的服務;
  • 把完整的消息切下來;
  • 讓我們的消息向前/向后兼容;

這樣既可以讓消息內保證一定的靈活性,又可以方便拿下一塊數據,去調用用戶想要的服務。

我們用一個表格來看一下HTTP和RPC分別是怎么解決的:

定位要調用的服務 消息長度 消息前后兼容
HTTP URL header里Content-Length body里自己解決
RPC 指定Service和Method名 協議header里自行約定 交給具體IDL

因此,大家都會需要類似的結構去組裝一條完整的用戶請求,而第三部分的body只要框架支持,RPC協議和HTTP是可以互通的!因此開發者完全可以根據自己的業務需求進行選型,接下來我們看一下RPC的層次架構,就可以明白為什么不同RPC框架之間的互通、以及RPC和HTTP協議又是如何做到互通的。

二、 RPC有什么

我們可以借SRPC的架構,看一下RPC框架從用戶到系統都有哪些層次,以及SRPC目前所橫向支持的功能是什么:

  • 用戶代碼(client的發送函數/server的函數實現)
  • IDL序列化(protobuf/thrift serialization)
  • 數據組織(protobuf/thrift/json)
  • 壓縮(none/gzip/zlib/snappy/lz4)
  • 協議(Sogou-std/Baidu-std/Thrift-framed/TRPC)
  • 通信(TCP/HTTP)

我們先關注以下三個層級:

8811d578-e2f1-11ec-ba43-dac502259ad0.png

如圖從左到右,是用戶接觸的最多到最少的層次。IDL層會根據開發者定義的請求/回復結構進行代碼生成,目前小伙伴們用得比較多的是protobuf和thrift,而剛才說到的用戶接口和前后兼容問題,都是IDL層來解決的。SRPC對于這兩個IDL的用戶接口實現方式是:

  • thrift:IDL純手工解析,用戶使用srpc是不需要鏈thrift的庫的 !!!
  • protobuf:service的定義部分純手工解析

中間那列是具體的網絡協議,而各RPC能互通,就是因為大家實現了對方的“語言”,因此可以協議互通。

而RPC作為和HTTP并列的層次,第二列和第三列理論上是可以兩兩結合的,只需要第二列的具體RPC協議在發送時,把HTTP相關的內容進行特化,不要按照自己的協議去發,而按照HTTP需要的形式去發,就可以實現RPC與HTTP互通。

三、 RPC的生命周期

到此我們可以通過SRPC看一下,把request通過method發送出去并處理response再回來的整件事情是怎么做的:

8835057a-e2f1-11ec-ba43-dac502259ad0.png

根據上圖,可以更清楚地看到剛才提及的各個層級,其中壓縮層、序列化層、協議層其實是互相解耦打通的,在SRPC代碼上實現得非常統一,橫向增加任何一種壓縮算法或IDL或協議都不需要也不應該改動現有的代碼,才是一個精美的架構~

我們一直在說生成代碼,到底有什么用呢?圖中可以得知,生成代碼是銜接用戶調用接口和框架代碼的橋梁,這里以一個最簡單的protobuf自定義協議為例:example.proto

syntax="proto3";//這里proto2和proto3都可以

messageEchoRequest
{
stringmessage=1;
};

messageEchoResponse
{
stringmessage=1;
};

serviceExample
{
rpcEcho(EchoRequest)returns(EchoResponse);
};

我們定義好了請求、回復、遠程服務的函數名,通過以下命令就可以生成出接口代碼example.srpc.h

protocexample.proto--cpp_out=./--proto_path=./
srpc_generatorprotobuf./example.proto./

我們會發現,同時還會生成出server.pb_skeleton.ccclient.pb_skeleton.cc,這是為了方便開發者的兩個空文件。我們繼續一窺究竟,看看生成代碼到底可以實現什么功能:

//SERVER代碼
classService:publicsrpc::RPCService
{
public:
//用戶需要自行派生實現這個函數,與剛才pb生成的是對應的
virtualvoidEcho(EchoRequest*request,EchoResponse*response,
srpc::RPCContext*ctx)=0;
};

//CLIENT代碼
usingEchoDone=std::function<void(EchoResponse*,srpc::RPCContext*)>;

classSRPCClient:publicsrpc::SRPCClient
{
public:
//異步接口
voidEcho(constEchoRequest*req,EchoDonedone);
//同步接口
voidEcho(constEchoRequest*req,EchoResponse*resp,srpc::RPCSyncContext*sync_ctx);
//半同步接口
WFFuture<std::pair>async_Echo(constEchoRequest*req);
};

作為一個高性能RPC框架,SRPC生成的client代碼中包括了:同步半同步異步接口,文章開頭展示的是一個同步接口的做法。

而server的接口就更簡單了,作為一個服務端,我們要做的就是收到請求->處理邏輯->返回回復,而這個時候,框架已經把剛才提到的網絡收發、解壓縮、反序列化等都給做好了,然后通過生成代碼調用到用戶實現的派生service類的函數邏輯中。

由于一種協議定義了一種client/server,因此其實我們同樣可以得到的server類型有第二部分提到過的若干種:SRPCServer/SRPCHttpServer/BRPCServer/TRPCServer/ThriftServer/...

四、 一個完整的server例子

最后我們用一個完整的server例子,來看一下用戶調用接口的使用方式,以及如何跨協議使用HTTP作為client進行調用。剛才提到,srpc_generator在生成接口的同時,也會自動生成空的用戶代碼,我們這里打開server.pb_skeleton.cc直接改兩行,即可run起來:

#include"example.srpc.h"
#include"workflow/WFFacilities.h"

usingnamespacesrpc;
staticWFFacilities::WaitGroupwait_group(1);

voidsig_handler(intsigno)
{
wait_group.done();
}

classExampleServiceImpl:publicExample::Service
{
public:

voidEcho(EchoRequest*request,EchoResponse*response,srpc::RPCContext*ctx)override
{
response->set_message("OK");//具體邏輯在這里添加,我們簡單地回復一個OK
}
};

intmain()
{
unsignedshortport=80;//因為要啟動Http服務
SRPCHttpServerserver;//我們需要構造一個SRPCHttpServer

ExampleServiceImplexample_impl;
server.add_service(&example_impl);

server.start(port);
wait_group.wait();
server.stop();
return0;
}

只要安裝了srpc和workflow,linux下即可通過以下命令編譯出可執行文件:

g++-oserverserver.pb_skeleton.ccexample.pb.cc-std=c++11-lsrpc

接下來是激動人心的時刻了,我們用人手一個的curl來發起一個HTTP請求:

curl-i127.0.0.1:80/Example/Echo-H'Content-Type:application/json'-d'{message:"HelloWorld"}'

886f7bce-e2f1-11ec-ba43-dac502259ad0.png

五、 解鎖更多

通過這篇文章,相信我們可以清晰地了解到RPC的接口長什么樣,也可以通過與HTTP協議互通來理解協議層次,更重要的是可以知道具體縱向的每個層次及橫向對比我們常見的每種使用模式都有哪些。但其實,RPC還可以做的事情還有很多,包括內部各層次的解耦合設計、框架層的功能埋點、外部服務集群的對接等等:

88b5009a-e2f1-11ec-ba43-dac502259ad0.png

如果小伙伴對更多功能感興趣,歡迎點擊閱讀原文,到Github圍觀,進一步了解。

原文標題:一文搞懂 RPC 的基本原理和層次架構

文章出處:【微信公眾號:Linux愛好者】歡迎添加關注!文章轉載請注明出處。

審核編輯:湯梓紅
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 網絡協議
    +關注

    關注

    3

    文章

    273

    瀏覽量

    22113
  • RPC
    RPC
    +關注

    關注

    0

    文章

    111

    瀏覽量

    11904
  • C++
    C++
    +關注

    關注

    22

    文章

    2119

    瀏覽量

    75360

原文標題:一文搞懂 RPC 的基本原理和層次架構

文章出處:【微信號:LinuxHub,微信公眾號:Linux愛好者】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    如何手搓一個自定義RPC 遠程過程調用框架

    是一種常用的技術,能夠簡化客戶端與服務器之間的交互。本文將介紹如何基于Netty(網絡編程框架)實現一個自定義的簡單的RPC框架。 首先簡單介紹一下RPC 主要特點: 1.1、
    的頭像 發表于 07-22 12:17 ?1238次閱讀
    如何手搓一個<b class='flag-5'>自定義</b>的<b class='flag-5'>RPC</b> 遠程過程調用框架

    深入理解Android

    深入理解Android
    發表于 08-20 15:30

    深入理解Linux網絡技術內幕》(EN)

    深入理解Linux網絡技術內幕》(EN)
    發表于 02-06 15:17

    基于自定義協議網絡地理信息系統

    探索基于自定義協議開發網絡地理信息系統的方法。自定義一套工作于TCP/IP應用層的協議,基于該協議
    發表于 04-18 10:03 ?34次下載

    基于TCP/I 的自定義協議棧的研究與開發

    本文主要介紹了如何開發基于TCP/IP 協議網絡編程的自定義通訊協議,在QNX,Linux 和Windows 三種不同的操作系統平臺下實現多節點間的互相通訊。測試結果表明,該
    發表于 05-30 09:16 ?14次下載

    1602自定義字符

    1602液晶能夠顯示自定義字符,能夠根據讀者的具體情況顯示自定義字符。
    發表于 01-20 15:43 ?1次下載

    深入理解Android網絡編程

    深入理解Android網絡編程
    發表于 03-19 11:26 ?1次下載

    如何更加深入理解I2C總線、協議及應用

    更加深入理解I2C總線、協議及應用
    的頭像 發表于 03-20 09:29 ?3656次閱讀
    如何更加<b class='flag-5'>深入理解</b>I2C總線、<b class='flag-5'>協議</b>及應用

    C#與STM32自定義通信協議

    C#與STM32自定義通信協議功能:1.可通過C#上位機對多臺STM32下位機進行控制2.自定義上位機與下位機通信協議
    發表于 12-24 18:59 ?37次下載
    C#與STM32<b class='flag-5'>自定義</b>通信<b class='flag-5'>協議</b>

    自定義視圖組件教程案例

    自定義組件 1.自定義組件-particles(粒子效果) 2.自定義組件- pulse(脈沖button效果) 3.自定義組件-progress(progress效果) 4.
    發表于 04-08 10:48 ?15次下載

    ArkUI如何自定義彈窗(eTS)

    自定義彈窗其實也是比較簡單的,通過CustomDialogController類就可以顯示自定義彈窗。
    的頭像 發表于 08-31 08:24 ?2694次閱讀

    ESP32上的自定義UART協議開源

    電子發燒友網站提供《ESP32上的自定義UART協議開源.zip》資料免費下載
    發表于 02-13 16:38 ?4次下載
    ESP32上的<b class='flag-5'>自定義</b>UART<b class='flag-5'>協議</b>開源

    自定義神經網絡對象識別開源分享

    電子發燒友網站提供《自定義神經網絡對象識別開源分享.zip》資料免費下載
    發表于 06-16 09:27 ?0次下載
    <b class='flag-5'>自定義</b>神經<b class='flag-5'>網絡</b>對象識別開源分享

    自定義算子開發

    一個完整的自定義算子應用過程包括注冊算子、算子實現、含自定義算子模型轉換和運行含自定義op模型四個階段。在大多數情況下,您的模型應該可以通過使用hb_mapper工具完成轉換并順利部署到地平線芯片上……
    的頭像 發表于 04-07 16:11 ?3392次閱讀
    <b class='flag-5'>自定義</b>算子開發

    labview超快自定義控件制作和普通自定義控件制作

    labview超快自定義控件制作和普通自定義控件制作
    發表于 08-21 10:32 ?14次下載
    主站蜘蛛池模板: 女bbbbxxxx毛片视频 | aaaaaaa欧美黄色大片 | 色视网站| 天天色综合3 | 亚洲香蕉网久久综合影院3p | 午夜黄色福利视频 | 白嫩少妇激情无码 | 欧美一级视频免费 | 亚洲高清日韩精品第一区 | 亚洲国产精品久久精品怡红院 | 亚洲五月六月丁香激情 | 欧美色图一区 | 国产清纯白嫩大学生正在播放 | 天天做天天添婷婷我也去 | 亚洲一区二区三区免费 | 国产精品视频网站你懂得 | 在线天堂网 | 小说老卫陈红张敏陈法蓉 | 国模私拍视频在线 | 欧美成人精品福利网站 | 久久狠色噜噜狠狠狠狠97 | 欧美zooz人禽交免费 | 黄色精品 | 加勒比黑人喝羽月希奶水 | 国模绪 | 手机在线观看一级午夜片 | 久色中文| 国产三级黄色录像 | 老师在办公室被躁得舒服小说 | 日黄网站| 免费在线观看a视频 | 波多野结衣第一页 | 一级待一黄aaa大片在线还看 | 精品国产高清在线看国产 | 97se狠狠狠狠狼亚洲综合网 | 女上男下边吃奶边做视频成都 | 婷婷激情电影 | 亚洲一级香蕉视频 | 午夜肉伦伦影院在线观看 | 亚洲国内精品久久 | 好大好紧好爽好湿润视频 |