導(dǎo)語

支撐全真互聯(lián)網(wǎng)的基礎(chǔ)網(wǎng)絡(luò)包括實(shí)時(shí)音視頻通信網(wǎng)絡(luò)、即時(shí)通信網(wǎng)絡(luò)和流媒體分發(fā)網(wǎng)絡(luò)。隨著社會(huì)的進(jìn)步，人們對(duì)低延時(shí)即時(shí)通信的需求越來越高。本次LiveVideoStackCon 2021上海站大會(huì)邀請(qǐng)到了負(fù)責(zé)騰訊云千億級(jí)底層通信網(wǎng)絡(luò)的劉然，他為我們分享了穩(wěn)健、可靠的全真即時(shí)通信網(wǎng)的架構(gòu)與應(yīng)用實(shí)踐。

大家下午好，我是來自騰訊云通信的后臺(tái)研發(fā)劉然。剛剛提到全真互聯(lián)網(wǎng)及“三合一”基礎(chǔ)網(wǎng)絡(luò)RT-ONE，它具體包括了實(shí)時(shí)音視頻通信網(wǎng)絡(luò)、即時(shí)通信網(wǎng)絡(luò)和流媒體分發(fā)網(wǎng)絡(luò)。前面薛笛已經(jīng)為大家介紹了實(shí)時(shí)音視頻通信網(wǎng)絡(luò)，接下來我給大家分享即時(shí)通信網(wǎng)絡(luò)的一些技術(shù)點(diǎn)和應(yīng)用場(chǎng)景實(shí)踐。 今天分享將從4個(gè)方面展開，包括即時(shí)通信網(wǎng)的介紹、核心技術(shù)點(diǎn)、融合場(chǎng)景的解決方案以及典型的應(yīng)用場(chǎng)景。

01

即時(shí)通信網(wǎng)簡(jiǎn)介

即時(shí)通信網(wǎng)絡(luò)可以用來做什么呢？包括信令消息、雙人或者多人音視頻通話的邀請(qǐng)請(qǐng)求、上下麥的連麥請(qǐng)求、教育白板里的白板軌跡、直播場(chǎng)景下的紅包，點(diǎn)贊，送禮等。除此之外，我們還有社交的場(chǎng)景——單聊、群聊、直播大房間，以及圖文、語音、視頻、自定義消息，在終端方面支持全平臺(tái)多功能覆蓋，支持微信、QQ、支付寶、百度、頭條等類似的小程序。從數(shù)據(jù)上看，騰訊云即時(shí)通信IM的月活已經(jīng)超過QQ的月活，海外也有數(shù)千萬的用戶分布在200多個(gè)國(guó)家和地區(qū)。

上圖是騰訊云即時(shí)通信的基本架構(gòu)。SDK層可分為網(wǎng)絡(luò)連接層、邏輯層、數(shù)據(jù)層和監(jiān)控，在此之上是API接口層，再往上是給開發(fā)者提供的TUIKIT，這是一種非常方便的aPaaS的能力。除了SDK，后臺(tái)模塊也有很多，除了最上層的接入層，還有業(yè)務(wù)邏輯層、數(shù)據(jù)存儲(chǔ)層，以及一些和運(yùn)營(yíng)系統(tǒng)相關(guān)的邏輯。做IM要考慮到很多點(diǎn)，包括高可靠、高性能、高可用、可擴(kuò)展和安全性等等，另外還有日常的開發(fā)運(yùn)營(yíng)維護(hù)等成本。

如何快速搭建一套IM系統(tǒng)呢？

現(xiàn)在只需要集成騰訊云SDK就可以輕松實(shí)現(xiàn)，騰訊云提供了全平臺(tái)、多終端SDK，它和騰訊云后臺(tái)打通以后，就可以和業(yè)務(wù)后臺(tái)進(jìn)行交互。在疫情中發(fā)揮重要的明星產(chǎn)品騰訊會(huì)議之所以能夠抓住機(jī)會(huì)，是各方面因素的共同結(jié)果，這其中非常重要的一點(diǎn)是騰訊會(huì)議的底層運(yùn)用了我們的全套通信能力，包括實(shí)時(shí)音視頻、IM、PSTN、TPNS等能力。

基于這些基礎(chǔ)能力的支撐，騰訊會(huì)議可以把更多的精力放在核心能力打造上，這也是我們做PaaS服務(wù)的初心——基于多年的積累把基礎(chǔ)的能力產(chǎn)品化再將其商業(yè)化，并開放給開發(fā)者，這樣除了可以降本增效，還可以加速業(yè)務(wù)創(chuàng)新。這個(gè)能力除了騰訊會(huì)議，騰訊公司內(nèi)部有幾十款產(chǎn)品都在使用，并且國(guó)內(nèi)外的開發(fā)者和客戶多達(dá)數(shù)十萬家。

02

核心技術(shù)點(diǎn)分享

前面簡(jiǎn)單介紹了IM，接下來我將針對(duì)其中設(shè)計(jì)的核心技術(shù)點(diǎn)做詳細(xì)講解。我們今天的主題是全真互聯(lián)網(wǎng)，所以不論是IM、音視頻流媒體還是實(shí)時(shí)音視頻都離不開網(wǎng)絡(luò)。

2.1 IM全球加速網(wǎng)絡(luò)

現(xiàn)在跨國(guó)之間的通信有兩種，一種是衛(wèi)星通信，另一種是海底光纜通信。因?yàn)樾l(wèi)星通信成本高、帶寬低，所以目前的應(yīng)用還不是十分廣泛。因此，大部分的通信方式都是依靠海底光纜。 我國(guó)海底光纜現(xiàn)狀有三點(diǎn)：首先，國(guó)際網(wǎng)絡(luò)環(huán)境復(fù)雜，容易抖動(dòng)丟包。其次，整個(gè)中國(guó)出口的帶寬很小。

《CNNIC第47次中國(guó)互聯(lián)網(wǎng)報(bào)告》提到整個(gè)中國(guó)出口帶寬大概是11.5T，雖然每年的增長(zhǎng)速度很快，但是相比去年全球400T的規(guī)模還是非常小的。全球人口總計(jì)70多億，互聯(lián)網(wǎng)人口只有40多億，中國(guó)可能只占據(jù)10多億。對(duì)比可以發(fā)現(xiàn)中國(guó)人均的帶寬非常低，經(jīng)常出現(xiàn)擁塞問題。最后國(guó)際訪問經(jīng)常繞行，直連時(shí)延高。在這樣的背景之下，IM會(huì)有登錄慢、斷網(wǎng)和消息延時(shí)的現(xiàn)象。

上圖是騰訊云實(shí)測(cè)的從廣州到雅加達(dá)的路由數(shù)據(jù)，這個(gè)數(shù)據(jù)是繞行的，大概在260ms。正常情況下，通過騰訊云自己的網(wǎng)絡(luò)，例如從廣州到香港或者到新加坡的直連、再到雅加達(dá)，大概只有50+ ms，差距很明顯。一個(gè)好消息是前不久騰訊云在雅加達(dá)正式開區(qū)了，那里有騰訊自建的數(shù)據(jù)中心，能將我們的能力更多的覆蓋到東南亞地區(qū)。

2.2 IM全球網(wǎng)絡(luò)加速能力

當(dāng)前騰訊云全球加速能力已經(jīng)覆蓋六大洲的主要國(guó)家，包括120個(gè)接入點(diǎn)、2100+節(jié)點(diǎn)，提供了全球的服務(wù)。10或20年前，中國(guó)企業(yè)更多的是設(shè)備廠商出海，例如華為、聯(lián)想和TCL這樣的企業(yè)。移動(dòng)互聯(lián)網(wǎng)的到來促使了更多的工具類企業(yè)出海，獵豹移動(dòng)就是比較成功的案例，之后包括電商、社交、游戲、短視頻相關(guān)的出海在不斷增加。雖然現(xiàn)在國(guó)際形勢(shì)比較緊張，但是全球化對(duì)于中國(guó)來說是非常好的機(jī)會(huì)，希望大家能把握好這個(gè)機(jī)會(huì)，把業(yè)務(wù)向全球拓展。

2.3 系統(tǒng)架構(gòu)與加速原理

如果想打造高速的網(wǎng)絡(luò)，不僅需要了解如何選擇一個(gè)最近的點(diǎn)，還需要知道如何在路由之間快速地交換以到達(dá)自己的源站。有三個(gè)核心點(diǎn)——如何選擇最優(yōu)接入、如何選擇最快的路由以及如何提升傳輸速率。

2.3.1 精準(zhǔn)IP調(diào)度

接入點(diǎn)方面，騰訊云有自己的公網(wǎng)評(píng)測(cè)平臺(tái)，對(duì)各種加速點(diǎn)的數(shù)據(jù)進(jìn)行實(shí)時(shí)計(jì)算，然后生成一個(gè)調(diào)度平臺(tái)。當(dāng)用戶接入時(shí)，根據(jù)調(diào)度平臺(tái)為用戶選擇一個(gè)最優(yōu)的接入點(diǎn)。同時(shí)，因?yàn)檫@個(gè)平臺(tái)是實(shí)時(shí)的，所以在用戶使用中也會(huì)進(jìn)行實(shí)時(shí)的干預(yù)。當(dāng)發(fā)現(xiàn)有最優(yōu)的路徑后，平臺(tái)會(huì)將調(diào)度信息推送給用戶側(cè)，用戶下次使用時(shí)會(huì)選擇最優(yōu)的路徑。

上圖右側(cè)是我們實(shí)時(shí)干預(yù)以后的效果展示。在馬尼拉的網(wǎng)絡(luò)出現(xiàn)故障以后，郵件告警即使生成，平臺(tái)把馬尼拉的路徑即時(shí)屏蔽掉，自動(dòng)選擇其他的路徑進(jìn)行調(diào)度，做到對(duì)用戶側(cè)無感，同時(shí)也極大了提升了接入質(zhì)量和運(yùn)營(yíng)效率。

2.3.2 通信協(xié)議優(yōu)化

找到最優(yōu)接入點(diǎn)后，我們?cè)诼酚芍g做了一些協(xié)議改造。用戶一開始是以TCP或者UDP的方式傳輸，接著在路由之間是以QUIC加速的方式進(jìn)行路由的中轉(zhuǎn)。QUIC的0RTT、連接復(fù)用和擁塞控制算法等能力都是非常優(yōu)秀的。在數(shù)據(jù)安全方面，客戶在做業(yè)務(wù)時(shí)大多都有自己的數(shù)據(jù)包加密，騰訊云的路由之間也有數(shù)據(jù)加密，同時(shí)會(huì)有預(yù)建連等技術(shù)，這里就不詳細(xì)介紹了。

2.3.3 最優(yōu)路由選址

那么如何選擇路線呢？比如上圖從迪拜到圣保羅可能有兩條路徑：一條是公網(wǎng)路徑，另一條是全球加速路徑。如果走公網(wǎng)，雖然看起來距離會(huì)短一些，但數(shù)據(jù)時(shí)延為459ms；而通過騰訊云中轉(zhuǎn)，經(jīng)過倫敦再到迪拜，整個(gè)過程只需要304ms。我們將每個(gè)加速點(diǎn)都作為一個(gè)節(jié)點(diǎn)，加速點(diǎn)與加速點(diǎn)之間有一個(gè)邊連接，根據(jù)時(shí)延和丟包率計(jì)算出一個(gè)等比的邊，再根據(jù)邊的長(zhǎng)度選擇一個(gè)最優(yōu)的路徑。

同時(shí)，如果回來時(shí)存在另一條最優(yōu)的路徑，那么會(huì)選擇這條最優(yōu)路徑，而不是之前的，這樣就可以保證回程、去程的雙面加速，最后補(bǔ)充下，我們是在公網(wǎng)和專線之間選擇一個(gè)最優(yōu)的網(wǎng)絡(luò)，并不是說一定會(huì)走專線。

2.3.4 多路無狀態(tài)傳輸

路徑選好后，我們需要考慮如何提升傳輸速率，做法是將大包智能拆分成小包，小包通過多路并行傳輸，最后到達(dá)源站，這種方式可以提升效率，在一些場(chǎng)景下還會(huì)有小包合并為大包。兩邊會(huì)有狀態(tài)，但是在鏈路中間是無狀態(tài)的，如果節(jié)點(diǎn)之間有抖動(dòng)可以做到秒級(jí)踢出。此外，路徑之間還有預(yù)建連和連接復(fù)用的技術(shù)。

上圖展現(xiàn)的是實(shí)際效果，一些區(qū)域的效果是非常明顯的——通過騰訊云加速，時(shí)延可以從200多ms降低到30多ms。通過測(cè)試，全球鏈路時(shí)延不超過300ms，實(shí)際驗(yàn)證可以把平均時(shí)延降低24%，同時(shí)請(qǐng)求成功率提升17%。

2.4 可靠的消息系統(tǒng)

對(duì)于IM來說，完成選路以后，無論是信令消息還是其他普通消息，保證可靠性都是至關(guān)重要的，接下來和大家分享騰訊云消息系統(tǒng)的機(jī)制。大家從網(wǎng)上可能了解到QQ和微信的一些做法，微信是使用寫擴(kuò)散的方式，但不管是寫擴(kuò)散還是讀擴(kuò)散，都是在一定業(yè)務(wù)場(chǎng)景之下來考慮的。

騰訊云選擇的是讀擴(kuò)散的模式。從上圖可以看到，對(duì)于收件人來說，以收件人為維度來儲(chǔ)存消息；對(duì)于群來說，是以群為維度儲(chǔ)存消息。消息的狀態(tài)一共有三種——已確認(rèn)、未確認(rèn)和待下發(fā)。收消息采用推拉結(jié)合的方式，當(dāng)一個(gè)消息出現(xiàn)，會(huì)把消息內(nèi)容和通知發(fā)給接收端，接收端再上傳把消息拉回來。這里面會(huì)有sequence或者騰訊云自己的cookie控制時(shí)序的問題。

對(duì)于群聊，目前是通過讀擴(kuò)散的模型。如果群比較小，寫擴(kuò)散確實(shí)比較方便，但當(dāng)群的數(shù)量越來越大，比如微信群的數(shù)量上限是500人，可以使用寫擴(kuò)散，而微信的視頻號(hào)和直播要使用寫擴(kuò)散的模式是行不通的，很多都已經(jīng)改成了讀擴(kuò)散的模式。騰訊云不僅可以支持500人的群，2000人乃至萬人的大群都能支持。

上圖是我們自研消息存儲(chǔ)引擎，分為索引層和數(shù)據(jù)層，這是基本的拉消息的機(jī)制。目前騰訊云自己的能力已經(jīng)可以支持多拷貝的存儲(chǔ)，索引全部存在內(nèi)存里，數(shù)據(jù)會(huì)分為冷、熱數(shù)據(jù)。熱數(shù)據(jù)會(huì)存在SSD盤里，冷數(shù)據(jù)會(huì)繼續(xù)下沉到云硬盤。此外，騰訊云還支持?jǐn)?shù)據(jù)加密，同時(shí)我們?cè)诶?shù)據(jù)方面也會(huì)更加靈活，支持指定SEQ拉取、指定時(shí)間區(qū)段拉取。

2.5 億級(jí)別狀態(tài)系統(tǒng)

對(duì)于IM來說，狀態(tài)系統(tǒng)也是非常重要的一點(diǎn)。舉個(gè)例子來理解狀態(tài)系統(tǒng)，比如上下線——最開始的PC端QQ是否在線的狀態(tài)。當(dāng)需要消息PUSH的時(shí)候，首先要查在線還是不在線，在線狀態(tài)才能走自己的PUSH通道，如果不在線就要通過廠商的離線PUSH通道。

對(duì)于狀態(tài)系統(tǒng)，采用分SHARD的模式，通過uin，做一致性哈希，分成一個(gè)個(gè)SHARD。SHARD支持水平擴(kuò)展，對(duì)于每一個(gè)SHARD，也可支持垂直擴(kuò)展，比如現(xiàn)在有三臺(tái)機(jī)器，隨著不斷增長(zhǎng)的業(yè)務(wù)量，可以擴(kuò)展成4臺(tái)或者5臺(tái)，擴(kuò)容是非常高效的。除了在單地域，騰訊云可以多AZ或跨Region同步狀態(tài)實(shí)施。

例如為了提升系統(tǒng)穩(wěn)定性，可以在上海和廣州各部署一臺(tái)，消息真正擴(kuò)散的時(shí)候，并不是去遠(yuǎn)程查詢（常規(guī)的做法是狀態(tài)存在Redis里，通過RPC的方式進(jìn)行查詢）。騰訊云會(huì)分成多個(gè)SHARD，每一塊只負(fù)責(zé)某一個(gè)區(qū)段的帳號(hào)，當(dāng)把信息請(qǐng)求過來時(shí)，只需要本地查詢就能將消息下發(fā)下去，非常高效。

在做微信視頻號(hào)的時(shí)候，有提到如果把一億個(gè)人拉到一個(gè)群里會(huì)怎樣？這一定需要讀擴(kuò)散的模式，寫擴(kuò)散是完全不行的，這也是騰訊云即時(shí)通信IM的一個(gè)特色——無人數(shù)上限的直播群，很多客戶都會(huì)用到。這是一個(gè)基本的交互邏輯，看起來只是比較簡(jiǎn)單的系統(tǒng)收發(fā)，里面其實(shí)存在多級(jí)擴(kuò)散。

當(dāng)收到消息后，經(jīng)過邏輯層的擴(kuò)散，將其存儲(chǔ)到一個(gè)類似數(shù)據(jù)存儲(chǔ)層的結(jié)構(gòu)里——這個(gè)數(shù)據(jù)存儲(chǔ)層可以儲(chǔ)存2分鐘或者5分鐘的一段時(shí)間內(nèi)全部的消息，當(dāng)用戶來拉取的時(shí)候，會(huì)按照就近的方式拉取。我們這里對(duì)消息采取一寫多讀的方式，具體的消息是一個(gè)環(huán)形的BUFFER，會(huì)記錄消息的偏移量，直播大群的群號(hào)、群ID、群消息的范圍也在里面。

另外，網(wǎng)絡(luò)通信會(huì)有抖動(dòng)和丟包，所以我們做了一個(gè)兜底的策略，將消息保存在高保障可靠存儲(chǔ)系統(tǒng)，當(dāng)發(fā)現(xiàn)消息的SEQ出現(xiàn)斷層，可以補(bǔ)拉，從而保證消息的高可靠。

上圖是實(shí)際的補(bǔ)拉機(jī)制。補(bǔ)拉除了分鐘粒度維護(hù)索引之外，消息也會(huì)分優(yōu)先級(jí)。一個(gè)百萬人或者千萬人直播群的消息量是非常大的，消息里面可以設(shè)置優(yōu)先級(jí)，比如把紅包設(shè)置為高優(yōu)先級(jí)消息，點(diǎn)贊、送禮、彈幕設(shè)置為低優(yōu)先級(jí)消息，這樣可以保證紅包不會(huì)因?yàn)橄⑦^多而丟失。騰訊云對(duì)此有一個(gè)淘汰機(jī)制，高優(yōu)先級(jí)消息會(huì)全量保存，這樣當(dāng)客戶來拉消息是可以跳過非關(guān)鍵的彈幕數(shù)據(jù)，直接把高優(yōu)先級(jí)數(shù)據(jù)合并后發(fā)給用戶端，保證用戶體驗(yàn)。

03

融合場(chǎng)景的解決方案

前面介紹了騰訊云的三個(gè)核心能力。對(duì)于IM來說，很多情況下不是單獨(dú)使用的，而是和其他一些能力結(jié)合使用。

上圖是騰訊云底層能力。通信層我們有IM、移動(dòng)推送、實(shí)時(shí)音視頻、直播、點(diǎn)播、CDN的能力，面向教育、電商、金融、政企等各個(gè)行業(yè)的客戶提供服務(wù)。服務(wù)主要分為三類：一是企業(yè)內(nèi)部員工辦公、二是企業(yè)和客戶之間、三是用戶和用戶之間。此外，騰訊云還有PSTN、一鍵登錄、云呼叫中心和短信等其他通信能力。從行業(yè)來看目前騰訊云已經(jīng)是全國(guó)最大的綜合通信服務(wù)商。

3.1 直播解決方案

上圖是IM和其他業(yè)務(wù)場(chǎng)景的一些結(jié)合，包括TRTC、直播、點(diǎn)播等，這是用于低延時(shí)互動(dòng)直播的，也支持各個(gè)端進(jìn)行多人音視頻通話、低延時(shí)直播和PK連麥等類似的場(chǎng)景。

3.2 在線課堂解決方案

上圖是和教育白板相關(guān)的在線互動(dòng)課堂解決方案。其中用到了騰訊云實(shí)時(shí)音視頻、IM、CDN和白板的能力。1對(duì)1小班課或者1對(duì)多大班課，乃至10萬人的直播課都可以結(jié)合騰訊云的通信PaaS以及白板能力，很快的開發(fā)出在線課堂的產(chǎn)品。

04

典型應(yīng)用場(chǎng)景

最后我將和大家簡(jiǎn)單介紹一些使用IM的典型場(chǎng)景。

4.1 企業(yè)內(nèi)部場(chǎng)景

騰訊會(huì)議底層已經(jīng)深度使用騰訊云通信的能力，包括主持人管理、消息和文件分享等等。在疫情期間，平安保險(xiǎn)內(nèi)訓(xùn)也是通過直播的方式把騰訊云的IM集成進(jìn)去。釘釘、企業(yè)微信提供的是標(biāo)準(zhǔn)化的SaaS產(chǎn)品，但是很多客戶因?yàn)闃I(yè)務(wù)場(chǎng)景原因會(huì)有更多的訴求和定制化的需求，為滿足這些訴求，需要把騰訊云的IM、TRTC集成進(jìn)去，基于業(yè)務(wù)場(chǎng)景靈活開發(fā)產(chǎn)品，例如企業(yè)內(nèi)通信的場(chǎng)景。

4.2 企業(yè)與用戶場(chǎng)景

企業(yè)和用戶之間最常見的場(chǎng)景是客服。之前的客服模式是每個(gè)公司有專門的客服團(tuán)隊(duì)，通過客服團(tuán)隊(duì)來服務(wù)公司所有的產(chǎn)品，隨著互聯(lián)網(wǎng)紅利的消息，業(yè)務(wù)增長(zhǎng)有拉新轉(zhuǎn)向存量客戶運(yùn)營(yíng)。

未來客服會(huì)是非常重要的一環(huán)，同時(shí)場(chǎng)景將更加分散，不再局限于某一個(gè)部門，每個(gè)產(chǎn)品都可能組建自己的小客服團(tuán)隊(duì)，要搭建這樣一個(gè)呼叫中心和客服系統(tǒng)是很復(fù)雜的。騰訊云的云呼叫中心可以很方便的為客戶打造一個(gè)客服系統(tǒng)。

在金融方面，不論是虛擬營(yíng)業(yè)廳、證券還是保險(xiǎn)都和直播互動(dòng)結(jié)合得越來越緊密，因此會(huì)存在私密付費(fèi)群，存在互動(dòng)和推送的場(chǎng)景。

此外除了前面提到的騰訊云在線教育方案，醫(yī)療也是一個(gè)很好的方向，醫(yī)療問診、實(shí)時(shí)的音視頻溝通、病例上傳分享都是很不錯(cuò)的使用場(chǎng)景。

4.3 用戶與用戶場(chǎng)景

用戶與用戶之間的場(chǎng)景會(huì)更多，像線上社交直播、電商直播帶貨等等。電商直播會(huì)更多需要無人數(shù)上限的直播間，會(huì)有優(yōu)惠券、抽獎(jiǎng)、送禮、貨物上下架、加購(gòu)物車的訴求。陌生人社交場(chǎng)景會(huì)有附近的人、陌生人通信、精準(zhǔn)匹配、個(gè)性裝扮等等訴求。

另外在游戲互動(dòng)方面也有很多應(yīng)用場(chǎng)景。其實(shí)無論是直播、電商、陌生人社交還是游戲，都存在一個(gè)趨勢(shì)：以前只是提供一個(gè)產(chǎn)品給客戶使用就可以了，但是未來更多的產(chǎn)品會(huì)做社區(qū)，以此來維護(hù)和客戶的關(guān)系，通過騰訊云的IM和TRTC可以很方便的把社區(qū)的通信能力搭建起來。

以上是我今天的全部?jī)?nèi)容，感謝大家聆聽。

編輯：jq