共享內(nèi)存是指 (shared memory)在多處理器的計算機系統(tǒng)中，可以被不同中央處理器（CPU）訪問的大容量內(nèi)存。由于多個CPU需要快速訪問存儲器，這樣就要對存儲器進行緩存（Cache）。

在Linux中，每個進程都有屬于自己的進程控制塊（PCB）和地址空間（Addr Space），并且都有一個與之對應的頁表，負責將進程的虛擬地址與物理地址進行映射，通過內(nèi)存管理單元（MMU）進行管理。兩個不同的虛擬地址通過頁表映射到物理空間的同一區(qū)域，它們所指向的這塊區(qū)域即共享內(nèi)存。

進程通信是指進程之間的信息交換。PV操作是低級通信方式（P操作和V操作，P表示申請，V表示釋放）。高級通信方式是指以較高的效率傳輸大量數(shù)據(jù)的通信方式。高級通信方法主要有以下三類：

共享存儲

在通信的進程之間存在一塊可直接訪問的共享空間，通過對這片共享空間進行寫/讀操作實現(xiàn)進程之間的信息交換。

在對共享空間進行寫/讀操作時，需要使用同步互斥工具（如P操作，V操作），對共享空間的寫/讀進行控制。

消息傳遞系統(tǒng)

在消息傳遞系統(tǒng)中，進程間的數(shù)據(jù)交換是以消息（Message）為單位的。程序員直接利用系統(tǒng)提供的一組通信命令（原語）來實現(xiàn)通信。

操作系統(tǒng)隱藏了通信的實現(xiàn)細節(jié)，大大簡化了通信程序編制的復雜性，因而獲得了廣泛的應用。在消息傳遞系統(tǒng)中，源進程可以直接或間接地將消息傳送給目標進程。

管道通信系統(tǒng)

管道通信是消息傳遞的一種特殊方式。所謂“管道”，是指用于連接一個讀進程和一個寫進程以實現(xiàn)它們之間通信的一個共享文件，又名pipe文件。它是讀寫進程的一個特殊文件（外存，數(shù)據(jù)量大），允許按照先來先服務的方式傳送數(shù)據(jù)，也能使進程同步執(zhí)行。

以下，ENJOY

用戶基于Cyber RT進行開發(fā)時，會將自己的模塊抽象為一系列的Component。這些Component既可以加載到同一個進程內(nèi)運行，也可以加載到不同進程中運行。

目前，同主機不同進程的Component間默認通過共享內(nèi)存進行通信。相比于其他進程間通信方式，共享內(nèi)存具備以下幾個優(yōu)點：

由多個進程共享，適合多進程讀／寫；

通信過程中無系統(tǒng)調用，減少了運行態(tài)切換的開銷；

沒有用戶內(nèi)存和內(nèi)核內(nèi)存之間的數(shù)據(jù)拷貝；

UNIX系統(tǒng)上有著各式各樣的IPC工具。根據(jù)工具的功能特點，可以將它們分為三類：

UNIX系統(tǒng)上IPC的結構圖

communication: 這類工具關注的是進程之間的數(shù)據(jù)傳輸；

signal: 信號既可以用于同步，還可以用于通信（傳遞signal number）。實時信號上還可以綁定數(shù)據(jù)。

synchronization: 這類工具關注的是進程之間操作的同步；

當然，不同工具的適用場景有所不同。比如pipe只能用于同一臺機器上的進程間通信，而socket卻可以用于網(wǎng)絡通信。

對于communication工具而言，我們可以將其分為兩類：

data transfer: 這類工具一般需要在用戶空間和內(nèi)核空間之間進行兩次數(shù)據(jù)傳輸。以pipe為例，ProcessA在寫入數(shù)據(jù)的時候，需要將數(shù)據(jù)從用戶空間拷貝至內(nèi)核空間；ProcessB在讀取數(shù)據(jù)時，需要將數(shù)據(jù)從內(nèi)核空間拷貝至用戶空間。

Process的數(shù)據(jù)傳輸

shared memory: 共享內(nèi)存允許進程通過將數(shù)據(jù)放到進程間共享的一塊內(nèi)存中來完成信息交換。在通信過程中，一方面不需要系統(tǒng)調用，另一方面也沒有用戶空間和內(nèi)核空間之間的數(shù)據(jù)傳輸。因此共享內(nèi)存通信速度比其他data transfer工具要快。

自動駕駛系統(tǒng)中，一些傳感器的消息較大，例如點云，圖像等。另外，錄制全量數(shù)據(jù)時，消息總的頻率高（2000Hz~3000Hz），傳輸量大(約7GBytes/s)。因此，Cyber RT采取共享內(nèi)存來進行進程間通信。

Cyber RT進程間通信主要有以下三個步驟：

消息寫入：發(fā)送方將消息寫入共享內(nèi)存區(qū)域；

同步：發(fā)送方通知接收方有新消息可讀；

消息讀取：接收方從共享內(nèi)存區(qū)域讀取消息；

下面介紹Cyber RT共享內(nèi)存區(qū)域和通知機制的設計。

Cyber RT中所有消息都有對應的channel來標識，比如感知模塊輸出的障礙物消息的channel為"/apollo/perception/obstacles"。一個channel可能有多個writer和多個reader。為了減少內(nèi)存拷貝，每個channel只有唯一的一塊共享內(nèi)存區(qū)域(Segment)。該channel的所有writer和reader都通過這塊區(qū)域進行消息傳輸。

Segment在內(nèi)存中的布局如下：

內(nèi)存中Segment的布局

state: 描述了當前Segment的狀態(tài)，包含已經(jīng)寫入的消息數(shù)量等信息；

block: 用于標記block buffer的讀寫狀態(tài)。block的數(shù)量是由該Segment傳輸消息的大小決定的。比如消息小于16KBytes時，block數(shù)量為512。

block buffer: 用于存放序列化后的消息，數(shù)量與block一致。

Segment對外的主要接口如下：

1//structWritableBlock{ 2//uint32_tindex=0; 3//Block*block=nullptr; 4//uint8_t*buf=nullptr; 5//}; 6//usingReadableBlock=WritableBlock; 7 8classSegment{ 9public:10...11boolAcquireBlockToWrite(std::size_tmsg_size,WritableBlock*writable_block);12voidReleaseWrittenBlock(constWritableBlock&writable_block);1314boolAcquireBlockToRead(ReadableBlock*readable_block);15voidReleaseReadBlock(constReadableBlock&readable_block);16...17};

Acquire與Release應當成對出現(xiàn)。

發(fā)送方將消息寫入到共享內(nèi)存區(qū)域后，需要通知接收方有新消息可讀。為了減少線程使用，Cyber RT采取了單線程監(jiān)聽。有一個專門的Dispatcher來執(zhí)行監(jiān)聽操作，同一進程內(nèi)的所有接收者都委托這個Dispatcher來進行監(jiān)聽。

在具體實現(xiàn)上，經(jīng)典的做法是采用mutex+condition_variable。當沒有新消息可讀時，Dispatcher在condition_variable上執(zhí)行wait操作。發(fā)送方寫入消息后，執(zhí)行notify操作。然而，實際測試發(fā)現(xiàn)notify有一定的抖動。因此，最終還是采取了輪詢的方式實現(xiàn)。

另外，Cyber RT還實現(xiàn)基于UDP組播的通知機制。目前，默認采取UDP組播來通知。

開發(fā)者可以通過修改cyber/conf/cyber.pb.conf中transport_conf的notifier_type來更改通知機制。

1transport_conf{ 2shm_conf{ 3#"multicast""condition" 4notifier_type:"multicast" 5shm_locator{ 6ip:"239.255.0.100" 7port:8888 8} 9}10participant_attr{11lease_duration:1212announcement_period:313domain_id_gain:20014port_base:1000015}16communication_mode{17same_proc:INTRA18diff_proc:SHM19diff_host:RTPS20}21resource_limit{22max_history_depth:100023}24}

消息從ShmTransmitter發(fā)出，到ShmReceiver收到的完整過程如下圖所示：

SHM Transport通信過程

ShmTransmitter：消息發(fā)送方。

ShmReceiver：消息接收方。

Segment：共享內(nèi)存區(qū)域的抽象，內(nèi)部包含一個循環(huán)隊列(一系列blocks)，每個block均可進行讀寫操作。

Notifier：用于發(fā)送/監(jiān)聽共享內(nèi)存可讀通知。

ShmDispatcher：代替ShmReceiver進行共享內(nèi)存監(jiān)聽和數(shù)據(jù)讀取。

Cyber RT與Apollo ROS的進程間通信都是使用的共享內(nèi)存。相比于Apollo ROS，Cyber RT主要做了以下兩個方面的改進。

之前消息傳輸過程中有4次數(shù)據(jù)拷貝：

serialize message to a string;

copy data of string to shared memory area;

copy data of shared memory area to a string;

deserialize message from string;

改進后，去除了中間變量string的使用，只保留必要的2次數(shù)據(jù)拷貝。

Cyber RT實現(xiàn)了一系列高性能的基礎數(shù)據(jù)結構，如ReadWriteLock， AtomicHashMap等。

在通信相關的代碼實現(xiàn)中，大量使用了上述基礎數(shù)據(jù)結構，從而進一步提升了性能。

對比發(fā)現(xiàn)，Cyber RT進程間傳輸性能優(yōu)于Apollo ROS。

Cyber RT與Apollo ROS傳輸性能比較

本文首先介紹了常見的IPC工具，然后結合自動駕駛的實際場景，解釋了使用共享內(nèi)存進行進程間通信的原因。之后，圍繞通信的過程，介紹了共享內(nèi)存區(qū)域和通知機制的設計。最后，對比了Cyber RT和Apollo ROS的進程間傳輸性能。