概述

IPFS - InterPlanetary File System 星際文件系統(tǒng)，是一個(gè)點(diǎn)對(duì)點(diǎn)的分布式文件存儲(chǔ)系統(tǒng)，IPFS的愿景是構(gòu)建一個(gè)全世界的分布式網(wǎng)絡(luò)，用來(lái)替代傳統(tǒng)中心化的服務(wù)器模式，所有的IPFS節(jié)點(diǎn)組成一個(gè)分布式網(wǎng)絡(luò)，每個(gè)節(jié)點(diǎn)都可以存儲(chǔ)文件，用戶可以從IPFS構(gòu)建的網(wǎng)絡(luò)中以DHT（Distributed Hash Table，分布式哈希表） 的方式獲取文件，從而實(shí)現(xiàn)了新一代的完全去中心化的網(wǎng)絡(luò)，旨在取代現(xiàn)有的萬(wàn)維網(wǎng)。IPFS功能很豐富，包括DHT組網(wǎng)，文件存儲(chǔ)，Bitswap文件交換等功能。本文主要介紹IPFS的文件存儲(chǔ)原理，文件上傳到IPFS節(jié)點(diǎn)存儲(chǔ)時(shí)，節(jié)點(diǎn)會(huì)將文件分塊后進(jìn)行存儲(chǔ)，每個(gè)文件以Merkle DAG（默克爾有向無(wú)環(huán)圖）的格式組織，而Merkle DAG的根哈希則用來(lái)表示該文件。本文將對(duì)IPFS存儲(chǔ)進(jìn)行詳解，所述的IPFS的版本為v0.6.0。

CID

在介紹IPFS存儲(chǔ)文件的遠(yuǎn)離之前，先介紹一個(gè)重要的標(biāo)識(shí)——CID（Content-ID），CID是IPFS中用來(lái)表示內(nèi)容的標(biāo)識(shí)，可以用來(lái)表示一個(gè)文件，也可以用來(lái)表示一個(gè)文件塊。如下所示，CID是一個(gè)字符串，它主要由Version、Codec和Multihash三部分構(gòu)成，Version目前分為v0和v1版本，v0版本的CID可以由V0Builder生成，v0版本的CID以Qm字符串開(kāi)頭，v1版本的CID可以由V1Builder生成，v1版本的CID主要包含三個(gè)部分Codec，MhType和MhLength，其中Codec是表示內(nèi)容的編碼類型，例如DagProtobuf（即protobuf格式），DagCBOR（即cbor格式）等，MhType是哈希算法，例如SHA2_256（默認(rèn)的哈希算法），SHA2_512，SHA3_256，SHA3_512等等，MhLength是生成哈希的長(zhǎng)度，默認(rèn)用-1表示根據(jù)哈希算法確定長(zhǎng)度。

IPFS組件介紹

IPFS用IpfsNode表示IPFS的節(jié)點(diǎn)，存儲(chǔ)相關(guān)組件的如下所示：

這些組件的關(guān)系如下圖所示，最上層是DAGService，它組合了BlockService組件，而B(niǎo)lockService組合了GCBlockstore組件，然后GCBlockstroe包含BaseBlocks和GCLocker兩個(gè)組件，最后BaseBlocks組合了最原始的blockstore組件。

接下來(lái)分別介紹這些組件的功能：

Pinning：固定CID的管理器，主要負(fù)責(zé)將文件或者文件塊（又叫Block）的CID固定，固定CID的塊不會(huì)被GC掉。上傳的文件最后的文件的CID都會(huì)被固定住，防止被GC。

Blockstore：GCBlockstore類型，組合Blockstore和GCLocker兩個(gè)組件。

BaseBlocks：原始的blockstore，提供了對(duì)Block的Get/Put/Has/DeleteBlock等操作。

GCLocker：用來(lái)鎖住blockstore，保護(hù)blockstore防止被GC影響。

Blocks：提供Block的服務(wù)，組合Blockstore組件，提供了GetBlock/GetBlocks、AddBlock/AddBlocks、DeleteBlock等操作。

DAG：IPFS的默克爾DAG的服務(wù)，組合BlockService組件，提供Get/GetMany，Add/AddMany，Remove/RemoveMany等操作。

文件存儲(chǔ)流程

文件上傳時(shí)將文件添加到IPFS的倉(cāng)庫(kù)中，上傳的流程可以如下圖所示，生成默克爾DAG的結(jié)構(gòu)，生成的結(jié)構(gòu)有兩種Layout：balanced和trickle的。這里介紹默認(rèn)的balanced結(jié)構(gòu)，首先生成root作為根節(jié)點(diǎn)，然后將文件分割，默認(rèn)按照256KB大小讀取一個(gè)chunk，生成葉子節(jié)點(diǎn)，依次生成node1，node2，root節(jié)點(diǎn)會(huì)有Link指向掛在root節(jié)點(diǎn)的葉子節(jié)點(diǎn)node1和node2。root節(jié)點(diǎn)下面能夠Link的葉子節(jié)點(diǎn)數(shù)量是有限的，IPFS中默認(rèn)設(shè)置的是174個(gè)（定義的Link的總的大小是8KB，每個(gè)Link的大小是34 + 8 + 5【sha256 multihash + size + no name + protobuf framing】，默認(rèn)的Link的個(gè)數(shù)為8192/47約等于174）。

如下圖所示，超過(guò)174個(gè)后則會(huì)新創(chuàng)建一個(gè)new root節(jié)點(diǎn)，并Link到old root，新的chunk作為node3（這里用node3簡(jiǎn)約了，實(shí)際上是第175個(gè)節(jié)點(diǎn)）被new root直接Link。

當(dāng)繼續(xù)有新的chunk添加時(shí)，則會(huì)生成node34作為node3和node4的父節(jié)點(diǎn)，node34含有兩個(gè)Link分別鏈接到node3和node4。

IPFS在init的時(shí)候會(huì)生成.ipfs目錄，如下圖所示，其中blocks則為文件塊存儲(chǔ)的目錄，datastore為leveldb數(shù)據(jù)庫(kù)，其中存儲(chǔ)了文件系統(tǒng)的根哈希等，存儲(chǔ)相關(guān)的配置關(guān)聯(lián)在.ipfs目錄下面的config文件。

經(jīng)過(guò)上面的步驟，文件已經(jīng)切塊并轉(zhuǎn)化成Merkle DAG的結(jié)構(gòu)，接下來(lái)詳細(xì)介紹每個(gè)塊是如何進(jìn)行存儲(chǔ)的流程。

如下圖所示，一個(gè)Block存儲(chǔ)時(shí)，首先由dagService（實(shí)現(xiàn)了DAGService接口）調(diào)用Add進(jìn)行添加；

之后由blockService（實(shí)現(xiàn)了BlockService接口）調(diào)用AddBlock添加該Block；

再調(diào)用arccache的Put，arccache是對(duì)存儲(chǔ)的Block做arc策略的緩存；

再之后由VerifBS調(diào)用Put進(jìn)行存儲(chǔ)，VerifyBS主要對(duì)CID的合法性進(jìn)行校驗(yàn)，合法則進(jìn)行Put；

接著blockstore（實(shí)現(xiàn)了Blockstore接口）調(diào)用Put進(jìn)行存儲(chǔ)，Put函數(shù)中會(huì)對(duì)CID進(jìn)行轉(zhuǎn)化，調(diào)用dshelp的CidToDsKey方法將CID轉(zhuǎn)化成存儲(chǔ)的Key；

再接著調(diào)用keytransform.Datastore的Put，Put函數(shù)中會(huì)將前綴拼上，這時(shí)Key加上了前綴/blocks；

然后調(diào)用measure的Put函數(shù)，measure是對(duì)mount的封裝；

之后調(diào)用mount的Put函數(shù)，mount和IPFS的config配置文件中結(jié)構(gòu)對(duì)應(yīng)，根據(jù)key去查找對(duì)應(yīng)的datastore，由于前綴是/blocks則可以找到對(duì)應(yīng)的measure；

調(diào)用該measure的Put函數(shù)；

最后調(diào)用flatfs的Put函數(shù)，由Put函數(shù)調(diào)用doPut最終調(diào)用encode函數(shù)將完整的block寫(xiě)入的目錄指定為/home/test/.ipfs/blocks/WD，其中WD來(lái)自于blocks/CIQFSQATUBIEIFDECKTNGHOKPOEE7WUPM5NNNSJCCDROMM6YHEKTWDY中的倒數(shù)第三第二個(gè)字符。這樣該Block則寫(xiě)入了該目錄下面的文件中。

總結(jié)

IPFS文件存儲(chǔ)格式為默克爾DAG格式，每一層Links大小為174個(gè)，超過(guò)了則會(huì)重新調(diào)整。文件存儲(chǔ)過(guò)程中有多個(gè)Datastore進(jìn)行了組合和封裝，每個(gè)Datastore功能比較單一，例如arccache只做Block的緩存，VerifBS只做CID的校驗(yàn)，這樣做的好處是每個(gè)組件功能明確，不好的地方在于組合太多，調(diào)用深度太深，加上內(nèi)部都是用interface，好幾個(gè)組件都實(shí)現(xiàn)了該interface，不便于閱讀。

IPFS的存儲(chǔ)模式面向互聯(lián)網(wǎng)用戶而設(shè)計(jì)，因?yàn)樗拈_(kāi)放性，允許所有節(jié)點(diǎn)隨意接入，已接入IPFS網(wǎng)絡(luò)的節(jié)點(diǎn)可以自由查找內(nèi)容，不適合直接用來(lái)作為企業(yè)的文件存儲(chǔ)服務(wù)。但其分布式存儲(chǔ)的特點(diǎn)，很容易進(jìn)行存儲(chǔ)的動(dòng)態(tài)擴(kuò)容，可以通過(guò)結(jié)合節(jié)點(diǎn)認(rèn)證機(jī)制和DHT查找內(nèi)容的剝離，為企業(yè)的分布式存儲(chǔ)系統(tǒng)，另外配合區(qū)塊鏈技術(shù)，通過(guò)鏈上鏈下協(xié)同技術(shù)，很容易地解決鏈上存儲(chǔ)容量不足的問(wèn)題。
責(zé)任編輯人：CC