TensorFlow   網(wǎng)絡(luò)傳輸

0. 寫在前面

tensorflow分布式訓(xùn)練時(shí)，grpc的 慢 一直都被很多人所詬病。在早期的版本中，由于實(shí)現(xiàn)的一些原因，的確存在一些性能問題(可以參見這個(gè) issue )。

但隨著項(xiàng)目的迭代，現(xiàn)在性能如何，就有些莫衷一是了。這里通過對兩個(gè)項(xiàng)目master分支代碼的一些測試，希望能探討下這些問題。

1. 直觀的看傳輸速率

這里先用 一個(gè)測試程序 測試下tensor在兩個(gè)機(jī)器中的傳輸速率。測試使用的兩臺(tái)機(jī)器配置的都是萬兆以太網(wǎng)的網(wǎng)卡：

[work@host benchtools]$ ethtool eth0  
Settings for eth0:
...
        Speed: 10000Mb/s
...
在兩臺(tái)機(jī)器上分別跑測試程序的worker和ps：

[host1] python tensor_transfer_throughput.py --ps_hosts=host1:12222 --worker_hosts=host2:12222 --job=ps --task=0
[host2] python tensor_transfer_throughput.py --ps_hosts=host1:12222 --worker_hosts=host2:12222 --data_mb=100 --job=worker --task=0 --iters=100
測試程序干的事情很簡單：在ps和worker上各創(chuàng)建一個(gè)相同大小的variable, 然后worker反復(fù)將自己的variable assign給ps。在上面的測試中，我們將variable的大小設(shè)置為100M，傳輸次數(shù)為100。

測試結(jié)果在worker運(yùn)行結(jié)束后可以看到：

[host2] python tensor_transfer_throughput.py --ps_hosts=host1:12222 --worker_hosts=host2:12222 --data_mb=100 --job=worker --task=0 --iters=100
....
transfer rate: 173.488801 MB/s
利用ifstat工具也可以看到網(wǎng)絡(luò)的傳輸性能：

[hosts1]$ ./ifstat
      eth0                eth1      
KB/s in  KB/s out   KB/s in  KB/s out
  191.95  176435.6      0.00      0.00
  206.18  170675.3      0.00      0.00
  222.45  220156.5      0.00      0.00
  162.84  169024.8      0.00      0.00
  224.44  211070.7      0.00      0.00
可以看到兩種測試的througput效果差不多。理論上來說ifstat可能會(huì)比worker的輸出稍微大一點(diǎn)，因?yàn)間rpc要為每次傳輸額外添加一些header信息。但和100MB的數(shù)據(jù)相比，應(yīng)該可以忽略不計(jì)。

但無論是哪個(gè)結(jié)果，離理論值的1.25GBps(10Gbps)差距仍舊非常大。所以初步來看，網(wǎng)卡的利用率是比較低的。

2. 單獨(dú)測試grpc

為了驗(yàn)證問題是不是出在grpc這里，我利用 另一個(gè)測試程序 ，來測試grpc本身的傳輸效率。

程序不太復(fù)雜，要點(diǎn)包括：

client和server端的功能要簡單，盡量減少額外操作所帶來的時(shí)間開銷：client只負(fù)責(zé)無腦發(fā)送，server端也要直接丟棄收到的數(shù)據(jù)。

直接利用grpc的ByteBuffer，從而避免掉在發(fā)送和接收時(shí)的memcpy。這點(diǎn)和tensorflow發(fā)送tensor的流程也是一致的。

server端可以創(chuàng)建多個(gè)completion queue, 從而可以指定多個(gè)worker線程。

client利用異步接口。可以指定傳輸并發(fā)度，也可以允許grpc創(chuàng)建多個(gè)channel。

可以指定發(fā)送數(shù)據(jù)和響應(yīng)數(shù)據(jù)塊的大小。

然后將程序部署到兩臺(tái)機(jī)器上開始測試。client每次向server發(fā)送100M數(shù)據(jù)，共發(fā)送1000條：

[host1] ./grpc_raw --job_type=server --server_threads=1 --message_size=10
[host2] ./grpc_raw --job_type=client --job_type=client --target_ip=host1 --total_message=1000 --message_size=104857600
利用ifstat看結(jié)果：

[work@host2 benchtools]$ ./ifstat
      eth0                 eth1      
KB/s in  KB/s out   KB/s in  KB/s out
  162.05  198529.9      0.00      0.00
  128.67  150799.5      0.00      0.00
  196.09  203136.0      0.00      0.00
  169.20  192864.8      0.00      0.00
  130.67  146532.7      0.00      0.00
可以看到和測tensor傳輸時(shí)類似，也是170MBps左右，離1.25GBps的理論值也差距較大。

3. 為什么慢

為了進(jìn)一步確定問題，我用 iperf 工具對網(wǎng)絡(luò)的throughput做了單獨(dú)的測試：

[host1] ./iperf3 -s -i 5
[host2] ./iperf3 -c host1 -i 5 -t 1000
測試結(jié)果如下：