為什么需要安裝cudnn

cuDNN的全稱為NVIDIA CUDA? Deep Neural Network library，是NVIDIA專門針對深度神經網絡（Deep Neural Networks）中的基礎操作而設計基于GPU的加速庫。cuDNN為深度神經網絡中的標準流程提供了高度優化的實現方式，例如convolution、pooling、normalization以及activation layers的前向以及后向過程。

cuDNN只是NVIDIA深度神經網絡軟件開發包中的其中一種加速庫。

各深度學習框架安裝cuDNN需知

基本上所有的深度學習框架都支持cuDNN這一加速工具，例如：Caffe、Caffe2、TensorFlow、Torch、Pytorch、Theano等。

Caffe可以通過修改Makefile.config中的相應選項來修改是否在編譯Caffe的過程中編譯cuDNN，如果沒有編譯cuDNN的話，執行一些基于Caffe這一深度學習框架的程序速度上要慢3-5倍（Caffe官網上說不差多少，明明差很多嘛）。Caffe對cuDNN的版本不是很嚴格，只要大于cuDNN 4就可以。

TensorFlow目前的版本r1.2，強行要求裝cuDNN，而且對版本也有相應的限制（cuDNN 5.1）。不過就官方說明看，TensorFlow將在下一個版本r1.3中加入對cuDNN 6.0的支持。

Torch通過LuaJit可以自動檢測目前系統中的cuDNN版本來進行相應的編譯（如沒有cuDNN，也可在進行Torch的安裝）。

如何安裝cudnn

首先說一下網上大多數中文安裝cuDNN教程的錯誤方式，這種方式真的坑人無數。

簡單地說網上的大多錯誤的安裝cuDNN的方式都是將下載后的cuDNN壓縮包解壓。然后再將cudnn的頭文件（cuda/include目錄下的.h文件）復制到cuda安裝路徑的include路徑下，將cudnn的庫文件（cuda/lib64目錄下的所有文件）復制到cuda安裝路徑的lib64路徑下。這種方法如果不重置cuDNN相應的符號鏈接的話是不能成功的安裝cuDNN的。

下面我們說一下正確的安裝cuDNN方式，其實跟著官方安裝說明進行安裝就可以了。

如果這個壓縮包不是.tgz格式的，把這個壓縮包重命名為.tgz格式。解壓當前的.tgz格式的軟件包到系統中的任意路徑（這個路徑很重要，以下將該路徑的絕對路徑簡稱為/your/path/to/cudnn），解壓后的文件夾名為cuda，文件夾中包含兩個文件夾：一個為include，另一個為lib64。
例如：我將這個壓縮包解壓在了/usr/local目錄下，那么該文件的絕對路徑為/usr/local/cuda

將解壓后的文件中的lib64文件夾關聯到環境變量中。這一步很重要。

cd~
sudogedit .bashrc

在彈出的gedit文檔編輯器（.bashrc中）中最后一行加入：

export?LD_LIBRARY_PATH=/your/path/to/cudnn/lib64:$LD_LIBRARY_PATH

其中/your/path/to/cudnn/lib64是指.tgz解壓后的文件所在路徑中的lib64文件夾。
保存更改的文件后，緊接著：

source.bashrc

再重啟一下Terminal（終端），該步驟可以成功的配置cuDNN的Lib文件。

配置cuDNN的最后一步就是將解壓后的cuDNN文件夾（一般該文件名為cuda）中的include文件夾（/your/path/to/cudnn/include）中的cudnn.h文件拷貝到/usr/local/cuda/include中，由于進入了系統路徑，因此執行該操作時需要獲取管理員權限。

打開終端，進入/your/path/to/cudnn/include。其中/your/path/to/cudnn/include指的是.tgz解壓后的文件所在路徑中的include文件夾。例如：

cd cuda/include
sudo cp *.h /usr/local/cuda/include/

其中這里的cuda/include對于我自己的安裝來說就是/your/path/to/cudnn/include。因為我將cudnn的.tgz壓縮包解壓到了home的當前用戶的路徑下，解壓后的文件夾名為cuda。

之后，再重置cudnn.h文件的讀寫權限：

sudo chmoda+r /usr/local/cuda/include/cudnn.h

至此，cuDNN的配置就全部安裝完成了。