摘要：本文展示了如何基于nolearn使用一些卷積層和池化層來建立一個(gè)簡(jiǎn)單的ConvNet體系結(jié)構(gòu)，以及如何使用ConvNet去訓(xùn)練一個(gè)特征提取器，然后在使用如SVM、Logistic回歸等不同的模型之前使用它來進(jìn)行特征提取。
?

卷積神經(jīng)網(wǎng)絡(luò)（ConvNets）是受生物啟發(fā)的MLPs（多層感知器），它們有著不同類別的層，并且每層的工作方式與普通的MLP層也有所差異。如果你對(duì)ConvNets感興趣，這里有個(gè)很好的教程CS231n?–?Convolutional?Neural?Newtorks?for?Visual?Recognition。CNNs的體系結(jié)構(gòu)如下所示：

常規(guī)的神經(jīng)網(wǎng)絡(luò)

ConvNet網(wǎng)絡(luò)體系結(jié)構(gòu)

如你所見，ConvNets工作時(shí)伴隨著3D卷積并且在不斷轉(zhuǎn)變著這些3D卷積。我在這篇文章中不會(huì)再重復(fù)整個(gè)CS231n的教程，所以如果你真的感興趣，請(qǐng)?jiān)诶^續(xù)閱讀之前先花點(diǎn)時(shí)間去學(xué)習(xí)一下。

Lasagne 和 nolearn

Lasagne和nolearn是我最喜歡使用的深度學(xué)習(xí)Python包。Lasagne是基于Theano的，所以GPU的加速將大有不同，并且其對(duì)神經(jīng)網(wǎng)絡(luò)創(chuàng)建的聲明方法也很有幫助。nolearn庫是一個(gè)神經(jīng)網(wǎng)絡(luò)軟件包實(shí)用程序集（包含Lasagne），它在神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)的創(chuàng)建過程上、各層的檢驗(yàn)等都能夠給我們很大的幫助。

在這篇文章中我要展示的是，如何使用一些卷積層和池化層來建立一個(gè)簡(jiǎn)單的ConvNet體系結(jié)構(gòu)。我還將向你展示如何使用ConvNet去訓(xùn)練一個(gè)特征提取器，在使用如SVM、Logistic回歸等不同的模型之前使用它來進(jìn)行特征提取。大多數(shù)人使用的是預(yù)訓(xùn)練ConvNet模型，然后刪除最后一個(gè)輸出層，接著從ImageNets數(shù)據(jù)集上訓(xùn)練的ConvNets網(wǎng)絡(luò)提取特征。這通常被稱為是遷移學(xué)習(xí)，因?yàn)閷?duì)于不同的問題你可以使用來自其它的ConvNets層，由于ConvNets的第一層過濾器被當(dāng)做是一個(gè)邊緣探測(cè)器，所以它們可以用來作為其它問題的普通特征探測(cè)器。

加載MNIST數(shù)據(jù)集

MNIST數(shù)據(jù)集是用于數(shù)字識(shí)別最傳統(tǒng)的數(shù)據(jù)集之一。我們使用的是一個(gè)面向Python的版本，但先讓我們導(dǎo)入需要使用的包：
import matplotlib
import matplotlib.pyplot as plt
import matplotlib.cm as cm
from urllib import urlretrieve
import cPickle as pickle
import os
import gzip
import numpy as np
import theano
import lasagne
from lasagne import layers
from lasagne.updates import nesterov_momentum
from nolearn.lasagne import NeuralNet
from nolearn.lasagne import visualize
from sklearn.metrics import classification_report
from sklearn.metrics import confusion_matrix

正如你所看到的，我們導(dǎo)入了用于繪圖的matplotlib包，一些用于下載MNIST數(shù)據(jù)集的原生Python模塊，numpy， theano，lasagne，nolearn 以及 scikit-learn庫中用于模型評(píng)估的一些函數(shù)。

然后，我們定義一個(gè)加載MNIST數(shù)據(jù)集的函數(shù)（這個(gè)功能與Lasagne教程上使用的非常相似）
def load_dataset():
url = 'http://deeplearning.net/data/mnist/mnist.pkl.gz'
filename = 'mnist.pkl.gz'
if not os.path.exists(filename):
print("Downloading MNIST dataset...")
urlretrieve(url, filename)
with gzip.open(filename, 'rb') as f:
data = pickle.load(f)
X_train, y_train = data[0]
X_val, y_val = data[1]
X_test, y_test = data[2]
X_train = X_train.reshape((-1, 1, 28, 28))
X_val = X_val.reshape((-1, 1, 28, 28))
X_test = X_test.reshape((-1, 1, 28, 28))
y_train = y_train.astype(np.uint8)
y_val = y_val.astype(np.uint8)
y_test = y_test.astype(np.uint8)
return X_train, y_train, X_val, y_val, X_test, y_test

正如你看到的，我們正在下載處理過的MNIST數(shù)據(jù)集，接著把它拆分為三個(gè)不同的數(shù)據(jù)集，分別是：訓(xùn)練集、驗(yàn)證集和測(cè)試集。然后重置圖像內(nèi)容，為之后的Lasagne輸入層做準(zhǔn)備，與此同時(shí)，由于GPU/theano數(shù)據(jù)類型的限制，我們還把numpy的數(shù)據(jù)類型轉(zhuǎn)換成了uint8。

隨后，我們準(zhǔn)備加載MNIST數(shù)據(jù)集并檢驗(yàn)它：
X_train, y_train, X_val, y_val, X_test, y_test = load_dataset()
plt.imshow(X_train[0][0], cmap=cm.binary)

這個(gè)代碼將輸出下面的圖像（我用的是IPython Notebook）

一個(gè)MNIST數(shù)據(jù)集的數(shù)字實(shí)例（該實(shí)例是5）

ConvNet體系結(jié)構(gòu)與訓(xùn)練