在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

【連載】深度學(xué)習(xí)筆記12:卷積神經(jīng)網(wǎng)絡(luò)的Tensorflow實(shí)現(xiàn)

人工智能實(shí)訓(xùn)營 ? 2018-10-30 18:50 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

在上一講中,我們學(xué)習(xí)了如何利用 numpy 手動(dòng)搭建卷積神經(jīng)網(wǎng)絡(luò)。但在實(shí)際的圖像識(shí)別中,使用 numpy 去手寫 CNN 未免有些吃力不討好。在 DNN 的學(xué)習(xí)中,我們也是在手動(dòng)搭建之后利用 Tensorflow 去重新實(shí)現(xiàn)一遍,一來為了能夠?qū)ι窠?jīng)網(wǎng)絡(luò)的傳播機(jī)制能夠理解更加透徹,二來也是為了更加高效使用開源框架快速搭建起深度學(xué)習(xí)項(xiàng)目。本節(jié)就繼續(xù)和大家一起學(xué)習(xí)如何利用 Tensorflow 搭建一個(gè)卷積神經(jīng)網(wǎng)絡(luò)。

我們繼續(xù)以 NG 課題組提供的 sign 手勢(shì)數(shù)據(jù)集為例,學(xué)習(xí)如何通過 Tensorflow 快速搭建起一個(gè)深度學(xué)習(xí)項(xiàng)目。數(shù)據(jù)集標(biāo)簽共有零到五總共 6 類標(biāo)簽,示例如下:


先對(duì)數(shù)據(jù)進(jìn)行簡單的預(yù)處理并查看訓(xùn)練集和測試集維度:

X_train = X_train_orig/255.
X_test = X_test_orig/255.
Y_train = convert_to_one_hot(Y_train_orig, 6).T Y_test = convert_to_one_hot(Y_test_orig, 6).T
print ("number of training examples = " + str(X_train.shape[0]))
print ("number of test examples = " + str(X_test.shape[0]))
print ("X_train shape: " + str(X_train.shape))
print ("Y_train shape: " + str(Y_train.shape))
print ("X_test shape: " + str(X_test.shape))
print ("Y_test shape: " + str(Y_test.shape))

640?wx_fmt=png
可見我們總共有 1080 張 64643 訓(xùn)練集圖像,120 張 64643 的測試集圖像,共有 6 類標(biāo)簽。下面我們開始搭建過程。

創(chuàng)建 placeholder

首先需要為訓(xùn)練集預(yù)測變量和目標(biāo)變量創(chuàng)建占位符變量 placeholder ,定義創(chuàng)建占位符變量函數(shù):

def create_placeholders(n_H0, n_W0, n_C0, n_y):  
""" Creates the placeholders for the tensorflow session. Arguments: n_H0 -- scalar, height of an input image n_W0 -- scalar, width of an input image n_C0 -- scalar, number of channels of the input n_y -- scalar, number of classes Returns: X -- placeholder for the data input, of shape [None, n_H0, n_W0, n_C0] and dtype "float" Y -- placeholder for the input labels, of shape [None, n_y] and dtype "float" """ X = tf.placeholder(tf.float32, shape=(None, n_H0, n_W0, n_C0), name='X') Y = tf.placeholder(tf.float32, shape=(None, n_y), name='Y')
return X, Y
參數(shù)初始化

然后需要對(duì)濾波器權(quán)值參數(shù)進(jìn)行初始化:

def initialize_parameters():  
""" Initializes weight parameters to build a neural network with tensorflow. Returns: parameters -- a dictionary of tensors containing W1, W2 """ tf.set_random_seed(1) W1 = tf.get_variable("W1", [4,4,3,8], initializer = tf.contrib.layers.xavier_initializer(seed = 0)) W2 = tf.get_variable("W2", [2,2,8,16], initializer = tf.contrib.layers.xavier_initializer(seed = 0)) parameters = {"W1": W1,
"W2": W2}
return parameters
執(zhí)行卷積網(wǎng)絡(luò)的前向傳播過程

640?wx_fmt=png
前向傳播過程如下所示:
CONV2D -> RELU -> MAXPOOL -> CONV2D -> RELU -> MAXPOOL -> FLATTEN -> FULLYCONNECTED


可見我們要搭建的是一個(gè)典型的 CNN 過程,經(jīng)過兩次的卷積-relu激活-最大池化,然后展開接上一個(gè)全連接層。利用
Tensorflow 搭建上述傳播過程如下:

def forward_propagation(X, parameters):  
""" Implements the forward propagation for the model Arguments: X -- input dataset placeholder, of shape (input size, number of examples) parameters -- python dictionary containing your parameters "W1", "W2" the shapes are given in initialize_parameters Returns: Z3 -- the output of the last LINEAR unit """ # Retrieve the parameters from the dictionary "parameters" W1 = parameters['W1'] W2 = parameters['W2']
# CONV2D: stride of 1, padding 'SAME' Z1 = tf.nn.conv2d(X,W1, strides = [1,1,1,1], padding = 'SAME')
# RELU A1 = tf.nn.relu(Z1)
# MAXPOOL: window 8x8, sride 8, padding 'SAME' P1 = tf.nn.max_pool(A1, ksize = [1,8,8,1], strides = [1,8,8,1], padding = 'SAME')
# CONV2D: filters W2, stride 1, padding 'SAME' Z2 = tf.nn.conv2d(P1,W2, strides = [1,1,1,1], padding = 'SAME')
# RELU A2 = tf.nn.relu(Z2)
# MAXPOOL: window 4x4, stride 4, padding 'SAME' P2 = tf.nn.max_pool(A2, ksize = [1,4,4,1], strides = [1,4,4,1], padding = 'SAME')
# FLATTEN P2 = tf.contrib.layers.flatten(P2) Z3 = tf.contrib.layers.fully_connected(P2, 6, activation_fn = None)
return Z3
計(jì)算當(dāng)前損失

Tensorflow 中計(jì)算損失函數(shù)非常簡單,一行代碼即可:

def compute_cost(Z3, Y):  
""" Computes the cost Arguments: Z3 -- output of forward propagation (output of the last LINEAR unit), of shape (6, number of examples) Y -- "true" labels vector placeholder, same shape as Z3 Returns: cost - Tensor of the cost function """ cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=Z3, labels=Y))
return cost

定義好上述過程之后,就可以封裝整體的訓(xùn)練過程模型。可能你會(huì)問為什么沒有反向傳播,這里需要注意的是 Tensorflow 幫助我們自動(dòng)封裝好了反向傳播過程,無需我們?cè)俅味x,在實(shí)際搭建過程中我們只需將前向傳播的網(wǎng)絡(luò)結(jié)構(gòu)定義清楚即可。

封裝模型
def model(X_train, Y_train, X_test, Y_test, learning_rate = 0.009,
     num_epochs = 100, minibatch_size = 64, print_cost = True):  
""" Implements a three-layer ConvNet in Tensorflow: CONV2D -> RELU -> MAXPOOL -> CONV2D -> RELU -> MAXPOOL -> FLATTEN -> FULLYCONNECTED Arguments: X_train -- training set, of shape (None, 64, 64, 3) Y_train -- test set, of shape (None, n_y = 6) X_test -- training set, of shape (None, 64, 64, 3) Y_test -- test set, of shape (None, n_y = 6) learning_rate -- learning rate of the optimization num_epochs -- number of epochs of the optimization loop minibatch_size -- size of a minibatch print_cost -- True to print the cost every 100 epochs Returns: train_accuracy -- real number, accuracy on the train set (X_train) test_accuracy -- real number, testing accuracy on the test set (X_test) parameters -- parameters learnt by the model. They can then be used to predict. """ ops.reset_default_graph() tf.set_random_seed(1) seed = 3 (m, n_H0, n_W0, n_C0) = X_train.shape n_y = Y_train.shape[1] costs = [] # Create Placeholders of the correct shape X, Y = create_placeholders(n_H0, n_W0, n_C0, n_y)
# Initialize parameters parameters = initialize_parameters()
# Forward propagation Z3 = forward_propagation(X, parameters)
# Cost function cost = compute_cost(Z3, Y)
# Backpropagation optimizer = tf.train.AdamOptimizer(learning_rate = learning_rate).minimize(cost) # Initialize all the variables globally init = tf.global_variables_initializer()
# Start the session to compute the tensorflow graph with tf.Session() as sess:
# Run the initialization sess.run(init)
# Do the training loop for epoch in range(num_epochs): minibatch_cost = 0. num_minibatches = int(m / minibatch_size) seed = seed + 1 minibatches = random_mini_batches(X_train, Y_train, minibatch_size, seed)
for minibatch in minibatches:
# Select a minibatch (minibatch_X, minibatch_Y) = minibatch _ , temp_cost = sess.run([optimizer, cost], feed_dict={X: minibatch_X, Y: minibatch_Y}) minibatch_cost += temp_cost / num_minibatches
# Print the cost every epoch if print_cost == True and epoch % 5 == 0:
print ("Cost after epoch %i: %f" % (epoch, minibatch_cost))
if print_cost == True and epoch % 1 == 0: costs.append(minibatch_cost)
# plot the cost plt.plot(np.squeeze(costs)) plt.ylabel('cost') plt.xlabel('iterations (per tens)') plt.title("Learning rate =" + str(learning_rate)) plt.show() # Calculate the correct predictions predict_op = tf.argmax(Z3, 1) correct_prediction = tf.equal(predict_op, tf.argmax(Y, 1))
# Calculate accuracy on the test set accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float")) print(accuracy) train_accuracy = accuracy.eval({X: X_train, Y: Y_train}) test_accuracy = accuracy.eval({X: X_test, Y: Y_test}) print("Train Accuracy:", train_accuracy) print("Test Accuracy:", test_accuracy)

return train_accuracy, test_accuracy, parameters

對(duì)訓(xùn)練集執(zhí)行模型訓(xùn)練:

_,_,parameters=model(X_train,Y_train,X_test,Y_test)

訓(xùn)練迭代過程如下:

640?wx_fmt=png


我們?cè)谟?xùn)練集上取得了 0.67 的準(zhǔn)確率,在測試集上的預(yù)測準(zhǔn)確率為 0.58 ,雖然效果并不顯著,模型也有待深度調(diào)優(yōu),但我們已經(jīng)學(xué)會(huì)了如何用 Tensorflow 快速搭建起一個(gè)深度學(xué)習(xí)系統(tǒng)了。


聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    BP神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)的比較

    BP神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)在多個(gè)方面存在顯著差異,以下是對(duì)兩者的比較: 一、結(jié)構(gòu)特點(diǎn) BP神經(jīng)網(wǎng)絡(luò) : BP神經(jīng)網(wǎng)絡(luò)是一種多層的前饋
    的頭像 發(fā)表于 02-12 15:53 ?644次閱讀

    BP神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的關(guān)系

    BP神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)之間存在著密切的關(guān)系,以下是對(duì)它們之間關(guān)系的介紹: 一、BP神經(jīng)網(wǎng)絡(luò)的基本概念 BP神經(jīng)網(wǎng)絡(luò),即反向傳播
    的頭像 發(fā)表于 02-12 15:15 ?841次閱讀

    深度學(xué)習(xí)入門:簡單神經(jīng)網(wǎng)絡(luò)的構(gòu)建與實(shí)現(xiàn)

    深度學(xué)習(xí)中,神經(jīng)網(wǎng)絡(luò)是核心模型。今天我們用 Python 和 NumPy 構(gòu)建一個(gè)簡單的神經(jīng)網(wǎng)絡(luò)。 神經(jīng)網(wǎng)絡(luò)由多個(gè)
    的頭像 發(fā)表于 01-23 13:52 ?514次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)工具與框架

    卷積神經(jīng)網(wǎng)絡(luò)因其在圖像和視頻處理任務(wù)中的卓越性能而廣受歡迎。隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展,多種實(shí)現(xiàn)工具和框架應(yīng)運(yùn)而生,為研究人員和開發(fā)者提供了
    的頭像 發(fā)表于 11-15 15:20 ?654次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的比較

    深度學(xué)習(xí)領(lǐng)域,神經(jīng)網(wǎng)絡(luò)模型被廣泛應(yīng)用于各種任務(wù),如圖像識(shí)別、自然語言處理和游戲智能等。其中,卷積神經(jīng)網(wǎng)絡(luò)(CNNs)和傳統(tǒng)
    的頭像 發(fā)表于 11-15 14:53 ?1839次閱讀

    深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)模型

    深度學(xué)習(xí)近年來在多個(gè)領(lǐng)域取得了顯著的進(jìn)展,尤其是在圖像識(shí)別、語音識(shí)別和自然語言處理等方面。卷積神經(jīng)網(wǎng)絡(luò)作為深度
    的頭像 發(fā)表于 11-15 14:52 ?827次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)的基本原理與算法

    ),是深度學(xué)習(xí)的代表算法之一。 一、基本原理 卷積運(yùn)算 卷積運(yùn)算是卷積神經(jīng)網(wǎng)絡(luò)的核心,用于提取圖
    的頭像 發(fā)表于 11-15 14:47 ?1762次閱讀

    關(guān)于卷積神經(jīng)網(wǎng)絡(luò),這些概念你厘清了么~

    隨著人工智能(AI)技術(shù)的快速發(fā)展,AI可以越來越多地支持以前無法實(shí)現(xiàn)或者難以實(shí)現(xiàn)的應(yīng)用。本文基于此解釋了 卷積神經(jīng)網(wǎng)絡(luò) (CNN)及其對(duì)人工智能和機(jī)器
    發(fā)表于 10-24 13:56

    卷積神經(jīng)網(wǎng)絡(luò)共包括哪些層級(jí)

    卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)是一種深度學(xué)習(xí)模型,廣泛應(yīng)用于圖像識(shí)別、語音識(shí)別、自然語言處理等領(lǐng)域。它以
    的頭像 發(fā)表于 07-11 15:58 ?2818次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用場景及優(yōu)缺點(diǎn)

    卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,簡稱CNNs)是一種深度學(xué)習(xí)架構(gòu),它在圖像識(shí)別、視頻分析、自然語言處理等領(lǐng)域有著廣泛的應(yīng)用。 一、
    的頭像 發(fā)表于 07-11 14:45 ?1820次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)有何用途 卷積神經(jīng)網(wǎng)絡(luò)通常運(yùn)用在哪里

    卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,簡稱CNN)是一種深度學(xué)習(xí)模型,廣泛應(yīng)用于圖像識(shí)別、視頻分析、自然語言處理、生物信息學(xué)等領(lǐng)域。本文將介紹
    的頭像 發(fā)表于 07-11 14:43 ?4354次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)的基本概念、原理及特點(diǎn)

    卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,簡稱CNN)是一種深度學(xué)習(xí)算法,它在圖像識(shí)別、視頻分析、自然語言處理等領(lǐng)域有著廣泛的應(yīng)用。本文將詳細(xì)介紹
    的頭像 發(fā)表于 07-11 14:38 ?2441次閱讀

    神經(jīng)網(wǎng)絡(luò)中的卷積層、池化層與全連接層

    深度學(xué)習(xí)中,卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)是一種特別適用于處理圖像數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。
    的頭像 發(fā)表于 07-11 14:18 ?9991次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)的工作原理和應(yīng)用

    卷積神經(jīng)網(wǎng)絡(luò)(FCN)是深度學(xué)習(xí)領(lǐng)域中的一種特殊類型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),尤其在計(jì)算機(jī)視覺領(lǐng)域表現(xiàn)出色。它通過全局平均池化或轉(zhuǎn)置
    的頭像 發(fā)表于 07-11 11:50 ?1852次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)的壓縮方法

    卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)作為深度學(xué)習(xí)領(lǐng)域的重要分支,在圖像識(shí)別、視頻處理、自然語言處理等多個(gè)領(lǐng)域取得了顯著成就。然而,隨著
    的頭像 發(fā)表于 07-11 11:46 ?759次閱讀
    主站蜘蛛池模板: 亚洲综合丁香 | 久久国产乱子伦精品免费强 | 久久久精品2021免费观看 | 美女视频黄a | 亚洲电影二区 | 日韩视频高清 | 天天操操操操 | 亚洲人成毛片线播放 | 免费观看黄色网页 | 二级黄的全免费视频 | 1024国产高清精品推荐 | 最新色站 | 国产免费久久 | 国色天香网在线 | 色男人社区| 天天插天天 | 好吊788gaoco| 色偷偷91久久综合噜噜噜 | 亚洲国产欧美日韩一区二区三区 | 天天爽爽 | 国产三级精品视频 | 国产成人精品日本亚洲直接 | 羞羞答答xxdd影院欧美 | 99色在线 | 欧美一区色 | 亚洲综合免费 | 免费观看老外特级毛片 | 天天射天天爱天天干 | 最近2018中文字幕免费看在线 | 国产午夜精品一区二区理论影院 | 91大神精品| 免费色视频网站 | 日本人的色道免费网站 | 国产亚洲片 | 欧美色丁香 | 婷婷深爱五月 | 成年网站在线播放 | 中文字幕一二三四区2021 | 国产在线观看福利 | 99青草| 精品一区二区三区三区 |