作者：Trapti Kalra

來(lái)源：AI公園，編譯：ronghuaiyang

導(dǎo)讀

本文分析了常見(jiàn)的紋理數(shù)據(jù)集以及傳統(tǒng)CNN在紋理數(shù)據(jù)集分類上效果不佳的原因。

在機(jī)器視覺(jué)任務(wù)中，將紋理分析與深度學(xué)習(xí)結(jié)合使用，對(duì)于獲得更好的結(jié)果起到了重要作用。在前一篇文章中，我們已經(jīng)討論了什么是紋理的基礎(chǔ)知識(shí)，不同類型的紋理，以及紋理分析在解決真正的計(jì)算機(jī)視覺(jué)任務(wù)中的適用性。我們還解釋了一些最常用和值得注意的提取紋理的技術(shù)，此外，我們還演示了如何將這些紋理提取技術(shù)與深度學(xué)習(xí)結(jié)合起來(lái)。 深度學(xué)習(xí)由多種結(jié)構(gòu)組成，可用于圖像分類任務(wù)。基于深度學(xué)習(xí)的模型經(jīng)常用于圖像分類任務(wù)，并在許多不同的用例中產(chǎn)生了出色的結(jié)果，展示了它們的有效性。幾年前，遷移學(xué)習(xí)的概念出現(xiàn)了，它建議使用使用大數(shù)據(jù)集訓(xùn)練的模型作為特定用例的骨干，其中，預(yù)訓(xùn)練的骨干模型只是通過(guò)使用特定案例的數(shù)據(jù)集來(lái)微調(diào)權(quán)重以解決特定任務(wù)。經(jīng)過(guò)圖像分類訓(xùn)練的預(yù)訓(xùn)練模型也可用于紋理分類任務(wù)。為了檢驗(yàn)現(xiàn)有傳統(tǒng)的基于cnn的紋理分類模型的效率，我們使用一些公共的基于紋理的數(shù)據(jù)集對(duì)其進(jìn)行性能基準(zhǔn)測(cè)試。我們觀察到，傳統(tǒng)的CNN結(jié)構(gòu)(如圖5所示)很難產(chǎn)生較好的結(jié)果，并不是很有效地應(yīng)用于紋理分類任務(wù)。

紋理分類以及常用的紋理數(shù)據(jù)集

紋理分析和分類是地形識(shí)別、自動(dòng)醫(yī)療診斷、顯微圖像分析、自動(dòng)駕駛汽車和爆炸危險(xiǎn)檢測(cè)等領(lǐng)域的關(guān)鍵任務(wù)。在執(zhí)行基于分類的任務(wù)時(shí)，紋理是一個(gè)非常重要的屬性。作為人類，我們可以直觀地看到、理解和區(qū)分紋理，但對(duì)于基于人工智能的機(jī)器來(lái)說(shuō)，情況并非如此。如果一個(gè)人工智能模型能夠識(shí)別紋理，那么它在分類任務(wù)中的應(yīng)用將會(huì)是一個(gè)額外的優(yōu)勢(shì)。根據(jù)物體的視覺(jué)效果來(lái)理解和分類物體可以使人工智能模型更加高效和可靠。

因此，我們?yōu)榧y理分類任務(wù)構(gòu)建了模型，并在基于紋理的基準(zhǔn)數(shù)據(jù)集(如DTD、FMD、和KTH)上測(cè)試模型的有效性。基于這些數(shù)據(jù)集上任何模型的準(zhǔn)確性，我們可以理解并在一定程度上預(yù)測(cè)它在其他類似數(shù)據(jù)集上的性能。下面我們將提供關(guān)于上述數(shù)據(jù)集的詳細(xì)信息。

DTD：它是一個(gè)基于紋理的圖像數(shù)據(jù)集，由5640張圖像組成，根據(jù)受人類感知啟發(fā)的47個(gè)類別進(jìn)行組織。每個(gè)類別有120張圖片。

圖1，DTD中每個(gè)類別的圖

KTH：KTH通常被稱為KTH- tips(在不同的照明、姿勢(shì)和比例下的紋理)圖像數(shù)據(jù)庫(kù)被創(chuàng)建來(lái)在兩個(gè)方向上擴(kuò)展CUReT數(shù)據(jù)庫(kù)，通過(guò)提供在尺度以及姿態(tài)和照明上的變化，并通過(guò)在不同的設(shè)置中對(duì)其材料的子集進(jìn)行成像得到其他樣本。有11類的總樣本量是3195。

圖2，KTH-TIPS數(shù)據(jù)集中11個(gè)類別，每個(gè)類比4張圖

FMD：建立這個(gè)數(shù)據(jù)庫(kù)的特定目的是捕捉一系列常見(jiàn)材料(如玻璃、塑料等)在現(xiàn)實(shí)世界中的外觀。這個(gè)數(shù)據(jù)庫(kù)中的每一張圖片(總共有10個(gè)類別，每個(gè)類別有100張圖片)都是手動(dòng)從Flickr.com(在創(chuàng)作共用許可下)中選擇的，以確保各種照明條件、組合、顏色、紋理和材料子類型。

圖3，F(xiàn)MD數(shù)據(jù)集中每個(gè)類比的幾張圖

傳統(tǒng)CNN圖像分類

就現(xiàn)有的傳統(tǒng)CNN而言，這些大多屬于預(yù)訓(xùn)練模型本身或使用這些預(yù)訓(xùn)練層/權(quán)值的模型。在我們的博客中，我們將首先簡(jiǎn)要概述什么是預(yù)訓(xùn)練模型，以及如何將其應(yīng)用于圖像分類任務(wù)。

現(xiàn)有的幾種CNN模型都是由不同的研究人員針對(duì)圖像分類的任務(wù)提出的，這些模型也可以作為許多其他圖像分類相關(guān)任務(wù)的預(yù)訓(xùn)練模型。在圖5中，我們可以看到如何將預(yù)訓(xùn)練的層合并到傳統(tǒng)的基于CNN的架構(gòu)中。

在紋理分類任務(wù)的情況下，這些預(yù)先訓(xùn)練的模型也可以通過(guò)遷移它們的知識(shí)，并將它們用于基于紋理的數(shù)據(jù)集。由于這些模型是為特定數(shù)據(jù)集上的圖像分類任務(wù)而建立的，而我們?cè)谝恍┎煌臄?shù)據(jù)集上使用它們進(jìn)行紋理分類，我們稱它們?yōu)轭A(yù)訓(xùn)練模型。進(jìn)一步介紹了圖像分類預(yù)訓(xùn)練模型的一些關(guān)鍵思想：

什么是預(yù)訓(xùn)練模型？

為了簡(jiǎn)單地定義一個(gè)預(yù)先訓(xùn)練的模型，我們可以將其稱為由其他人訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，并為特定的用例提供給其他開(kāi)發(fā)人員使用。

流行的預(yù)訓(xùn)練模型通常是通過(guò)使用一個(gè)龐大的數(shù)據(jù)集來(lái)解決一個(gè)復(fù)雜的任務(wù)。然后，這些模型被貢獻(xiàn)為開(kāi)放源碼，因此其他開(kāi)發(fā)人員可以進(jìn)一步構(gòu)建或在他們的工作中使用這些模型。通常情況下，使用預(yù)先訓(xùn)練的模型來(lái)解決類似的問(wèn)題是一個(gè)好主意，而預(yù)先訓(xùn)練的模型是為這些問(wèn)題開(kāi)發(fā)的。在圖4中，一個(gè)模型為一個(gè)源任務(wù)訓(xùn)練，這個(gè)源模型已經(jīng)訓(xùn)練(預(yù)訓(xùn)練模型)的權(quán)值被用于目標(biāo)任務(wù)。對(duì)新開(kāi)發(fā)的模型進(jìn)行了一些修改，將預(yù)先訓(xùn)練的模型的權(quán)值進(jìn)行轉(zhuǎn)移，以獲得更好和更精確的預(yù)測(cè)結(jié)果。

圖4，使用預(yù)訓(xùn)練模型的方法

使用預(yù)訓(xùn)練的模型作為計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理的各種問(wèn)題的起點(diǎn)是非常常見(jiàn)的。從零開(kāi)始構(gòu)建一個(gè)神經(jīng)網(wǎng)絡(luò)需要巨大的計(jì)算能力、時(shí)間和熟練的勞動(dòng)力。

在這個(gè)文章中，我們將著重于應(yīng)用預(yù)訓(xùn)練模型(訓(xùn)練用于圖像分類任務(wù))來(lái)解決紋理分類任務(wù)。

常用的預(yù)訓(xùn)練模型

下面是對(duì)預(yù)訓(xùn)練模型的概述，這些模型經(jīng)常用于許多圖像分類相關(guān)的任務(wù)。

VGG-16: 2015年發(fā)布的最受歡迎的預(yù)訓(xùn)練圖像分類模型之一。VGG-16是一個(gè)深度為16層可調(diào)的神經(jīng)網(wǎng)絡(luò)，它在ImageNet數(shù)據(jù)庫(kù)中的100萬(wàn)張圖像上訓(xùn)練。它能夠?qū)?000個(gè)物體進(jìn)行分類。

Inception v3：一個(gè)由谷歌在同一個(gè)ImageNet數(shù)據(jù)庫(kù)上開(kāi)發(fā)的預(yù)訓(xùn)練模型。它也被稱為GoogLeNet。Inception v3是一個(gè)深度為50層的神經(jīng)網(wǎng)絡(luò)。在2014年的ImageNet競(jìng)賽中，InceptionV3獲得了第一，而VGG-16獲得了亞軍。它只有700萬(wàn)個(gè)參數(shù)，這比以前的模型要小得多，除此之外，它的錯(cuò)誤率很低，這是該模型的一個(gè)主要成就。

ResNet50：原始模型稱為殘差網(wǎng)或ResNet，它是微軟在2015年開(kāi)發(fā)的。ResNet50是一個(gè)深度為50層的神經(jīng)網(wǎng)絡(luò)。ResNet50還訓(xùn)練了來(lái)自ImageNet數(shù)據(jù)庫(kù)的100萬(wàn)張圖像。與VGG16相比，ResNet復(fù)雜度更低，結(jié)果優(yōu)于VGG16。ResNet50旨在解決梯度消失的問(wèn)題。

EfficientNet：它是谷歌于2019年訓(xùn)練并向公眾發(fā)布的最先進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)。在EfficientNet中，作者使用了一種新的縮放方法，稱為復(fù)合縮放，我們?cè)谕粫r(shí)間縮放固定數(shù)量的維度，并且我們均勻地縮放。通過(guò)這樣做，我們可以獲得更好的性能，縮放系數(shù)可以由用戶自己決定。EfficientNet有8種實(shí)現(xiàn)(從B0到B7)。

為我們的用例利用和調(diào)整預(yù)訓(xùn)練模型的方法

由于我們所處理的數(shù)據(jù)與預(yù)訓(xùn)練模型所訓(xùn)練的數(shù)據(jù)不同，因此需要根據(jù)我們的數(shù)據(jù)更新模型的權(quán)重，以了解特定領(lǐng)域的信息。因此，我們需要對(duì)數(shù)據(jù)的模型進(jìn)行微調(diào)。

下面我們將討論一些在特定用例中使用預(yù)先訓(xùn)練過(guò)的模型的機(jī)制。

特征提取?- 使用預(yù)訓(xùn)練模型作為特征提取機(jī)制。我們可以移除輸出層(即給出了1000個(gè)類中每個(gè)類的概率)，然后使用整個(gè)網(wǎng)絡(luò)作為新數(shù)據(jù)集的固定特征提取器。

訓(xùn)練一些層，同時(shí)凍結(jié)其他層?- 預(yù)訓(xùn)練的模型可以用來(lái)部分訓(xùn)練我們的模型，其中我們保持初始層的權(quán)重凍結(jié)，并重新訓(xùn)練更高層的權(quán)重。根據(jù)一些實(shí)驗(yàn)，我們可以看到有多少層需要凍結(jié)，有多少層需要訓(xùn)練。

使用預(yù)訓(xùn)練模型的體系結(jié)構(gòu)?- 我們可以從模型的體系結(jié)構(gòu)中獲得幫助，并使用它隨機(jī)初始化模型的權(quán)重。然后我們可以根據(jù)我們的數(shù)據(jù)集和任務(wù)訓(xùn)練模型，這樣我們就有了一個(gè)很好的架構(gòu)，可以為我們的任務(wù)帶來(lái)很好的結(jié)果。

在處理任何類型的圖像分類問(wèn)題時(shí)，微調(diào)和使用預(yù)先訓(xùn)練的模型是一個(gè)聰明的解決方案。此外，這些傳統(tǒng)的/預(yù)先訓(xùn)練的CNN模型也產(chǎn)生了良好的結(jié)果，然而，這些架構(gòu)在對(duì)基于紋理的數(shù)據(jù)集進(jìn)行分類時(shí)表現(xiàn)不佳。

為什么傳統(tǒng)的CNN架構(gòu)在基于紋理的數(shù)據(jù)集的分類任務(wù)中表現(xiàn)不佳?

圖5，傳統(tǒng)CNN結(jié)構(gòu)的4個(gè)主要部分 傳統(tǒng)的CNN架構(gòu)通常包括預(yù)訓(xùn)練層，在此基礎(chǔ)上添加一些CNN層的可訓(xùn)練塊，然后將其輸出傳遞到全連接層進(jìn)行類預(yù)測(cè)。由圖5可以看出，傳統(tǒng)的CNN架構(gòu)主要有四個(gè)主要組件，用A、B、C、和D四個(gè)塊來(lái)描述。第一個(gè)分量是輸入層(描述為塊A)，第二個(gè)是預(yù)先訓(xùn)練的層/權(quán)值(描述為塊B)，第三個(gè)分量是可訓(xùn)練的CNN塊(描述為塊C)，它的輸出傳遞給第四個(gè)分量(描述為塊D)的全連接層。傳遞給全連接層的輸入通常包括全局特征而不是局部特征。這種通用架構(gòu)適用于大多數(shù)需要圖像全局特征來(lái)對(duì)圖像進(jìn)行分類的任務(wù)。然而，這些類型的架構(gòu)很無(wú)法很準(zhǔn)確的預(yù)測(cè)類別，在這些類中，全局特征和局部特征都參與了類的預(yù)測(cè)。

CNN模型的復(fù)雜性隨著網(wǎng)絡(luò)深度的增加而增加，最后一層通常傾向于捕捉圖像的復(fù)雜特征。從卷積層捕獲的特征被發(fā)送到全連接層，以獲取圖像中物體的形狀信息并預(yù)測(cè)其類別。這些關(guān)于整體形狀和高度復(fù)雜特征的信息不適合用于紋理分析，因?yàn)榧y理是基于復(fù)雜度較低的重復(fù)局部位置模式，這需要豐富的基于局部的特征提取。

為了利用為圖像分類而開(kāi)發(fā)的基于CNN的模型進(jìn)行紋理分類，利用網(wǎng)絡(luò)的CNN層輸出中提取的特征進(jìn)行域轉(zhuǎn)移。在使用預(yù)先訓(xùn)練的CNN進(jìn)行基于紋理的分類時(shí)，我們面臨三個(gè)主要缺點(diǎn)，如下所示。

全連接的層發(fā)布卷積層捕捉圖像的空間布局，這對(duì)于表示物體的形狀很有用，但對(duì)于表示紋理卻不太有用

一個(gè)固定大小的輸入需要發(fā)送到CNN，以便它與全連接層兼容。這通常是一項(xiàng)昂貴的任務(wù)

預(yù)訓(xùn)練的CNN的更深層可能是非常具體的領(lǐng)域，可能不是很有用的紋理分類

眾所周知，任何圖像的紋理都是通過(guò)其局部結(jié)構(gòu)和局部像素分布來(lái)定義的。要分析任何圖像的紋理特征，必須研究其基于局部的特征，并將其傳遞給全連接層。但是傳統(tǒng)的CNN不能將基于局部的特征傳遞給全連接層，因?yàn)閭鹘y(tǒng)CNN架構(gòu)的最后一個(gè)CNN層是利用復(fù)雜的特征來(lái)捕捉物體的整體形狀，并提取全局特征(如圖5所示)，而不是捕捉局部特征的模式。這就是傳統(tǒng)CNN架構(gòu)在基于紋理的數(shù)據(jù)集上表現(xiàn)不佳的原因。

在已有的CNNs中加入紋理提取特征技術(shù)，可以提高紋理分類任務(wù)的結(jié)果。表1比較了傳統(tǒng)的CNN方法vs方法使用Resnet-50骨干以及一些特征提取技術(shù)。

表1，傳統(tǒng)CNN模型和使用特征提取技術(shù)的Resnet-50在基準(zhǔn)數(shù)據(jù)集上的結(jié)果比較 將紋理特征提取策略與深度學(xué)習(xí)相結(jié)合的模型往往比傳統(tǒng)的深度學(xué)習(xí)方法產(chǎn)生更好的結(jié)果。這是因?yàn)閭鹘y(tǒng)的CNN模型捕捉了通常對(duì)目標(biāo)檢測(cè)有用的復(fù)雜特征，而紋理是使用局部重復(fù)的模式/特征識(shí)別的。 可以使用自定義的深度卷積網(wǎng)絡(luò)來(lái)改進(jìn)CNN，在卷積層之后，隨著CNN引入各種紋理提取技術(shù)。 將紋理提取層和預(yù)訓(xùn)練層結(jié)合在一起的自定義深度卷積網(wǎng)絡(luò)不如單獨(dú)使用預(yù)訓(xùn)練模型或統(tǒng)計(jì)地使用紋理特征提取器靈活。我們將在后面的文章中討論紋理特征提取和預(yù)訓(xùn)練模型。

編輯：黃飛