我吃西红柿,古风君子以泽,大主宰天蚕土豆小说

HED算法介紹

圖像邊緣檢測是圖像處理與計算機視覺領域最基礎也是最重要的任務之一，早期的Canny邊緣檢測到現在還在使用，但是Canny邊緣檢測過于依賴人工閾值的設定，無法在通用場景下工作，如何找到一個在自然場景下可以正確工作的邊緣檢測器，答案是使用CNN。2015年的時候有人提出了基于卷積神經網絡的邊緣檢測算法HED全稱為《Holistically-Nested Edge Detection》，先看一下HED與Canny的效果對比：

作者提出HED算法是受到了全卷積網絡與深度監督網絡的啟發與影響，作者以VGGNet與FCN作為基礎網絡進行改進，對VGG網絡進行conv1_2, conv2_2, conv3_3, conv4_3, conv5_3多個特征層的輸出，借助FCN全卷積網絡的設計，通過權重融合層實現各個層相連接，去掉了VGG網絡的后半部分，大大減少了網絡浮點數計算次數，網絡架構示意圖如下：

代碼演示

OpenCV DNN本身是不支持該網絡直接加載與執行的，必須通過OpenCV4中支持的自定義層方法，首先解析HED網絡的自定義多層輸出，然后重載它的forward方法之后，才可以正確執行。

自定義層解析的代碼如下：

#自定義層
classCropLayer(object):
def__init__(self,params,blobs):
self.xstart=0
self.xend=0
self.ystart=0
self.yend=0

defgetMemoryShapes(self,inputs):
inputShape,targetShape=inputs[0],inputs[1]
batchSize,numChannels=inputShape[0],inputShape[1]
height,width=targetShape[2],targetShape[3]

self.ystart=(inputShape[2]-targetShape[2])//2
self.xstart=(inputShape[3]-targetShape[3])//2
self.yend=self.ystart+height
self.xend=self.xstart+width
return[[batchSize,numChannels,height,width]]

defforward(self,inputs):
return[inputs[0][:,:,self.ystart:self.yend,self.xstart:self.xend]]

加載網絡，進行多全層次的邊緣檢測：

#自定義層
#注冊自定義層
cv.dnn_registerLayer('Crop',CropLayer)

#Loadthemodel.
net=cv.dnn.readNet("D:/projects/models/hed/deploy.prototxt","D:/projects/models/hed/hed_pretrained_bsds.caffemodel")

kWinName='Holistically-NestedEdgeDetection'
cv.namedWindow('Input',cv.WINDOW_AUTOSIZE)
cv.namedWindow(kWinName,cv.WINDOW_AUTOSIZE)

cap=cv.VideoCapture(0)
whilecv.waitKey(1)0:
hasFrame,frame=cap.read()
frame=cv.flip(frame,1)
ifnothasFrame:
cv.waitKey()
break
cv.imshow('Input',frame)

inp=cv.dnn.blobFromImage(frame,scalefactor=1.0,size=(500,500),
mean=(104.00698793,116.66876762,122.67891434),
swapRB=False,crop=False)
net.setInput(inp)
out=net.forward()
out=out[0,0]
out=cv.resize(out,(frame.shape[1],frame.shape[0]))
cv.imshow(kWinName,out)