多模板匹配是一種在圖像中同時尋找多個模板的技術。通過對每個模板逐一進行匹配，找到與輸入圖像最相似的區域，并標記出匹配度最高的結果。本實驗提供了一個簡單的多模板匹配案例，并將其封裝為一個自定義函數 multiTemplateMatching，方便快速移植和使用。

源代碼地址：https://gitee.com/LockzhinerAI/LockzhinerVisionModule/tree/master/Cpp_example/C03_Template_Matching_more

1. 基本知識講解

1.1 多模板匹配的重要性

目標檢測：多模板匹配可以用于檢測圖像中的多個特定對象。

應用場景：廣泛應用于物體識別、工業自動化、機器人導航等領域。

優勢：支持多個模板的同時匹配，能夠靈活處理多種目標。

局限性：對旋轉、縮放和光照變化較為敏感，因此通常需要結合其他技術來提高魯棒性。

1.2 多模板匹配的流程

獲取輸入圖像和多個模板圖像。

遍歷每個模板，逐一執行模板匹配算法（如歸一化互相關 NCC）。

找到每個模板匹配結果中的最大值及其位置。

根據相似度閾值篩選匹配結果，并記錄匹配度最高的模板。

繪制矩形框標記匹配區域并顯示結果。

2. API文檔

2.1 頭文件

#include

2.2 模板匹配

cv::matchTemplate(image,templ,result,method);

功能：在輸入圖像中搜索模板圖像的最佳匹配位置。

參數：

CV_TM_SQDIFF：平方差匹配。

image：輸入圖像。

templ：模板圖像。

result：匹配結果圖像，輸出參數。

method：匹配方法，可選值有：

返回值：無。

2.3 查找機制

cv::minMaxLoc(src,minVal,maxVal,minLoc,maxLoc,mask);

功能：查找匹配結果圖像中的最小值和最大值及其位置。

參數：

src：輸入矩陣。

minVal：輸出的最小值。

maxVal：輸出的最大值。

minLoc：最小值的位置。

maxLoc：最大值的位置。

mask：可選的掩碼矩陣。

返回值：無。

3. 綜合代碼解析

3.1 流程圖

3.2 代碼解釋

使用多模板匹配函數

multiTemplateMatching(img,templates,0.7,true);

自定義多模板匹配函數具體參數如下所示。

voidmultiTemplateMatching(constMat&img,constvector<string>&templatePaths,
doublethreshold=0.7,boolisGrayscale=false);

功能：對多個模板逐一執行匹配，并標記匹配度最高的區域。

參數：

img：輸入圖像。

templatePaths：模板圖像路徑列表。

threshold：相似度閾值，默認為 0.7。

isGrayscale：是否將輸入圖像轉換為灰度圖像，默認為 false。

返回值：無。

輸出結果

edit.Print(img);

3.3 完整代碼實現

#include

#include
#include
#include
#include

usingnamespacecv;
usingnamespacestd;

// 多模板匹配函數（支持彩色或灰度圖像，僅繪制匹配度最高的框）
voidmultiTemplateMatching(constMat&img,constvector<string>&templatePaths,
doublethreshold=0.7,boolisGrayscale=false)
{
// 初始化最高匹配度和對應的模板路徑、位置
doublebestMatchValue=0.0;
stringbestMatchTemplatePath="";
RectbestMatchRect;

// 遍歷每個模板路徑
for(constauto&templatePath:templatePaths)
{
// 加載模板圖像（根據 isGrayscale 決定是灰度還是彩色）
Mattempl=imread(templatePath,isGrayscale?IMREAD_GRAYSCALE:IMREAD_COLOR);
if(templ.empty())
{
cerr<<"無法加載模板圖像: "<<templatePath<<endl;
continue;
}

// 如果輸入圖像是灰度圖像，則將彩色圖像轉換為灰度
MatinputImage=img.clone();
if(isGrayscale&&inputImage.channels()==3)
{
cvtColor(inputImage,inputImage,COLOR_BGR2GRAY);
}

// 創建結果矩陣
intresult_cols=inputImage.cols-templ.cols+1;
intresult_rows=inputImage.rows-templ.rows+1;
Matresult(result_rows,result_cols,CV_32FC1);

// 執行模板匹配
matchTemplate(inputImage,templ,result,TM_CCOEFF_NORMED);

// 查找最佳匹配位置
doubleminVal,maxVal;
PointminLoc,maxLoc;
minMaxLoc(result,&minVal,&maxVal,&minLoc,&maxLoc);

// 如果當前模板的最大匹配度高于之前的記錄，則更新最佳匹配信息
if(maxVal>bestMatchValue&&maxVal>=threshold)
{
bestMatchValue=maxVal;
bestMatchTemplatePath=templatePath;
bestMatchRect=Rect(maxLoc.x,maxLoc.y,templ.cols,templ.rows);
}
}

// 如果找到匹配度高于閾值的最佳匹配，則繪制矩形框
if(!bestMatchTemplatePath.empty())
{
rectangle(img,bestMatchRect,Scalar(0,255,0),2);// 綠色矩形框
cout<<"匹配到模板: "<<bestMatchTemplatePath
<<", 匹配度: "<<bestMatchValue<<endl;
}
else
{
cout<<"未找到匹配度高于閾值的模板。"<<endl;
}
}

intmain(intargc,char*argv[])
{
lockzhiner_vision_module::Editedit;
if(!edit.StartAndAcceptConnection())
{
std::cerr<<"Error: Failed to start and accept connection."<<std::endl;
returnEXIT_FAILURE;
}
std::cout<<"Device connected successfully."<<std::endl;

cv::VideoCapturecap;
intwidth=320; // 設置攝像頭分辨率寬度
intheight=240;// 設置攝像頭分辨率高度
cap.set(cv::CAP_PROP_FRAME_WIDTH,width);
cap.set(cv::CAP_PROP_FRAME_HEIGHT,height);

// 打開攝像頭設備
cap.open(0);// 參數 0 表示默認攝像頭設備
if(!cap.isOpened())
{
std::cerr<<"Error: Could not open camera."<<std::endl;
returnEXIT_FAILURE;
}

// 檢查命令行參數是否提供了模板路徑
vector<string>templates;
if(argc<2)
{
cerr<<"Usage: "<<argv[0]<<" template_path1 [template_path2 ...]"<<endl;
returnEXIT_FAILURE;
}

// 從命令行讀取模板路徑
for(inti=1;i<argc;++i)
{
templates.push_back(argv[i]);
}

while(true)
{
cv::Matimg;// 存儲每一幀圖像
cap>>img; // 獲取新的一幀

// 檢查是否成功讀取幀
if(img.empty())
{
std::cerr<<"Warning: Couldn't read a frame from the camera."
<<std::endl;
continue;
}

// 執行多模板匹配（示例中仍使用彩色圖像）
multiTemplateMatching(img,templates,0.7,true);

// 顯示結果
edit.Print(img);
}

return0;
}

4.2 Cmake介紹

# CMake最低版本要求
cmake_minimum_required(VERSION3.10)

project(test-TemplateMatching-more)

set(CMAKE_CXX_STANDARD17)
set(CMAKE_CXX_STANDARD_REQUIRED ON)

# 定義項目根目錄路徑
set(PROJECT_ROOT_PATH"${CMAKE_CURRENT_SOURCE_DIR}/../..")
message("PROJECT_ROOT_PATH = "${PROJECT_ROOT_PATH})

include("${PROJECT_ROOT_PATH}/toolchains/arm-rockchip830-linux-uclibcgnueabihf.toolchain.cmake")

# 定義 OpenCV SDK 路徑
set(OpenCV_ROOT_PATH"${PROJECT_ROOT_PATH}/third_party/opencv-mobile-4.10.0-lockzhiner-vision-module")
set(OpenCV_DIR"${OpenCV_ROOT_PATH}/lib/cmake/opencv4")
find_package(OpenCV REQUIRED)
set(OPENCV_LIBRARIES"${OpenCV_LIBS}")
# 定義 LockzhinerVisionModule SDK 路徑
set(LockzhinerVisionModule_ROOT_PATH"${PROJECT_ROOT_PATH}/third_party/lockzhiner_vision_module_sdk")
set(LockzhinerVisionModule_DIR"${LockzhinerVisionModule_ROOT_PATH}/lib/cmake/lockzhiner_vision_module")
find_package(LockzhinerVisionModule REQUIRED)

# 基本圖像處理示例
add_executable(Test-TemplateMatching-more Template_Matching_more.cc)
target_include_directories(Test-TemplateMatching-more PRIVATE${LOCKZHINER_VISION_MODULE_INCLUDE_DIRS})
target_link_libraries(Test-TemplateMatching-more PRIVATE${OPENCV_LIBRARIES}${LOCKZHINER_VISION_MODULE_LIBRARIES})

install(
TARGETS Test-TemplateMatching-more
RUNTIME DESTINATION .
)

4. 編譯結果

4.1 編譯環境搭建

請確保你已經按照開發環境搭建指南正確配置了開發環境。

同時以正確連接開發板。

4.3 編譯項目

使用 Docker Destop 打開 LockzhinerVisionModule 容器并執行以下命令來編譯項目

# 進入Demo所在目錄
cd/LockzhinerVisionModuleWorkSpace/LockzhinerVisionModule/Cpp_example/C03_TemplateMatching_more
# 創建編譯目錄
rm-rfbuild &&mkdirbuild &&cdbuild
# 配置交叉編譯工具鏈
exportTOOLCHAIN_ROOT_PATH="/LockzhinerVisionModuleWorkSpace/arm-rockchip830-linux-uclibcgnueabihf"
# 使用cmake配置項目
cmake ..
# 執行編譯項目
make-j8&&makeinstall

在執行完上述命令后，會在build目錄下生成可執行文件。

5. 例程運行示例

5.1 準備工作

下載凌智視覺模塊圖片傳輸助手：點擊下載

5.2 運行過程

在凌智視覺模塊中輸入以下命令：

chmod777Test-TemplateMatching-more
# 在實際運行中，模板數量越少，相對來說運行的幀率越高，如需更高幀率請自行降低分辨率。
./Test-TemplateMatching-more template_0.png template_1.png template_2.png template_3.png

5.3 運行效果

運行程序后，您將看到實時視頻流中匹配度最高的區域被綠色矩形框標記出來。如果未找到匹配度高于閾值的模板，則會輸出提示信息。

• 模板照片如下

6. 總結

通過上述內容，我們詳細介紹了多模板匹配的流程及相關 API 的使用方法，包括：

圖像讀取：加載輸入圖像和多個模板圖像。

模板匹配：使用歸一化互相關方法計算相似度。

查找極值：獲取每個模板的最佳匹配位置。

繪制與顯示：標記匹配度最高的區域并顯示結果。