1. 方案簡介

駕駛員行為檢測：通過圖像識別出這幾種行為：打電話、抽煙、疲勞駕駛。

2. 快速上手

2.1 開發(fā)環(huán)境準(zhǔn)備

如果您初次閱讀此文檔，請閱讀《入門指南/開發(fā)環(huán)境準(zhǔn)備/Easy-Eai編譯環(huán)境準(zhǔn)備與更新》，并按照其相關(guān)的操作，進(jìn)行編譯環(huán)境的部署。

在PC端Ubuntu系統(tǒng)中執(zhí)行run腳本，進(jìn)入EASY-EAI編譯環(huán)境，具體如下所示。

cd ~/develop_environment
./run.sh

2.2 源碼下載以及實(shí)例編譯

在EASY-EAI編譯環(huán)境下創(chuàng)建存放源碼倉庫的管理目錄：

cd /opt
mkdir EASY-EAI-Toolkit
cd EASY-EAI-Toolkit

通過git工具，在管理目錄內(nèi)克隆遠(yuǎn)程倉庫

git clone https://github.com/EASY-EAI/EASY-EAI-Toolkit-C-Solution.git

注：

* 此處可能會因網(wǎng)絡(luò)原因造成卡頓，請耐心等待。

* 如果實(shí)在要在gitHub網(wǎng)頁上下載，也要把整個倉庫下載下來，不能單獨(dú)下載本實(shí)例對應(yīng)的目錄。

進(jìn)入到對應(yīng)的例程目錄執(zhí)行編譯操作，具體命令如下所示：

cd EASY-EAI-Toolkit-C-Solution/solu-dms/
./build.sh

注：

* 由于依賴庫部署在板卡上，因此交叉編譯過程中必須保持adb連接。

注：

* 若build.sh腳本不帶任何參數(shù)，則僅會拷貝solution編譯出來的可執(zhí)行文件。

* 若build.sh腳本帶有cpres參數(shù)，則會把Release/目錄下的所有資源都拷貝到開發(fā)板上。

* 若build.sh腳本帶有clear參數(shù)，則會把build/目錄和Release/目錄刪除。

2.3 模型獲取

【百度網(wǎng)盤】

鏈接：https://pan.baidu.com/s/1mrhVHxHWJ8cY9Fl9k5KtYg

提取碼：0k7j

本方案用到四個模型：face_detect.model、face_landmark98.model、phonecall_detect.model、smoke_detect.model

直接把模型下載到本地Windows主機(jī)，復(fù)制

進(jìn)入PC端Ubuntu創(chuàng)建存放model目錄：

cd /opt
mkdir model

然后把模型從本地Windows主機(jī)粘貼到PC端Ubuntu中：

2.4 方案部署

使用下方命令再次回到開發(fā)實(shí)例目錄

cd /opt/EASY-EAI-Toolkit-C-Solution/solu-dms/

然后，將EASY-EAI編譯環(huán)境的編譯結(jié)果部署到板卡中（有兩種方法）。

方法一：通過執(zhí)行以下命令手動部署【推薦】

cp Release/* /mnt/userdata/Solu

方法二：在編譯時加上編譯參數(shù)自動部署

./build.sh cpres

最后，將準(zhǔn)備好的模型部署到板卡中（注意：模型要放到編譯結(jié)果的同一目錄中），執(zhí)行命令如下所示。

cp /opt/model/*.model /mnt/userdata/Solu

2.5 示例方案運(yùn)行

通過按鍵Ctrl+Shift+T創(chuàng)建一個新窗口，執(zhí)行adb shell命令，進(jìn)入板卡運(yùn)行環(huán)境。

adb shell

進(jìn)入板卡后，定位到例程部署的位置，如下所示：

cd /userdata/Solu

運(yùn)行例程命令如下所示：

./solu-dms

2.6 運(yùn)行效果

運(yùn)行打?。?/p>

root@EASY-EAI-NANO:/userdata/Solu# ./solu-dms 
media get entity by name: rkcif-lvds-subdev is null
media get entity by name: rkcif-lite-lvds-subdev is null
media get entity by name: rkisp-mpfbc-subdev is null
media get entity by name: rkisp_dmapath is null
media get entity by name: rkisp-mpfbc-subdev is null
media get entity by name: rkisp_dmapath is null
media get entity by name: rockchip-mipi-dphy-rx is null
[15:47:08.490666][CAMHW]:XCAM ERROR CamHwIsp20.cpp:928: No free isp&ispp needed by fake camera!
Rga built version:1.04 94a2c08+2023-04-12 10:23:53
Had init the rga dev ctx = 0x9197d0
Rga built version:1.04 94a2c08+2023-04-12 10:23:53
##RKMEDIA Log level: 2
……
librknn_runtime version 1.7.3 (2e55827 build: 2022-08-25 10:45:32 base: 1131)
librknn_runtime version 1.7.3 (2e55827 build: 2022-08-25 10:45:32 base: 1131)
librknn_runtime version 1.7.3 (2e55827 build: 2022-08-25 10:45:32 base: 1131)
librknn_runtime version 1.7.3 (2e55827 build: 2022-08-25 10:45:32 base: 1131)
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
driver state : 
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
driver state : 
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
driver state :   [Is tired]
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
driver state :   [Is tired]   [Smoking]  [Phone Calling]
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
driver state : 

如果從攝像頭畫面中檢測到駕駛員有異常行為，后臺會打印出被檢測到的異常行為標(biāo)簽：

并且會屏幕右側(cè)顯示對應(yīng)的狀態(tài)。

2.7 開機(jī)啟動

首先進(jìn)入板卡環(huán)境，執(zhí)行以下命令，在板卡上創(chuàng)建一個給本例程使用的應(yīng)用目錄：myapp

cd /userdata/apps/
mkdir myapp

然后回到開發(fā)環(huán)境中，通過使用“2.4方案部署”類似的操作方法，把本例程所需要的全部文件，包含：編譯結(jié)果，配置文件，模型等。部署到剛剛新建的myapp目錄中。

最后在板卡上創(chuàng)建一個run.sh腳本來管控用戶所有需要的應(yīng)用即可，《入門指南/應(yīng)用程序開機(jī)自啟動》會詳細(xì)描述run.sh腳本該如何編寫。

3. 代碼解析

方案主邏輯代碼位于：EASY-EAI-Toolkit-C-Solution/solu-dms/src/main.cpp。代碼實(shí)現(xiàn)主要通過調(diào)用我司的easyeai-api庫快速實(shí)現(xiàn)駕駛員行為檢測功能，代碼主體分為主線程和算法分析子線程。

3.1 組件庫組成

要實(shí)現(xiàn)安全帽檢測功能，需要使用到easyeai-api庫的以下組件，如下所示。

模組信息如下所示。

這些組件通過CMakeLists.txt編譯進(jìn)工程，具體請看后續(xù)章節(jié)。

3.2 邏輯框圖

項(xiàng)目的整體邏輯框圖如下所示。

3.3 主線程

主線程處理的業(yè)務(wù)有：

初始化外設(shè)；

創(chuàng)建算法分析子線程；

抓圖發(fā)送給到子線程；

抓圖、顯示；

本處附上主要的邏輯功能代碼，其他輔助的、校驗(yàn)型的代碼先忽略。
組件初始化操作如下，本處調(diào)用RGB攝像頭。

// 1.打開攝像頭
ret = rgbcamera_init(CAMERA_WIDTH, CAMERA_HEIGHT, 90);
pbuf = NULL;
pbuf = (char *)malloc(IMAGE_SIZE);

創(chuàng)建線程互斥鎖以及線程，如下所示。

// 2.創(chuàng)建識別線程，以及圖像互斥鎖
pthread_mutex_init(&img_lock, NULL);
pResult = (Result_t *)malloc(sizeof(Result_t));
memset(pResult, 0, sizeof(Result_t));
if(0 != CreateNormalThread(detect_thread_entry, pResult, &mTid)){
	free(pResult);
}

初始化顯示屏，如下所示。

    // 3.顯示初始化
#define SCREEN_WIDTH    720
#define SCREEN_HEIGHT   1280

    screen.screen_width = SCREEN_WIDTH;
    screen.screen_height = SCREEN_HEIGHT;

    screen.wins[0].rotation = 270;
    screen.wins[0].in_fmt = IMAGE_TYPE_BGR888;
    screen.wins[0].enable = 1;
    screen.wins[0].in_w = 640;
    screen.wins[0].in_h = 720;
    screen.wins[0].HorStride = screen.wins[0].in_w;
    screen.wins[0].VirStride = screen.wins[0].in_h;
    screen.wins[0].crop_x = 0;
    screen.wins[0].crop_y = 0;
    screen.wins[0].crop_w = 640;
    screen.wins[0].crop_h = 720;
    screen.wins[0].win_x = 0;
    screen.wins[0].win_y = 0;
    screen.wins[0].win_h = 640;
    screen.wins[0].win_w = 720;

    screen.wins[1].rotation = 270;
    screen.wins[1].in_fmt = IMAGE_TYPE_BGR888;
    screen.wins[1].enable = 1;
    screen.wins[1].in_w = CAMERA_WIDTH;
    screen.wins[1].in_h = CAMERA_HEIGHT;
    screen.wins[1].HorStride =  CAMERA_WIDTH;
    screen.wins[1].VirStride = CAMERA_HEIGHT;
    screen.wins[1].crop_x = 0;
    screen.wins[1].crop_y = 0;
    screen.wins[1].crop_w = 640;
    screen.wins[1].crop_h = 720;
    screen.wins[1].win_x = 0;
    screen.wins[1].win_y = 640;
    screen.wins[1].win_h = 640;
    screen.wins[1].win_w = 720;
    ret = disp_init_pro(&screen);
    if (ret) {
        printf("error: %s, %dn", __func__, __LINE__);
        goto exit1;
    }

抓取圖像，調(diào)用clone操作。

// 4.(取流 + 顯示)循環(huán)
pthread_mutex_lock(&img_lock);
ret = rgbcamera_getframe(pbuf);

algorithm_image = Mat(CAMERA_HEIGHT, CAMERA_WIDTH, CV_8UC3, pbuf);
image = algorithm_image.clone();
pthread_mutex_unlock(&img_lock);

調(diào)用顯示圖像接口，一邊顯示鏡頭畫面，另一邊通過Result將分析的結(jié)果顯示對應(yīng)的狀態(tài)。

// 根據(jù)狀態(tài)貼提示圖
if(driverState != Result.drvState){
    driverState = Result.drvState;
    if(0 == driverState){
        tipsImage = cv::imread("normal.jpg",1);
    }else if(driverState & (0x01

	

	3.4 算法分析子線程

	 算法分析子線程，主要完成以下操作：

	延時監(jiān)測是否圖像緩沖區(qū)是否為空；

	不為空時，證明主函數(shù)已發(fā)送圖像數(shù)據(jù)過來，線程執(zhí)行圖像獲取操作；

	調(diào)用吸煙檢測分析函數(shù)；

	調(diào)用打電話檢測分析函數(shù)；

	調(diào)用人臉檢測分析函數(shù)，以及人臉98關(guān)鍵點(diǎn)分析函數(shù)

	記錄模型輸出的數(shù)據(jù)，分析數(shù)據(jù)并輸出算法結(jié)果，并用于后續(xù)顯示畫面合成操作；

	 延時監(jiān)測是否有圖像，操作如下所示。

	
if(algorithm_image.empty()) {
	usleep(5);
	continue;
}


	

	 獲取圖像操作如下所示。

	
pthread_mutex_lock(&img_lock);
image = algorithm_image.clone();
pthread_mutex_unlock(&img_lock);


	

	 調(diào)用吸煙檢測函數(shù)，算法得到的目標(biāo)結(jié)果記錄于pResult內(nèi)，如下所示。

	
/* 1.抽煙檢測 */
ret = smoke_detect_run(smokeCtx, image, &pResult->smoke_result);


	

	 調(diào)用打電話檢測函數(shù)，算法得到的目標(biāo)結(jié)果記錄于pResult內(nèi)，如下所示。

	
/* 2.打電話檢測 */
ret = phonecall_detect_run(pcCtx, image, &pResult->phonecall_result);


	

	   調(diào)用人臉檢測分析函數(shù)，以及人臉98關(guān)鍵點(diǎn)分析函數(shù)。得到結(jié)果后分析是否有閉眼，打哈欠等動作。

	
// 人臉檢測
ret = face_detect_run(faceCtx, image, pResult->face_result);

// 把人臉裁出，并按256x256像素進(jìn)行圖像縮放
cv::Mat roi_img, reize_img;
roi_img = image(cv::Rect(x, y, max,max));
roi_img = roi_img.clone();
resize(roi_img, reize_img, Size(256,256), 0, 0, INTER_AREA);
pResult->ratio = (float)max/256;

// 把256x256的人臉圖像送入98關(guān)鍵點(diǎn)函數(shù)找出98個關(guān)鍵點(diǎn)
ret = face_landmark98_run(landmarkCtx, &reize_img, &keyPoints);

// 把98個關(guān)鍵點(diǎn)送入【閉眼】，【打哈欠】判斷函數(shù)
if(eyesClosing(keyPoints)||yawning(keyPoints)){
	tired_count++;
}else{
	tired_count = 0;
}
// 【閉眼】或【打哈欠】動作連續(xù)維持3次以上，則判斷為【疲勞】狀態(tài)
if(3 <= tired_count){
	pResult-?>drvState |= (0x01

	

	4. 開發(fā)指南

	4.1 示例文件&目錄結(jié)構(gòu)

	 Solution git倉庫會隨著產(chǎn)品迭代更新，不斷新增解決方案代碼，當(dāng)前截圖只作參考。

	4.1.1 Solution git倉庫目錄介紹。

	 Solution工程構(gòu)成如下所示，由功能組件easyeai-api和各個解決方案構(gòu)成。

	

	   單個“solu-”開頭的目錄即為一個解決方案案例，代碼內(nèi)調(diào)用“EASY EAI-API”來滿足某一實(shí)際應(yīng)用場景的需求。

	   功能組件的描述如下所示，easyeai-api是經(jīng)過高度封裝的易用性組件接口，便于用戶直接調(diào)用板卡資源。

				功能
			

				組件目錄
			

				組件子目錄
			

				描述
		

				功能組件
			

				easyeai-api
			

				algorithm_api
			

				算法組件
		

				common_api
			

				通用組件
		

				media_api
			

				多媒體組件
		

				netProtocol_api
			

				網(wǎng)絡(luò)協(xié)議組件
		

				peripheral_api
			

				外設(shè)硬件組件
		

	4.1.2 解決方案最基本的目錄構(gòu)成。

	 每個解決方案就是一個獨(dú)立的項(xiàng)目，項(xiàng)目內(nèi)包含部分如下所示，項(xiàng)目使用cmake構(gòu)建自動編譯部署。

	

	 具體介紹如下所示。

				組成部分
			

				描述
		

				build.sh
			

				編譯腳本，用于管理生成可執(zhí)行文件后的部署準(zhǔn)備工作，用戶可自定義shell命令
		

				CMakeLists.txt
			

				工程管理文件，用于組織整個工程結(jié)構(gòu)，指導(dǎo)cmake生成Makefile
		

				include
			

				用于存放第三方應(yīng)用庫、頭文件目錄等
		

				src
			

				用于存放實(shí)現(xiàn)本方案需求的源代碼
		

	4.1.3 解決方案可拓展的目錄構(gòu)成。

	 可拓展的目錄是指：開發(fā)過程中增加某些功能模塊，功能代碼。增加模式分為兩種：

	增加已編譯的第三方庫，在include、libs目錄內(nèi)添加頭文件和庫文件；

	增加用戶自定義的功能模塊，推薦在src目錄內(nèi)增加；

	 具體情況如下所示，第三方模塊相關(guān)的文件由include/3rd_model/xxx.h、libs/3rd_model/xxx.a。自定義的功能模塊為src/mySrcCode、src/mySrcCode2。

	

	4.2 CMakeLists.txt文件解析

	4.2.1 編譯環(huán)境配置部分：

	   第一部分為配置部分，配置部分如下所示。（獲取當(dāng)前方案目錄、配置工具鏈、提取方案名稱）：

	

	 配置信息如下所示。

				配置項(xiàng)
			

				描述
		

				CMake要求版本
			

				cmake_minimum_required函數(shù)指定，要求的最低版本
		

				CMAKE_SYSTEM_NAME
			

				cmake的系統(tǒng)類型，交叉編譯必須
		

				CMAKE_CROSSCOMPILING
			

				cmake是否啟動交叉編譯
		

				cross.camke
			

				camke_host_system_information獲取平臺信息，發(fā)現(xiàn)不是armv7l就導(dǎo)入當(dāng)前平臺的交叉編譯配置。
		

				project項(xiàng)目名
			

				由project函數(shù)指定
		

	4.2.2 easyeai-api配置部分

	 第二部分是引入我司的功能組件庫（針對當(dāng)前方案進(jìn)行：配置EASY EAI API頭文件目錄、庫文件目錄以及配置庫鏈接參數(shù)）：

	

	 配置信息如下所示。

				配置項(xiàng)
			

				描述
		

				api_inc
			

				最終通過target_include_directories函數(shù)指定目標(biāo)包含的頭文件路徑
		

				link_directories
			

				由link_directories函數(shù)指定easyeai-api庫所在路徑
		

				LINK_LIBRARIES
			

				由LINK_LIBRARIES函數(shù)指定easyeai-api庫文件
		

	4.2.3 第三方庫配置部分

	   第三部分配置第三方的庫（針對當(dāng)前方案進(jìn)行：配置第三方頭文件目錄、庫文件目錄、配置第三方庫鏈接參數(shù)以及配置源碼目錄）：

	

	 配置信息如下所示。

				配置項(xiàng)
			

				描述
		

				custom_inc
			

				自定義變量custom_inc，最終通過target_include_directories函數(shù)指定目標(biāo)包含的頭文件路徑，在源碼include目錄下
		

				link_directories
			

				由link_directories函數(shù)指定第三方庫所在路徑
		

				custom_libs
			

				自定義變量custom_libs，最終通過target_link_libraries函數(shù)指定目標(biāo)引用的庫鏈接參數(shù)
		

				aux_source_directory
			

				自定義變量dir_srcs，用于添加工程代碼以及自定義的個人代碼
		

	 例如添加個人庫的目錄組成方式如下所示。

	

	 aux_source_directory的修改方式為：

	
aux_source_directory(./src ./src/mySrcCode ./src/mySrcCode2 dir_srcs)

	

	   或

	
aux_source_directory(./src dir_srcs)
aux_source_directory(./src/mySrcCode dir_srcs)
aux_source_directory(./src/mySrcCode2 dir_srcs)


	

	4.2.4 本方案配置部分

	   第四部分配置項(xiàng)目的編譯信息，內(nèi)容如下所示：

	

	 配置項(xiàng)如下所示。

				配置項(xiàng)
			

				描述
		

				add_executable
			

				編譯結(jié)果為${CURRENT_FOLDER}指定，即方案目錄名；

				編譯的源文件為${dir_srcs}指定；
		

				target_include_directories
			

				指定頭文件的名字，由${api_inc}與${custom_inc}指定；
		

				target_link_libraries
			

				指定額外的庫，例如opencv的庫等
		

	4.3 build.sh編譯腳本：

	4.3.1 路徑定位部分

	   第一部分用于提取目錄用于編譯操作，內(nèi)容如下所示：（進(jìn)入build.sh腳本所在目錄，并且提取當(dāng)前目錄絕對路徑，提取當(dāng)前目錄名稱）

	

	4.3.2 清除編譯部分

	   第二部分清除操作，清除目錄為build、Release，內(nèi)容如下所示：（執(zhí)行build.sh腳本時，帶入了參數(shù)“clear”，則清空編譯輸出）

	

	4.3.3 編譯操作

	   第三部分，編譯直接調(diào)用cmake，內(nèi)容如下所示：（重新編譯，成部署目錄，并把資源自動部署進(jìn)板卡）

	



	審核編輯 黃宇