簡介

相信大部分同學(xué)們都已了解或接觸過OpenAtom OpenHarmony（以下簡稱“OpenHarmony”）了，但你一定沒在OpenHarmony上實現(xiàn)過人臉識別功能，跟著本文帶你快速在OpenHarmony標(biāo)準(zhǔn)設(shè)備上基于SeetaFace2和OpenCV實現(xiàn)人臉識別。

項目效果

本項目實現(xiàn)了導(dǎo)入人臉模型、人臉框選和人臉識別三大功能，操作流程如下：

1.錄入頁面點擊右下角按鈕，跳轉(zhuǎn)拍攝頁面進行拍照；

2.選擇一張或多張人臉作為訓(xùn)練模型，并設(shè)置對應(yīng)的名字；

3.選擇一張未錄入的人臉圖片，點擊框選按鈕實現(xiàn)人臉圖片框選功能；

4.最后點擊識別，應(yīng)用會對當(dāng)前圖片進行匹配，最終在界面中顯示識別結(jié)果。

快速上手

設(shè)備端開發(fā)

設(shè)備端通過OpenCV對圖像進行處理并通過Seetaface2對圖形數(shù)據(jù)進行人臉頭像的識別，最終輸出對應(yīng)的NAPI接口提供給應(yīng)用端調(diào)用。因此設(shè)備端開發(fā)主要涉及到OpenCV和Seetaface2的移植以及NAPI接口的開發(fā)。

OpenCV庫移植

OpenCV是一個功能非常強大的開源計算機視覺庫。此庫已由知識體系工作組移植到了OpenHarmony中，后期還會將此庫合入到主倉。在此庫上主倉之前，我們只需要以下幾個步驟就可以實現(xiàn)OpenCV的移植使用。

1.通過以下命令下載已經(jīng)移植好的OpenCV

复制git clone git@gitee.com:zhong-luping/ohos_opencv.git

2.將OpenCV拷貝到OpenHarmony目錄的third_party下

复制cp -raf opencv ~/openharmony/third_party/

3.適當(dāng)裁剪編譯選項

打開OpenCV目錄下的BUILD.gn，如下：

不需要video以及flann功能，將對應(yīng)的模塊注釋即可。

复制import("http://build/ohos.gni")复制group("opencv") {复制    deps = [复制        "http://third_party/opencv/modules/core:opencv_core",复制      //  "http://third_party/opencv/modules/flann:opencv_flann",复制        "http://third_party/opencv/modules/imgproc:opencv_imgproc",复制        "http://third_party/opencv/modules/ml:opencv_ml",复制        "http://third_party/opencv/modules/photo:opencv_photo",复制        "http://third_party/opencv/modules/dnn:opencv_dnn",复制        "http://third_party/opencv/modules/features2d:opencv_features2d",复制        "http://third_party/opencv/modules/imgcodecs:opencv_imgcodecs",复制        "http://third_party/opencv/modules/videoio:opencv_videoio",复制        "http://third_party/opencv/modules/calib3d:opencv_calib3d",复制        "http://third_party/opencv/modules/highgui:opencv_highgui",复制        "http://third_party/opencv/modules/objdetect:opencv_objdetect",复制        "http://third_party/opencv/modules/stitching:opencv_stitching",复制        "http://third_party/opencv/modules/ts:opencv_ts",复制     //   "http://third_party/opencv/modules/video:opencv_video",复制       "http://third_party/opencv/modules/gapi:opencv_gapi",复制    ]复制}

4.添加依賴子系統(tǒng)的part_name，編譯框架子系統(tǒng)會將編譯出的庫拷貝到系統(tǒng)文件中。

此項目中我們新建了一個SeetaFaceApp的子系統(tǒng)，該子系統(tǒng)中命名part_name為SeetafaceApi，所以我們需要在對應(yīng)模塊中的BUILD.gn中加上part_name="SeetafaceApi"

以module/core為例：

复制ohos_shared_library("opencv_core"){复制 sources = [ ... ]复制configs = [  ... ]复制deps = [ ... ]复制part_name = "SeetafaceApi"复制}

5. 編譯工程需要添加OpenCV的依賴。

在生成NAPI的BUILD.gn中添加以下依賴：

复制deps += [ "http://third_party/opencv:opencv" ]

至此，人臉識別中OpenCV的移植使用完成。

SeetaFace2庫移植

SeetaFace2是中科視拓開源的第二代人臉識別庫。包括了搭建一套全自動人臉識別系統(tǒng)所需的三個核心模塊，即：人臉檢測模塊FaceDetector、面部關(guān)鍵點定位模塊FaceLandmarker以及人臉特征提取與比對模塊 FaceRecognizer。

關(guān)于SeetaFace2的移植請參照文檔:SeetaFace2移植開發(fā)文檔。

NAPI接口開發(fā)

關(guān)于OpenHarmony中的NAPI開發(fā)，參考視頻：

OpenHarmony中napi的開發(fā)視頻教程。本文將重點講解NAPI接口如何實現(xiàn)OpenCV以及SeetaFace的調(diào)用。

1.人臉框獲取的NAPI接口的實現(xiàn)。

int GetRecognizePoints(const char *image_path)；

此接口主要是通過應(yīng)用層輸入一張圖片，通過OpenCV的imread接口獲取到圖片數(shù)據(jù)，并通過人臉檢測模塊FaceDetector分析獲得圖片中所有的人臉矩形框（矩形框是以x,y,w,h的方式）并將人臉框矩形以數(shù)組的方式返回到應(yīng)用層。

人臉框矩形獲取的主要代碼如下：

复制static int RecognizePoint(string image_path, FaceRect *rect, int num)复制{复制    if (rect == nullptr) {复制        cerr << "NULL POINT!" << endl;复制        LOGE("NULL POINT! 
");复制        return -1;复制    }复制    seeta::Device device = seeta::CPU;复制    int id = 0;
复制    /* 設(shè)置人臉識別模型。*/复制    seeta::ModelSetting FD_model( "/system/usr/model/fd_2_00.dat", device, id );复制    seeta::ModelSetting FL_model( "/system/usr/model/pd_2_00_pts81.dat", device, id );
复制    seeta::FaceDetector FD(FD_model);复制    seeta::FaceLandmarker FL(FL_model);
复制    FD.set(seeta::PROPERTY_VIDEO_STABLE, 1);
复制    /* 讀取圖片數(shù)據(jù) */复制    auto frame = imread(image_path);复制    seeta::ImageData simage = frame;复制    if (simage.empty()) {复制        cerr << "Can not open image: " << image_path << endl;复制        LOGE("Can not open image: %{public}s", image_path.c_str());复制        return -1;复制    }复制    /* 圖片數(shù)據(jù)進行人臉識別處理 ，獲取所有的人臉框數(shù)據(jù)對象*/复制    auto faces = FD.detect(simage);复制    if (faces.size <= 0) {复制        cerr << "detect " << image_path << "failed!" << endl;复制        LOGE("detect image: %s failed!", image_path.c_str());复制        return -1;复制    }复制    for (int i = 0; (i < faces.size && i < num); i++) {复制        /* 將所有人臉框?qū)ο髷?shù)據(jù)以坐標(biāo)形式輸出*/复制        auto &face = faces.data[i];复制        memcpy(&rect[i], &(face.pos), sizeof(FaceRect));复制    }复制    return faces.size;复制}

其中FD_model是人臉檢測模型，而FL_model是面部關(guān)鍵點定位模型(此模型分為5點定位和81點定位，本項目中使用的是81點定位模型)，這些模型從開源項目中免費獲取。

通過以上方式獲取到對應(yīng)的人臉矩形框后，再將矩形框以數(shù)組的方式返回到應(yīng)用端：

复制    string image = path;复制    p = (FaceRect *)malloc(sizeof(FaceRect) * MAX_FACE_RECT);复制    /* 根據(jù)圖片進行人臉識別并獲取人臉框坐標(biāo)點 */复制    int retval = RecognizePoint(image, p, MAX_FACE_RECT);复制    if (retval <= napi_ok) {复制        LOGE("GetNapiValueString failed!");复制        free(p);复制        return result;复制    }  复制    /*將所有坐標(biāo)點以數(shù)組方式返回到應(yīng)用端*/复制    for (int i = 0; i < retval; i++) {复制        int arry_int[4] = {p[i].x, p[i].y, p[i].w, p[i].h};复制        int arraySize = (sizeof(arry_int) / sizeof(arry_int[0]));复制        for (int j = 0; j < arraySize; j++) {复制            napi_value num_val;复制            if (napi_create_int32(env, arry_int[j], &num_val) != napi_ok) {复制                LOGE("napi_create_int32 failed!");复制                return result;复制            }复制            napi_set_element(env, array, i*arraySize + j, num_val);复制        }复制    }复制    if (napi_create_object(env, &result) != napi_ok) {复制        LOGE("napi_create_object failed!");复制        free(p);复制        return result;复制    }复制    if (napi_set_named_property(env, result, "recognizeFrame", array) != napi_ok) {复制        LOGE("napi_set_named_property failed!");复制        free(p);复制        return result;复制    }复制    LOGI("");复制    free(p);复制returnresult;

其中array是通過napi_create_array創(chuàng)建的一個NAPI數(shù)組對象，通過 napi_set_element將所有的矩形框數(shù)據(jù)保存到array對象中，最后通過 napi_set_named_property將array轉(zhuǎn)換成應(yīng)用端可識別的對象類型result并將其返回。

2.人臉?biāo)阉髯R別初始化與逆初始化。

1.int FaceSearchInit()；

2.int FaceSearchDeinit()；

這2個接口主要是提供給人臉?biāo)阉饕约白R別調(diào)用的，初始化主要包含模型的注冊以及識別模塊的初始化：

复制static  int FaceSearchInit(FaceSearchInfo *info)复制{复制    if (info == NULL) {复制        info = (FaceSearchInfo *)malloc(sizeof(FaceSearchInfo));复制        if (info == nullptr) {复制            cerr << "NULL POINT!" << endl;复制            return -1;复制        }复制    }
复制    seeta::Device device = seeta::CPU;复制    int id = 0;复制    seeta::ModelSetting FD_model( "/system/usr/model/fd_2_00.dat", device, id );复制    seeta::ModelSetting PD_model( "/system/usr//model/pd_2_00_pts5.dat", device, id );复制    seeta::ModelSetting FR_model( "/system/usr/model/fr_2_10.dat", device, id );
复制    info->engine = make_shared(FD_model, PD_model, FR_model, 2, 16);复制    info->engine->FD.set( seeta::PROPERTY_MIN_FACE_SIZE, 80);
复制    info->GalleryIndexMap.clear();
复制    return 0;复制}

而逆初始化就是做一些內(nèi)存的釋放。

复制static void FaceSearchDeinit(FaceSearchInfo *info, int need_delete)复制{复制    if (info != nullptr) {复制        if (info->engine != nullptr) {复制        }
复制        info->GalleryIndexMap.clear();复制        if (need_delete) {复制            free(info);复制            info = nullptr;复制        }复制    }复制}

3.人臉?biāo)阉髯R別注冊接口的實現(xiàn)。

int FaceSearchRegister(const char *value);

需要注意的是，該接口需要應(yīng)用端傳入一個json數(shù)據(jù)的參數(shù)，主要包含注冊人臉的名字，圖片以及圖片個數(shù)，如{"name":"劉德華","sum":"2","image":{"11.jpg","12.jpg"}}。而解析參數(shù)的時候需要調(diào)用 napi_get_named_property對json數(shù)據(jù)的各個對象進行解析，具體代碼如下：

复制    napi_get_cb_info(env, info, &argc, &argv, &thisVar, &data);复制    napi_value object = argv;复制    napi_value value = nullptr;
复制    if (napi_get_named_property(env, object, (const char *)"name", &value) == napi_ok) {复制        char name[64] = {0};复制        if (GetNapiValueString(env, value, (char *)name, sizeof(name)) < 0) {复制            LOGE("GetNapiValueString failed!");复制            return result;复制        }复制        reg_info.name = name;复制    }复制    LOGI("name = %{public}s", reg_info.name.c_str());复制    if (napi_get_named_property(env, object, (const char *)"sum", &value) == napi_ok) {复制        复制        if (napi_get_value_uint32(env, value, &sum) != napi_ok) {复制            LOGE("napi_get_value_uint32 failed!");复制            return result;复制        }复制    }复制    LOGI("sum = %{public}d", sum);复制    if (napi_get_named_property(env, object, (const char *)"image", &value) == napi_ok) {复制        bool res = false;复制        if (napi_is_array(env, value, &res) != napi_ok || res == false) {复制            LOGE("napi_is_array failed!");复制            return result;复制        }复制        for (int i = 0; i < sum; i++) {复制            char image[256] = {0};复制            napi_value imgPath = nullptr;复制            if (napi_get_element(env, value, i, &imgPath) != napi_ok) {复制                LOGE("napi_get_element failed!");复制                return result;复制            }复制            if (GetNapiValueString(env, imgPath, (char *)image, sizeof(image)) < 0) {复制                LOGE("GetNapiValueString failed!");复制                return result;复制            }复制            reg_info.path = image;复制            if (FaceSearchRegister(g_FaceSearch, reg_info) != napi_ok) {复制                retval = -1;复制                break;复制            }复制        }复制}

通過napi_get_cb_info獲取從應(yīng)用端傳來的參數(shù)，并通過 napi_get_named_property獲取對應(yīng)的name以及圖片個數(shù)，最后通過napi_get_element獲取圖片數(shù)組中的各個image，將name和image通過FaceSearchRegister接口將圖片和名字注冊到SeetaFace2模塊的識別引擎中。具體實現(xiàn)如下：

复制static int FaceSearchRegister(FaceSearchInfo &info, RegisterInfo &gegister)复制{复制    if (info.engine == nullptr) {复制        cerr << "NULL POINT!" << endl;复制        return -1;复制    }
复制    seeta::ImageData image = cv::imread(gegister.path);复制    auto id = info.engine->Register(image);复制    if (id >= 0) {复制        info.GalleryIndexMap.insert(make_pair(id, gegister.name));复制    }
复制    return 0;复制}

注冊完數(shù)據(jù)后，后續(xù)可以通過該引擎來識別對應(yīng)的圖片。

4.獲取人臉?biāo)阉髯R別結(jié)果接口的實現(xiàn)。

复制char *FaceSearchGetRecognize(const char *image_path);

該接口實現(xiàn)了通過傳入一張圖片，在識別引擎中進行搜索識別。如果識別引擎中有類似的人臉注冊，則返回對應(yīng)人臉注冊時的名字，否則返回不識別(ignored)字樣。該方法是通過異步回調(diào)的方式實現(xiàn)的：

复制    // 創(chuàng)建async work，創(chuàng)建成功后通過最后一個參數(shù)(commandStrData->asyncWork)返回async work的handle复制    napi_value resourceName = nullptr;复制    napi_create_string_utf8(env, "FaceSearchGetPersonRecognizeMethod", NAPI_AUTO_LENGTH, &resourceName);复制    napi_create_async_work(env, nullptr, resourceName, FaceSearchRecognizeExecuteCB, FaceSearchRecognizeCompleteCB,复制            (void *)commandStrData, &commandStrData->asyncWork);
复制    // 將剛創(chuàng)建的async work加到隊列，由底層去調(diào)度執(zhí)行复制napi_queue_async_work(env,commandStrData->asyncWork);

其中FaceSearchRecognizeExecuteCB實現(xiàn)了人臉識別：

复制static void FaceSearchRecognizeExecuteCB(napi_env env, void *data)复制{复制    CommandStrData *commandStrData = dynamic_cast((CommandStrData *)data);复制    if (commandStrData == nullptr) {复制        HILOG_ERROR("nullptr point!", __FUNCTION__, __LINE__);复制        return;复制    }
复制    FaceSearchInfo faceSearch = *(commandStrData->mFaceSearch);复制    commandStrData->result = FaceSearchSearchRecognizer(faceSearch, commandStrData->filename);复制    LOGI("Recognize result : %s !", __FUNCTION__, __LINE__, commandStrData->result.c_str());复制}

FaceSearchRecognizeCompleteCB函數(shù)通過napi_resolve_deferred接口將識別結(jié)果返回到應(yīng)用端。

复制static void FaceSearchRecognizeCompleteCB(napi_env env, napi_status status, void *data)复制{复制    CommandStrData *commandStrData = dynamic_cast((CommandStrData *)data);复制    napi_value result;
复制    if (commandStrData == nullptr || commandStrData->deferred == nullptr) {复制        LOGE("nullptr", __FUNCTION__, __LINE__);复制        if (commandStrData != nullptr) {复制            napi_delete_async_work(env, commandStrData->asyncWork);复制            delete commandStrData;复制        }
复制        return;复制    }
复制    const char *result_str = (const char *)commandStrData->result.c_str();复制    if (napi_create_string_utf8(env, result_str, strlen(result_str), &result) != napi_ok) {复制        LOGE("napi_create_string_utf8 failed!", __FUNCTION__, __LINE__);复制        napi_delete_async_work(env, commandStrData->asyncWork);复制        delete commandStrData;复制        return;复制    }
复制    napi_resolve_deferred(env, commandStrData->deferred, result);复制    napi_delete_async_work(env, commandStrData->asyncWork);
复制    delete commandStrData;复制}

通過人臉特征提取與比對模塊，對傳入的數(shù)據(jù)與已注冊的數(shù)據(jù)進行對比，并通過返回對比的相似度來進行判斷當(dāng)前人臉是否為可識別的，最后返回識別結(jié)果。具體實現(xiàn)代碼：

复制static string FaceSearchSearchRecognizer(FaceSearchInfo &info, string filename)复制{复制    if (info.engine == nullptr) {复制        cerr << "NULL POINT!" << endl;复制        return "recognize error 0";复制    }复制    string name;复制    float threshold = 0.7f;复制    seeta::QualityAssessor QA;复制    auto frame = cv::imread(filename);复制    if (frame.empty()) {复制        LOGE("read image %{public}s failed!", filename.c_str());复制        return "recognize error 1!";复制    }复制    seeta::ImageData image = frame;复制    std::vector faces = info.engine->DetectFaces(image);
复制    for (SeetaFaceInfo &face : faces) {复制        int64_t index = 0;复制        float similarity = 0;
复制        auto points = info.engine->DetectPoints(image, face);
复制        auto score = QA.evaluate(image, face.pos, points.data());复制        if (score == 0) {复制            name = "ignored";复制        } else {复制            auto queried = info.engine->QueryTop(image, points.data(), 1, &index, &similarity);复制            // no face queried from database复制            if (queried < 1) continue;复制                // similarity greater than threshold, means recognized复制            if( similarity > threshold ) {复制                name = info.GalleryIndexMap[index];复制            }复制        }复制    }复制    LOGI("name : %{public}s 
", name.length() > 0 ? name.c_str() : "null");复制    return name.length() > 0 ? name : "recognize failed";复制}

至此，所有的NAPI接口已經(jīng)開發(fā)完成。 5.NAPI庫編譯開發(fā)完NAPI接口后，我們需要將我們編寫的庫加入到系統(tǒng)中進行編譯，我們需要添加一個自己的子系統(tǒng)。

首先在庫目錄下新建一個ohos.build文件并添加以下代碼：

复制{复制    "subsystem": "SeetafaceApp",复制    "parts": {复制        "SeetafaceApi": {复制            "module_list": [复制               "http://seetaface:seetafaceapp_napi"复制            ],复制            "test_list": [ ]复制        }复制    }复制}

其次同一目錄新建一個BUILD.gn，將庫源文件以及對應(yīng)的依賴加上，如下：

复制import("http://build/ohos.gni")
复制config("lib_config") {复制    cflags_cc = [复制        "-frtti",复制        "-fexceptions",复制        "-DCVAPI_EXPORTS",复制        "-DOPENCV_ALLOCATOR_STATS_COUNTER_TYPE=int",复制        "-D_USE_MATH_DEFINES",复制        "-D__OPENCV_BUILD=1",复制        "-D__STDC_CONSTANT_MACROS",复制        "-D__STDC_FORMAT_MACROS",复制        "-D__STDC_LIMIT_MACROS",复制        "-O2",复制        "-Wno-error=header-hygiene",复制    ]复制}
复制ohos_shared_library("seetafaceapp_napi") {复制    sources = [复制        "app.cpp",复制    ]
复制    include_dirs = [复制        "./",复制        "http://third_party/opencv/include",复制        "http://third_party/opencv/common",复制        "http://third_party/opencv/modules/core/include",复制        "http://third_party/opencv/modules/highgui/include",复制        "http://third_party/opencv/modules/imgcodecs/include",复制        "http://third_party/opencv/modules/imgproc/include",复制        "http://third_party/opencv/modules/calib3d/include",复制        "http://third_party/opencv/modules/dnn/include",复制        "http://third_party/opencv/modules/features2d/include",复制        "http://third_party/opencv/modules/flann/include",复制        "http://third_party/opencv/modules/ts/include",复制        "http://third_party/opencv/modules/video/include",复制        "http://third_party/opencv/modules/videoio/include",复制        "http://third_party/opencv/modules/ml/include",复制        "http://third_party/opencv/modules/objdetect/include",复制        "http://third_party/opencv/modules/photo/include",复制        "http://third_party/opencv/modules/stitching/include",复制        "http://third_party/SeetaFace2/FaceDetector/include",复制        "http://third_party/SeetaFace2/FaceLandmarker/include",复制        "http://third_party/SeetaFace2/FaceRecognizer/include",复制        "http://third_party/SeetaFace2/QualityAssessor/include",复制        "http://base/accessibility/common/log/include",复制        "http://base/hiviewdfx/hilog_lite/interfaces/native/innerkits"复制    ]
复制    deps = [ "http://foundation/ace/napi:ace_napi" ]复制    deps += [ "http://third_party/opencv:opencv" ]复制    deps += [ "http://third_party/SeetaFace2:SeetaFace2" ]
复制    external_deps = [复制        "hiviewdfx_hilog_native:libhilog",复制    ]
复制    configs = [复制       ":lib_config"复制    ]
复制    # 指定庫生成的路徑复制    relative_install_dir = "module"复制    # 子系統(tǒng)及其組件，后面會引用复制    subsystem_name = "SeetafaceApp"复制    part_name = "SeetafaceApi"复制}

添加完對應(yīng)的文件后，我們需要將我們的子系統(tǒng)添加到系統(tǒng)中進行編譯，打開build/subsystem_config.json并在最后添加以下代碼：

复制  "SeetafaceApp": {复制    "path": "seetaface",复制    "name": "SeetafaceApp"复制}

添加完子系統(tǒng)再修改產(chǎn)對應(yīng)的品配置打開productdefine/common/products/rk3568.json并在最后添加以下代碼：

复制"SeetafaceApp:SeetafaceApi":{}

做完以上修改后我們就可以通過以下命令直接編譯NAPI的庫文件了：

复制./build.sh --product-name rk3568 --ccache

參考RK3568快速上手-鏡像燒錄完成燒錄即可。

應(yīng)用端開發(fā)

在完成設(shè)備NAPI功能開發(fā)后，應(yīng)用端通過調(diào)用NAPI組件中暴露給應(yīng)用的人臉識別接口，即可實現(xiàn)對應(yīng)功能。接下來就帶著大家使用NAPI實現(xiàn)人臉識別功能。

開發(fā)準(zhǔn)備

1.下載DevEco Studio 3.0 Beta4；

2.搭建開發(fā)環(huán)境，參考開發(fā)準(zhǔn)備；

3.了解屬性eTS開發(fā)，參考eTS語言快速入門；

SeetaFace2初始化

1.首先將SeetaFace2 NAPI接口聲明文件放置于SDK目錄/api下；

2.然后導(dǎo)入SeetaFace2 NAPI模塊；ck-start/star

3.調(diào)用初始化接口；

复制// 首頁實例創(chuàng)建后复制async aboutToAppear() {复制  await StorageUtils.clearModel();复制  CommonLog.info(TAG,'aboutToAppear')复制  // 初始化人臉識別复制  let res = SeetafaceApp.FaceSearchInit()复制  CommonLog.info(TAG,`FaceSearchInit res=${res}`)复制  this.requestPermissions()复制}
复制// 請求權(quán)限复制requestPermissions(){复制  CommonLog.info(TAG,'requestPermissions')复制  let context = featureAbility.getContext()复制  context.requestPermissionsFromUser(PERMISSIONS, 666,(res)=>{复制    this.getMediaImage()复制  })复制}

獲取所有人臉圖片

通過文件管理模塊fileio和媒體庫管理mediaLibrary，獲取指定應(yīng)用數(shù)據(jù)目錄下所有的圖片信息，并將路徑賦值給faceList，faceList數(shù)據(jù)用于Image組件提供url進行加載圖片。

复制// 獲取所有圖片复制async getMediaImage(){复制  let context = featureAbility.getContext();复制  // 獲取本地應(yīng)用沙箱路徑复制  let localPath = await context.getOrCreateLocalDir()复制  CommonLog.info(TAG, `localPath:${localPath}`)复制  let facePath = localPath + "/files"复制  // 獲取所有照片复制  this.faceList = await FileUtil.getImagePath(facePath)复制}

設(shè)置人臉模型

獲取選中的人臉圖片地址和輸入的名字，調(diào)用SeetafaceApp.FaceSearchRegister(params)進行設(shè)置人臉模型。其中參數(shù)params由name名字、image圖片地址集合和sum圖片數(shù)量組成。

复制async submit(name) {复制    if (!name || name.length == 0) {复制        CommonLog.info(TAG, 'name is empty')复制        return复制    }复制    let selectArr = this.faceList.filter(item => item.isSelect)复制    if (selectArr.length == 0) {复制        CommonLog.info(TAG, 'faceList is empty')复制        return复制    }复制    // 關(guān)閉彈窗复制    this.dialogController.close()复制    try {复制        let urls = []复制        let files = []复制        selectArr.forEach(item => {复制            let source = item.url.replace('file://', '')复制            CommonLog.info(TAG, `source:${source}`)复制            urls.push(item.url)复制            files.push(source)复制        })
复制        // 設(shè)置人臉識別模型參數(shù)复制        let params = {复制            name: name,复制            image: files,复制            sum: files.length复制        }复制        CommonLog.info(TAG, 'FaceSearchRegister' + JSON.stringify(params))复制        let res = SeetafaceApp.FaceSearchRegister(params)复制        CommonLog.info(TAG, 'FaceSearchRegister res ' + res)复制        // 保存已設(shè)置的人臉模型到輕量存儲复制        let data = {复制            name:name,复制            urls:urls复制        }复制        let modelStr = await StorageUtils.getModel()复制        let modelList = JSON.parse(modelStr)复制        modelList.push(data)复制        StorageUtils.setModel(modelList)复制        router.back()复制    } catch (err) {复制        CommonLog.error(TAG, 'submit fail ' + err)复制    }复制}

實現(xiàn)框選人臉

調(diào)用SeetafaceApp.GetRecognizePoints傳入當(dāng)前圖片地址，獲取到人臉左上和右下坐標(biāo)，再通過CanvasRenderingContext2D對象繪畫出人臉框。

复制// 框選當(dāng)前人臉复制select(){复制    try{复制        CommonLog.info(TAG,`select start`)复制        // 獲取人臉左上和右下坐標(biāo)复制        let res = SeetafaceApp.GetRecognizePoints(this.url)复制        CommonLog.info(TAG,`select start1` + JSON.stringify(res))复制        let points = res.recognizeFrame as Array复制        CommonLog.info(TAG,`select success ${JSON.stringify(res)}`)复制        let faceNumber = Math.floor(points.length/4)复制        // 框選出所有人臉复制        this.context.lineWidth = 5复制        this.context.strokeStyle = Color.Yellow.toString()复制        for (let index = 0; index < faceNumber; index++) {复制            let baseNumber = 4 * index复制            this.context.strokeRect(points[baseNumber],points[1 + baseNumber],points[2 + baseNumber],points[3 + baseNumber])复制            this.context.save()复制        }复制        CommonLog.info(TAG,`strokeRect success `)复制    }catch(err){复制        CommonLog.error(TAG,`select fail ${JSON.stringify(err)}`)复制    }复制}

實現(xiàn)人臉識別

調(diào)用SeetafaceApp.FaceSearchGetRecognize(url)，傳入圖片地址對人臉進行識別并返回對應(yīng)識別出來的名字。

复制// 人臉識別复制recognize(){复制    SeetafaceApp.FaceSearchGetRecognize(this.url).then(res=>{复制        CommonLog.info(TAG,'recognize suceess' + JSON.stringify(res))复制        if(res && res != 'ignored' && res != "recognize failed" && res != 'recognize error 1!'){复制            // 賦值識別到的人物模型复制            this.name = res复制        }else{复制            this.name = '未識別到該模型'复制        }复制    }).catch(err=>{复制        CommonLog.error(TAG,'recognize' + err)复制        this.name = '未識別到該模型'复制    })复制}

審核編輯：湯梓紅