好看的电视剧,已完本玄幻小说排行榜,好看的玄幻小说

前言：

通常情況下，新模型發(fā)布后，其對應(yīng)的 github 倉庫中都會有提供自定數(shù)據(jù)集訓(xùn)練的任務(wù)腳本，開發(fā)者可以基于自己的數(shù)據(jù)集，快速實現(xiàn)對該模型結(jié)構(gòu)的訓(xùn)練與驗證。但往往這些訓(xùn)練腳本僅支持部分的數(shù)據(jù)集格式，例如 YOLOv8 的官方倉庫，就是需要開發(fā)者的數(shù)據(jù)集格式滿足 Ultralytics 標準，或是手動編寫腳本進行，將原本的數(shù)據(jù)集格式轉(zhuǎn)化為 Ultralytics 格式，但這部分工作其實并不影響模型訓(xùn)練后的部署效果，因此如果有一個工具幫助我們非常便捷地進行訓(xùn)練數(shù)據(jù)的管理與格式轉(zhuǎn)換，將大大提升模型訓(xùn)練的生產(chǎn)效率。

Datumaro 套件介紹

項目地址：https://github.com/openvinotoolkit/datumaro Datumaro 是一個支持 Python 和命令行調(diào)用兩種調(diào)用方式的標注數(shù)據(jù)管理工具。它可以支持以下功能： ＞標注數(shù)據(jù)格式雙向轉(zhuǎn)換可以適用于分類，分割，檢測，關(guān)鍵點檢測，文本定位，文本識別、重識別以及點云任務(wù)的數(shù)據(jù)處理，支持以下標注數(shù)據(jù)格式的互相轉(zhuǎn)換：

CIFAR-10/100(classification)
Cityscapes
COCO(image_info,instances,person_keypoints,captions,labels,panoptic,stuff)
CVAT
ImageNet
Kitti(segmentation,detection,3D raw/velodyne points)
LabelMe
LFW(classification,person re-identification,landmarks)
MNIST(classification)
Open Images
PASCAL VOC(classification,detection,segmentation,action_classification,person_layout)
TF Detection API(bboxes,masks)
YOLO(bboxes)

＞構(gòu)建并修改數(shù)據(jù)集

多個數(shù)據(jù)集合并
數(shù)據(jù)集標簽過濾，例如刪除特定標簽的圖片
修改數(shù)據(jù)集標簽
數(shù)據(jù)集分割，例如訓(xùn)練集、驗證集與測試集
數(shù)據(jù)集采樣，例如基于 Entropy 的方法篩選合適的訓(xùn)練集樣本

Datumaro 套件實踐

Datumaro 是支持命令行調(diào)用的模式，因此我們可以非常方便地使用 1 行命令完成 2 種不同格式數(shù)據(jù)的轉(zhuǎn)換，下面我將基于命令行模式，演示一下 Datumaro 處理標注數(shù)據(jù)格式轉(zhuǎn)化時的基本方法。 ·Datumaro 安裝與基本使用方法Datumaro 支持基于 PyPI 的安裝方式，如果想在第一時間體驗最新的功能也可以基于 github倉庫直接安裝# From PyPI:$pipinstalldatumaro[default]$pipinstall'git+https://github.com/openvinotoolkit/datumaro[default]'Datumaro 的命令行調(diào)用方法非常簡單，如果你已經(jīng)有了一組標準格式的數(shù)據(jù)集，只需要在命令行中定于原始數(shù)據(jù)格式和路徑，以及轉(zhuǎn)換后的數(shù)據(jù)格式及路徑即可：$datumconvert-ifvoc-i-fcoco-o·YOLOv8目標檢測數(shù)據(jù)集實戰(zhàn)正好最近在準備表計識別的項目，這里借用一下飛槳提供的表計檢測數(shù)據(jù)集，目標是使用 YOLOv8 模型構(gòu)建表盤目標檢測任務(wù)。數(shù)據(jù)集下載地址：https://bj.bcebos.com/paddlex/examples/meter_reader/datasets/meter_det.tar.gz 下載數(shù)據(jù)集后可以看到文件目錄結(jié)構(gòu)如下：├── meter_det│ ├── annotations│ ├── instance_train.json│ └── instance_test.json│ ├── test│ └── train其實中 train 和 test 目錄下分別保存了圖片格式的訓(xùn)練數(shù)據(jù)和驗證數(shù)據(jù)：├── test│ ├── 20190822_105.jpg│ ├── 20190822_110.jpg│ ├── 20190822_123.jpg│ ├── 20190822_124.jpg│ ├── 20190822_127.jpg│ ├── …我們可以隨機打開一張圖片驗證：

| 圖片數(shù)據(jù)示例第一步我們可先先使用 datum 命令自動識別一下該數(shù)據(jù)集的格式：$datum detect './meter_det' 輸出：Detected format: image_dir可以看到由于該數(shù)據(jù)集并沒有符合某類標準的格式規(guī)范，因此 Datumaro 將其判斷為普通的圖片文件夾。這里我可以手動查詢幾種數(shù)據(jù)集的標準格式，找到和原始數(shù)據(jù)集最相似的一種，然后進行手動修改。通過對于 Datumaro 支持的幾種數(shù)據(jù)格式標準進行查詢https://openvinotoolkit.github.io/datumaro/latest/docs/data-formats/supported_formats.html，我們發(fā)現(xiàn)原始數(shù)據(jù)的格式和COCO最為類似： └─ Dataset/├── dataset_meta.json # a list of custom labels (optional)├── images/│ ├── train/│ │ ├──│ │ ├──│ │ └── ...│ └── val/│ ├──│ ├──│ └── ...└── annotations/├── _.json└── ... 所以我們手動對原始目錄進行略微改造，增加一個images目錄用于單獨存放圖片數(shù)據(jù)，改造結(jié)果如下：├── meter_det_coco│ ├── annotations│ ├── instances_train.json│ └── instances_val.json│ └── images├── train└── val這里有個容易被忽略的點，因為 Datumaro 會根據(jù) .json 標簽文件的文件名來判斷該數(shù)據(jù)集的用途，例如檢測或者分割，所以我們一定要將示例中部分的名字改為 “instances”，接下來我們再使用 detect 方法檢測下修改后的數(shù)據(jù)集類型： $ datum detect './meter_det_coco'輸出：Detected format: coco可以看到 Datumaro 已經(jīng)將其識別為標準的 COCO 格式類型。最后我們就可以調(diào)用之前提到的命令一鍵完成對數(shù)據(jù)集從 COCO 到 Ultralytics 標準的轉(zhuǎn)換：$ datum convert -if coco -i '/home/ethan/intel/data/meter_det_coco' -f yolo_ultralytics -o '/home/ethan/intel/data/meter_det_yolo' -- --save-mediaP.S: --save-media 自動將圖片文件復(fù)制到新的數(shù)據(jù)集目錄下轉(zhuǎn)換后的數(shù)據(jù)集目錄如下：├── meter_det_yolo│ ├── data.yaml│ ├── images│ │ ├── train│ │ └── val│ ├── labels│ │ ├── train│ │ └── val│ ├── train.txt│ └── val.txt└── table.jpg有了這樣一個 Ultralytics 標準數(shù)據(jù)集后，我們就可以直接將其對應(yīng)的路徑放到 YOLOv8 倉庫中的配置文件中，然后開啟訓(xùn)練腳本進行模型創(chuàng)建。model.train(data='data.yaml', epochs=100, imgsz=640)

總結(jié)

Datumaro 是一個非常強大的標注數(shù)據(jù)管理工具，幫助開發(fā)者在各種數(shù)據(jù)標準間輕松實現(xiàn)格式的互相轉(zhuǎn)換，并實現(xiàn)對這些數(shù)據(jù)集的有效管理和改造，大大提升了既有數(shù)據(jù)集的復(fù)用性，完成對新模型效果進行快速驗證。

聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。舉報投訴

數(shù)據(jù)管理

數(shù)據(jù)管理

+關(guān)注

關(guān)注
1

文章
312

瀏覽量
19985
數(shù)據(jù)集

數(shù)據(jù)集

+關(guān)注

關(guān)注
4

文章
1223

瀏覽量
25368

原文標題：一個工具搞定標注數(shù)據(jù)格式轉(zhuǎn)換

文章出處：【微信號：SDNLAB，微信公眾號：SDNLAB】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

搜索歷史

一個工具搞定標注數(shù)據(jù)格式轉(zhuǎn)換

評論