MAX78000是具有超低功耗卷積神經網絡加速器的人工智能微控制器，可以在芯片上有效地運行人工智能模型。用戶應首先使用ADI公司在PyTorch上的開發流程開發神經網絡模型。然后，MAX78000頻率合成器工具接受YAML格式的PyTorch檢查點和模型描述，自動生成C代碼，在MAX78000上編譯和執行。模型開發階段使用的基本軟件組件之一是數據加載器，它負責特定于應用程序的數據準備任務。本文檔介紹在準備適合MAX78000模型訓練的特定應用訓練和驗證/測試集實體時，數據加載器實現的原則和設計注意事項。

介紹

在應用程序開發周期中，第一步是準備和預處理可用數據以創建訓練和驗證/測試數據集。除了通常的數據預處理外，在MAX78000上運行模型還需要考慮幾個硬件限制。

數據加載器的主要職責可以總結如下：

[可選]將原始資源的輸入和標簽數據下載到通過調用ADI公司的CNN培訓工具（培訓存儲庫/train.py提供的數據路徑中。

從指定的數據路徑（csv/二進制文件、帶或不帶層次結構的文件夾/s 等）讀取原始輸入數據。

讀取提供的數據路徑中的原始標簽/注釋（csv/二進制文件/s、帶或不帶層次結構的文件夾等）。

[可選]應用數據預處理步驟，如增強、數據清理等。

對輸入數據和標簽應用所需的數據類型和范圍轉換。

執行訓練和測試/驗證拆分。

提供數據加載器方法和與MAX78000模型訓練工具兼容的定義字典。

[可選]將處理后的數據實體保留在磁盤上，以便將來訪問。

[可選]將上述步驟應用于可從同一原始數據源生成的每個不同數據集變體。

提供兩個用于訓練和測試數據的 PyTorch 數據集。

以下各節提供了有關創建高效數據加載器的說明，以滿足所需的功能并方便地集成訓練工具。

圖 1 抽象地顯示了數據加載器實現的主流。以下各節介紹了詳細信息。

圖1.數據加載器模塊的主流。

自定義數據加載器實現的設計原則

數據加載器實現的主要職責之一是在將數據集實體饋送到 CNN 模型之前進行數據范圍調整和數據類型管理。圖 2 總結了這些操作，以下各節將詳細介紹這些操作。

圖2.數據范圍規范化和類型轉換。

預期數據范圍

對于訓練，輸入數據應在

.當評估量化權重或在硬件上運行時，輸入數據應位于本機MAX7800X范圍[-128， +127]。

如以下部分所述，數據加載器函數將數據路徑和一些參數作為輸入參數。參數字段包括兩個必填字段：act_mode_8bit 和 truncate_testset。當設置為True時，第一個參數是指對于本地MAX7800X范圍，即范圍[-128， +127]，應正確進行大小寫歸一化。設置為 False 時，規范化應在訓練范圍內

如果可用數據在 [0 1] 范圍內，例如，在 PIL 圖像中，數據加載器可以直接調用 ai8x.normalize（） 函數，使用提供的 args 參數將數據規范化為兩個支持的數據范圍：

class normalize:
"""
Normalize input to either [-128/128, +127/128] or [-128, +127]
"""
    def __init__(self, args):
        self.args = args

    def __call__(self, img):
        if self.args.act_mode_8bit:
            return img.sub(0.5).mul(256.).round().clamp(min=-128, max=127)
        return img.sub(0.5).mul(256.).round().clamp(min=-128, max=127).div(128.)

如果可用數據范圍為 [0 255]，則需要在調用 ai256x.normalize（） 函數之前將其除以 0 以使其達到 [1 8] 范圍。

注意：ai8x 模塊的設備設置方法ai8x.set_device也接受相關參數模擬：True 表示訓練案例 （act_mode_8bit = True），False 表示量化模型的評估或在也初始化 act_mode_8bit = False 的硬件上運行。此方法由具有適當參數管理的訓練腳本使用，但如果在外部調用函數，則應正確設置模擬參數。

在MAX7800X硬件上運行推理時，必須考慮本地數據格式，并且在推理過程中應盡可能少地進行預處理。

數據類型

數據源可能具有不同范圍內各種格式和值的原始數據文件。數據集類和數據加載器函數負責處理必要的轉換。

數據加載器函數應返回數據類的訓練和測試數據集元組。類型轉換和轉換通常在 __get_item__ 函數內處理，該函數應返回指定索引數據實體的數據元組和標簽。數據項的類型應為：火炬。庫達]。形狀火炬的浮動張量。大小（數據集字典的相關條目“輸入”字段）。

標簽維度可能因問題類型或輸入數據形狀而異。每個標簽類型都應強制轉換為 np.long，以便在訓練腳本中正確計算訓練損失。

在完成所有數據增強和預處理任務并將數據范圍規范化為 [0 1] 后，應使用該ai8x_normalize進行適當的進一步規范化，然后可以使用 torchvision.transforms.ToTensor 執行類型轉換。

注意：拿到火炬。庫達]。FloatTensor，numpy 數組必須事先轉換為 float32。

Torchvision軟件包包括各種預處理轉換，例如可以根據應用程序需求使用的PIL圖像的隨機裁剪。數據類可以利用Torchvision包的復合轉換按順序應用多個轉換，例如ToTensor轉換和ai8x_normalize每當訪問數據條目時。

數據實體的存儲

通常，有兩種方法可以存儲數據集條目;整個數據集條目可以存儲在內存中，也可以在使用 __getitem__ 方法訪問時從磁盤讀取。基本的決策因素是數據集的大小和每個實體的大小。當數據集太大而無法放入內存時（在初始化函數中處理預處理和增強任務后），所有數據集條目都可以保存到磁盤中，并在以后每次訪問時從磁盤單獨讀取。雖然將數據條目保留在內存中可以加快數據訪問速度，但內存限制可能會阻止在所有情況下使用基于內存的方法。

注意：即使采用基于內存的方法，也建議將預處理和增強的數據條目寫入磁盤，因為它們只執行一次。然后，在每次生成數據類實例時，可以執行將所有數據批量讀取到內存中。

表 1 總結了同一數據源的兩個數據加載器實現選項的一些度量。從第一行可以看出，磁盤存儲方法可以處理更多圖像。內存預算是限制已處理圖像數量的因素。這兩種方法的數據集生成時間都很長，因為第一種方法還處理預處理、擴充等步驟，然后將所有可用數據寫入磁盤。基于內存的方法在以后生成數據集需要更長的時間，因為對象創建需要將大文件從磁盤批量讀取到內存中。而在第二種方法中，每個數據集項都是獨立保存的，__getitem__方法創建數據集對象和實體檢索都花費很少的時間。第一種方法的內存消耗很高，因為它將所有數據集實體保留在內存中。在磁盤使用情況方面，第一種方法通常使用所有數據條目的單個文件，第二種方法為每個數據條目使用單獨的文件。這應該會導致大致相似的磁盤預算。

注意：在表 1 中，由于處理圖像的數量減少，第一種方法的磁盤空間要小得多。磁盤方法的唯一缺點是它增加了訓練時間，因為每個數據輸入讀取都是作為單獨的磁盤操作完成的。

自定義數據加載器實現的編程原則

數據加載器模塊將在 PyTorch 中實現，預計至少具有以下三個組件：

數據集類定義。示例：類 AISegment（數據集）

torch.utils.data.Dataset是自定義數據集實現類應繼承的抽象類。有關 PyTorch 中自定義數據加載器實現的教程，請參閱 [1]。

應重寫__len__方法，以便 len（dataset） 返回數據集的大小。

還應該實現__getitem__來支持索引，以便數據集[i]可用于獲取i千樣本。對于MAX78000應用，該方法應返回一個數據元組及其相應的標簽。

__init__功能參數和內容可根據應用需求進行定制。前兩個參數通常是數據根路徑和類型（測試或訓練），如MAX78000訓練存儲庫數據集文件夾中的幾個數據加載器實現所示。但是，只要以下項目中介紹并作為外部通信點提供的數據加載器函數是固定的并執行所需的操作，就可以更改這些參數的順序或命名。

數據加載器函數：不應修改此函數的簽名。第一個輸入是指定數據目錄和程序參數的元組。兩個前導布爾輸入指定是否應加載訓練和/或測試數據。

程序參數有兩個與數據類實現相關的關鍵字段;act_mode_8bit和truncate_testset。第一個是指規范化類型（有關更多詳細信息，請參閱預期數據范圍部分），第二個用于將測試集截斷為單個元素集。

示例：def AISegment352_get_datasets（data， load_train=True， load_test=True）。

數據集字典包括可用的數據加載器函數。字典名稱和鍵值都不應更改，僅應根據自定義數據集實現調整值。同一數據源的每個變體都可以作為此字典中的單獨元素存在。

例：

“name”鍵的值使ADI公司的CNN訓練工具（訓練存儲庫/train.py）能夠在提供--dataset參數時查找數據集。因此，此字段的值在自定義數據集中應該是唯一的。

“input”鍵的值是輸入數據的維度。第一個維度作為num_channels傳遞給模型，而其余維度作為維度傳遞。例如，“input”：（1， 28， 28） 以 num_channels=1 和 dimension=（28， 28） 的形式傳遞給模型。一維輸入使用單個“維度”，例如“input”：（2， 512） 以 num_channels=2 和 dimension=（512， ） 的形式傳遞給模型。

“output”鍵的值指定分類問題的可用類類型。此鍵的值也可以使用字符串文本定義。

示例：“輸出”：（“背景”、“縱向”）。

“weight”鍵的值指定每個數據實體的權重，并引用類標簽。這是一個可選字段，如果未提供，則全部為“1”。

可以通過使用可用樣本數為每個類提供成反比的權重來解決訓練數據集中的類不平衡問題。因此，訓練腳本更加關注頻率較低的樣本。

可選的回歸可以設置為 True 以自動選擇訓練腳本的 --regression 命令行參數。

注意：當類數為 1 時，訓練腳本會自動設置回歸。 示例：“輸出”：（“id”），“回歸”：真。

示例數據加載器

MAX78000訓練存儲庫數據集文件夾包括幾種不同的數據加載器實現，詳情請參見[2]。在本節中，將介紹一個定制的數據加載器來舉例說明所有提到的原則。縱向分割數據集用于此目的，更多詳細信息請參見 [3]。此數據集源包括 34，427 張分辨率為 600 × 800 的人類肖像圖像（紅色、綠色和藍色 （RGB） 顏色格式），以及相同數量的標簽圖像，具有相同大小的紅色、綠色、藍色和 Alpha （RGBA） 格式的相應蒙版。

初始化

設計的數據加載器模塊的第一個組件是具有以下初始化函數的數據加載器類。將跳過有關生成數據集信息數據框的詳細信息。簡而言之，這些行包括一些路徑處理代碼，用于保留原始圖像路徑、原始遮罩文件路徑、裁剪 idx 和要保存到的數據集條目的泡菜文件路徑。除了這些路徑生成部分之外，初始化函數的主要功能是保留提供的參數并相應地排列一些局部變量（例如，訓練或測試數據集信息數據幀）并生成數據集實體。

對于第一次初始化調用，所有數據處理任務都使用 __gen_datasets__ 方法處理，并為每個數據集項生成 pickle 文件并存儲在磁盤上，以便在每次數據訪問時讀取。

class AISegment(Dataset):
…
    def __init__(self, root_dir, d_type, transform=None, im_size=[80, 80], fold_ratio=1):
        …
        self.d_type = d_type
        self.transform = transform
        self.img_ds_dim = im_size
        self.fold_ratio = fold_ratio

        # Generate and save dataset information file if not already available
        # Training and Test split is also performed here using the hash of file names (all three cropped images should fall into the same set)
        # Information data frames include raw data path, raw label path, crop idx, pickle file path, etc. for each data entity
        …

        # One of the created data frames is selected from: train_img_files_info & test_img_files_info
        if self.d_type == 'train':
            self.img_files_info = train_img_files_info

        elif self.d_type == 'test':
            self.img_files_info = test_img_files_info
        else:
            print('Unknown data type: %s' % self.d_type)
            return

   # Create and save pt files for each data entity (if not available before)
   self.__create_pt_files()
        self.is_truncated = False

    def __create_pt_files(self):
        if self.__check_pt_files_exist():
            return
        self.__makedir_exist_ok(self.processed_train_data_folder)
        self.__makedir_exist_ok(self.processed_test_data_folder)
        self.__gen_datasets()

數據增強

gen_datasets方法處理所有必需的預處理、擴充和預規范化步驟。實施的步驟如下：

從原始圖像裁剪三個正方形圖像（因為U-Net模型使用方形圖像）。

根據提供的數據集參數，裁剪圖像和遮罩圖像被下采樣為 80×80 或 352×352。

相應的遮罩圖像將轉換為二進制“背景”或“肖像”標簽。

如果需要，將折疊圖像（352×352 圖像折疊為大小為 88×88×48 的圖像）。

圖像在保存之前按 256 縮放，因為復合變壓器期望圖像在 [0 1] 范圍內，但原始圖像是 RGB 并且值在 [0 255] 范圍內。

圖像裁剪原理如圖3所示。

圖 4 包括從同一原始圖像構建的三個示例訓練圖像。

圖3.示例數據加載器 – 數據增強：從原始圖像中裁剪出三個方形圖像。

圖4.從原始圖像（600 × 600）裁剪了三個大小為 800 × 600 的圖像（以及相應的消光圖像）。

gen_datasets方法的實現方式如下：

def __normalize_image(self, image):
        return image / 256

def __gen_datasets(self):

        # For each entry in dataset information dataframe
        for _, row in tqdm(self.img_files_info.iterrows()):

            img_file = row['img_file_path']
            matting_file = row['lbl_file_path']
            pickle_file = row['pickle_file_path']
            img_crp_idx = row['crp_idx']

            img = Image.open(img_file)
            lbl_rgba = Image.open(matting_file)

            vertical_crop_area = AISegment.img_dim[0] - AISegment.img_crp_dim[0]
            step_size = vertical_crop_area / (AISegment.num_of_cropped_imgs - 1)

            # Determine top left coordinate of the crop area
            top_left_x = 0
            top_left_y = 0 + img_crp_idx * step_size
                
            # Determine bottom right coordinate of the crop area
            bottom_right_x = AISegment.img_crp_dim[0]
            bottom_right_y = top_left_y + AISegment.img_crp_dim[0]
                
            img_crp = img.crop((top_left_x, top_left_y, bottom_right_x, bottom_right_y))
            img_crp_lbl = lbl_rgba.crop((top_left_x, top_left_y, bottom_right_x, bottom_right_y))
    
            img_crp = img_crp.resize(self.img_ds_dim)
            img_crp = np.asarray(img_crp).astype(np.uint8)

            img_crp_lbl = img_crp_lbl.resize(self.img_ds_dim)
            img_crp_lbl = (np.asarray(img_crp_lbl)[:, :, 3] == 0).astype(np.uint8) 
                
            # Fold the data (ex: 352 x 352 x 3 folded into 88 x 88 x 48) if required and save to pt file
            if self.fold_ratio == 1:
                img_crp_folded = img_crp

            else:
                img_crp_folded = None
                for i in range(self.fold_ratio):
                    for j in range(self.fold_ratio):
                        if img_crp_folded is not None:
                            img_crp_folded = np.concatenate((img_crp_folded, img_crp[i::self.fold_ratio, j::self.fold_ratio, :]), axis=2)
                        else:
                            img_crp_folded = img_crp[i::self.fold_ratio, j::self.fold_ratio, :]
            
            pickle.dump((img_crp_folded, img_crp_lbl), open(pickle_file, 'wb'))

數據加載器方法和轉換器定義

數據加載器方法是第二個必需的組件定制數據加載器模塊。對于示例 AISegment 數據集，實現了兩個不同的數據加載器函數。第一個 （AISegment_get_datasets） 使用較小的 U-Net 網絡模型返回大小為 80x80 的圖像。后者 （AISegment352_get_datasets） 返回大小為 352×352 的圖像。下面是第二個的實現，它生成具有所需屬性的 AISegment 對象。復合變壓器也在此函數中定義。此外，如果需要截斷，則測試數據集將被截斷。

def AISegment352_get_datasets(data, load_train=True, load_test=True):
    """…"""
    (data_dir, args) = data

    if load_train:
        train_transform = transforms.Compose([
            transforms.ToTensor(),
            ai8x.normalize(args=args)
        ])
        
        train_dataset = AISegment(root_dir=data_dir, d_type='train',
                                  transform=train_transform,
                                  im_size=[352, 352])
    else:
        train_dataset = None

    if load_test:
        test_transform = transforms.Compose([
            transforms.ToTensor(),
            ai8x.normalize(args=args)
        ])

        test_dataset = AISegment(root_dir=data_dir, d_type='test',
                                 transform=test_transform,
                                 im_size=[352, 352])

        if args.truncate_testset:
            test_dataset.data = test_dataset.data[:1]
    else:
        test_dataset = None

    return train_dataset, test_dataset

數據集字典

數據集字典是自定義數據加載器模塊的第三個必需組件，該模塊包含可用的數據加載器功能。對于示例 AISegment 數據加載程序，由于有兩種數據集變體可以生成具有不同分辨率（80×80 或 352×352）的數據集實體，因此數據集字典有兩個實體，每個實體都包括輸入和輸出大小的正確定義以及數據加載器函數名稱。

使用圖像測試訓練模型

在模型開發階段之后，可以使用測試數據集或任意樣本來測試模型。關鍵的一點是，在向模型提供輸入之前，必須在外部完成正確的轉換/s數據加載器實現。

例如，使用AISegment數據集訓練的示例模型需要輸入形狀[48， 88， 88]，這是分辨率為352×352的折疊RGB圖像的通道優先表示，具有MAX7800X所需的歸一化像素值。外部提供的測試圖像甚至可能沒有相同的顏色格式，但必須事先實現所需的轉換，因為模型是針對 RGB 圖像訓練的。下面是具有 470×470 分辨率和 YbCr 顏色格式的縱向圖像的測試模型的示例代碼片段：

rgb_img = yuv_img.convert('RGB')
rgb_img_ds = rgb_img.resize([352, 352])

# Image to numpy array conversion:
rgb_img_ds = np.asarray(rgb_img_ds).astype(np.uint8)

# Fold image (352 x 352 x 3 folded into 88 x 88 x 48)
rgb_img_ds_folded = fold_image(rgb_img_ds, 4)

# Covert pixel values to range [0 1] and cast to float type (required for Torch)
rgb_img_ds_folded_scaled = (rgb_img_ds_folded / 256).astype(np.float32)

# Normalize for MAX78000
# Set act_mode_8bit=True as we will set model parameter simulate=True     
args = Args(act_mode_8bit=True)

transform = transforms.Compose([
            transforms.ToTensor(),
            ai8x.normalize(args=args)
])
rgb_img_ds_folded_scaled_normalized = transform(rgb_img_ds_folded_scaled)

# Add batch dimension
rgb_img_batch = rgb_img_ds_folded_scaled_normalized.unsqueeze(0)

# Load model
device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')
load_model_path = 'unet/qat_ai85unet_v7_352_4_best_q.pth.tar'

ai8x.set_device(device=85, simulate=True, round_avg=False)

model = mod.AI85Unet_v7_pt(num_classes=2, num_channels=3, dimensions=(88, 88), 
                        bias=True, fold_ratio=4)

checkpoint = torch.load(load_model_path, map_location=lambda storage, loc: storage)
ai8x.fuse_bn_layers(model)
model = apputils.load_lean_checkpoint(model, load_model_path, model_device=device)
ai8x.update_model(model)
model = model.to(device)

# Run model
with torch.no_grad():
    sample_img_rgb_batch = rgb_img_batch.to(device)
    model_out_rgb = model(sample_img_rgb_batch)

# Retrieve model output
out_vals = np.argmax(model_out_rgb[0, :, :, :].detach().cpu().numpy(), axis=0)
plt.imshow(out_vals, cmap='Greys')

圖5包括以YCbCr格式給出的示例外部測試數據項，相應的RGB圖像以及執行所有必需轉換后的模型輸出。首先，色彩空間需要轉換為RGB。然后，應將圖像縮減像素采樣，使其具有 352 × 352 分辨率。下一個操作是折疊，需要轉換和規范化。

圖5.在 YCbCr 色彩空間、RGB 空間和模型輸出中采樣縱向圖像。

審核編輯：郭婷