廣泛用于圖像分類的數(shù)據(jù)集之一是手寫數(shù)字的MNIST 數(shù)據(jù)集 （LeCun等人，1998 年） 。在 1990 年代發(fā)布時，它對大多數(shù)機器學習算法提出了巨大挑戰(zhàn)，其中包含 60,000 張圖像 28×28像素分辨率（加上 10,000 張圖像的測試數(shù)據(jù)集）。客觀地說，在 1995 年，配備高達 64MB RAM 和驚人的 5 MFLOPs 的 Sun SPARCStation 5 被認為是 AT&T 貝爾實驗室最先進的機器學習設(shè)備。實現(xiàn)數(shù)字識別的高精度是一個1990 年代 USPS 自動分揀信件的關(guān)鍵組件。深度網(wǎng)絡(luò)，如 LeNet-5 （LeCun等人，1995 年）、具有不變性的支持向量機 （Sch?lkopf等人，1996 年）和切線距離分類器 （Simard等人，1998 年）都允許達到 1% 以下的錯誤率。

十多年來，MNIST 一直是比較機器學習算法的參考點。雖然它作為基準數(shù)據(jù)集運行良好，但即使是按照當今標準的簡單模型也能達到 95% 以上的分類準確率，這使得它不適合區(qū)分強模型和弱模型。更重要的是，數(shù)據(jù)集允許非常高的準確性，這在許多分類問題中通常是看不到的。這種算法的發(fā)展偏向于可以利用干凈數(shù)據(jù)集的特定算法系列，例如活動集方法和邊界搜索活動集算法。今天，MNIST 更像是一種健全性檢查，而不是基準。ImageNet ( Deng et al. , 2009 )提出了一個更相關(guān)的挑戰(zhàn)。不幸的是，對于本書中的許多示例和插圖來說，ImageNet 太大了，因為訓(xùn)練這些示例需要很長時間才能使示例具有交互性。作為替代，我們將在接下來的部分中重點討論定性相似但規(guī)模小得多的 Fashion-MNIST 數(shù)據(jù)集（Xiao等人，2017 年），該數(shù)據(jù)集于 2017 年發(fā)布。它包含 10 類服裝的圖像 28×28像素分辨率。

%matplotlib inline
import time
import torch
import torchvision
from torchvision import transforms
from d2l import torch as d2l

d2l.use_svg_display()

%matplotlib inline
import time
from mxnet import gluon, npx
from mxnet.gluon.data.vision import transforms
from d2l import mxnet as d2l

npx.set_np()

d2l.use_svg_display()

%matplotlib inline
import time
import jax
import numpy as np
import tensorflow as tf
import tensorflow_datasets as tfds
from jax import numpy as jnp
from d2l import jax as d2l

d2l.use_svg_display()

No GPU/TPU found, falling back to CPU. (Set TF_CPP_MIN_LOG_LEVEL=0 and rerun for more info.)

%matplotlib inline
import time
import tensorflow as tf
from d2l import tensorflow as d2l

d2l.use_svg_display()

4.2.1. 加載數(shù)據(jù)集

由于它是一個經(jīng)常使用的數(shù)據(jù)集，所有主要框架都提供了它的預(yù)處理版本。我們可以使用內(nèi)置的框架實用程序?qū)?Fashion-MNIST 數(shù)據(jù)集下載并讀取到內(nèi)存中。

class FashionMNIST(d2l.DataModule): #@save
  """The Fashion-MNIST dataset."""
  def __init__(self, batch_size=64, resize=(28, 28)):
    super().__init__()
    self.save_hyperparameters()
    trans = transforms.Compose([transforms.Resize(resize),
                  transforms.ToTensor()])
    self.train = torchvision.datasets.FashionMNIST(
      root=self.root, train=True, transform=trans, download=True)
    self.val = torchvision.datasets.FashionMNIST(
      root=self.root, train=False, transform=trans, download=True)

class FashionMNIST(d2l.DataModule): #@save
  """The Fashion-MNIST dataset."""
  def __init__(self, batch_size=64, resize=(28, 28)):
    super().__init__()
    self.save_hyperparameters()
    trans = transforms.Compose([transforms.Resize(resize),
                  transforms.ToTensor()])
    self.train = gluon.data.vision.FashionMNIST(
      train=True).transform_first(trans)
    self.val = gluon.data.vision.FashionMNIST(
      train=False).transform_first(trans)

class FashionMNIST(d2l.DataModule): #@save
  """The Fashion-MNIST dataset."""
  def __init__(self, batch_size=64, resize=(28, 28)):
    super().__init__()
    self.save_hyperparameters()
    self.train, self.val = tf.keras.datasets.fashion_mnist.load_data()

class FashionMNIST(d2l.DataModule): #@save
  """The Fashion-MNIST dataset."""
  def __init__(self, batch_size=64, resize=(28, 28)):
    super().__init__()
    self.save_hyperparameters()
    self.train, self.val = tf.keras.datasets.fashion_mnist.load_data()

Fashion-MNIST 包含來自 10 個類別的圖像，每個類別在訓(xùn)練數(shù)據(jù)集中由 6,000 個圖像表示，在測試數(shù)據(jù)集中由 1,000 個圖像表示。測試 數(shù)據(jù)集用于評估模型性能（不得用于訓(xùn)練）。因此，訓(xùn)練集和測試集分別包含 60,000 和 10,000 張圖像。

data = FashionMNIST(resize=(32, 32))
len(data.train), len(data.val)

(60000, 10000)

data = FashionMNIST(resize=(32, 32))
len(data.train), len(data.val)

(60000, 10000)

data = FashionMNIST(resize=(32, 32))
len(data.train[0]), len(data.val[0])

(60000, 10000)

data = FashionMNIST(resize=(32, 32))
len(data.train[0]), len(data.val[0])

(60000, 10000)

圖像是灰度和放大到32×32分辨率以上的像素。這類似于由（二進制）黑白圖像組成的原始 MNIST 數(shù)據(jù)集。但請注意，大多數(shù)具有 3 個通道（紅色、綠色、藍色）的現(xiàn)代圖像數(shù)據(jù)和超過 100 個通道的高光譜圖像（HyMap 傳感器有 126 個通道）。按照慣例，我們將圖像存儲為 c×h×w張量，其中c是顏色通道數(shù)，h是高度和w是寬度。

data.train[0][0].shape

torch.Size([1, 32, 32])

data.train[0][0].shape

(1, 32, 32)

data.train[0][0].shape

(28, 28)

data.train[0][0].shape

(28, 28)

Fashion-MNIST 的類別具有人類可理解的名稱。以下便捷方法在數(shù)字標簽及其名稱之間進行轉(zhuǎn)換。

@d2l.add_to_class(FashionMNIST) #@save
def text_labels(self, indices):
  """Return text labels."""
  labels = ['t-shirt', 'trouser', 'pullover', 'dress', 'coat',
       'sandal', 'shirt', 'sneaker', 'bag', 'ankle boot']
  return [labels[int(i)] for i in indices]

4.2.2. 讀取一個小批量

為了讓我們在讀取訓(xùn)練集和測試集時更輕松，我們使用內(nèi)置的數(shù)據(jù)迭代器而不是從頭開始創(chuàng)建一個。回想一下，在每次迭代中，數(shù)據(jù)迭代器讀取一個大小為 的小批量數(shù)據(jù)batch_size。我們還隨機打亂訓(xùn)練數(shù)據(jù)迭代器的示例。

@d2l.add_to_class(FashionMNIST) #@save
def get_dataloader(self, train):
  data = self.train if train else self.val
  return torch.utils.data.DataLoader(data, self.batch_size, shuffle=train,
                    num_workers=self.num_workers)

@d2l.add_to_class(FashionMNIST) #@save
def get_dataloader(self, train):
  data = self.train if train else self.val
  return gluon.data.DataLoader(data, self.batch_size, shuffle=train,
                 num_workers=self.num_workers)

@d2l.add_to_class(FashionMNIST) #@save
def get_dataloader(self, train):
  data = self.train if train else self.val
  process = lambda X, y: (tf.expand_dims(X, axis=3) / 255,
              tf.cast(y, dtype='int32'))
  resize_fn = lambda X, y: (tf.image.resize_with_pad(X, *self.resize), y)
  shuffle_buf = len(data[0]) if train else 1
  return tfds.as_numpy(
    tf.data.Dataset.from_tensor_slices(process(*data)).batch(
      self.batch_size).map(resize_fn).shuffle(shuffle_buf))

@d2l.add_to_class(FashionMNIST) #@save
def get_dataloader(self, train):
  data = self.train if train else self.val
  process = lambda X, y: (tf.expand_dims(X, axis=3) / 255,
              tf.cast(y, dtype='int32'))
  resize_fn = lambda X, y: (tf.image.resize_with_pad(X, *self.resize), y)
  shuffle_buf = len(data[0]) if train else 1
  return tf.data.Dataset.from_tensor_slices(process(*data)).batch(
    self.batch_size).map(resize_fn).shuffle(shuffle_buf)

為了了解這是如何工作的，讓我們通過調(diào)用該 train_dataloader方法來加載一小批圖像。它包含 64 張圖像。

X, y = next(iter(data.train_dataloader()))
print(X.shape, X.dtype, y.shape, y.dtype)

torch.Size([64, 1, 32, 32]) torch.float32 torch.Size([64]) torch.int64

X, y = next(iter(data.train_dataloader()))
print(X.shape, X.dtype, y.shape, y.dtype)

(64, 1, 32, 32) float32 (64,) int32

X, y = next(iter(data.train_dataloader()))
print(X.shape, X.dtype, y.shape, y.dtype)

WARNING:tensorflow:From /home/d2l-worker/miniconda3/envs/d2l-en-release-1/lib/python3.9/site-packages/tensorflow/python/autograph/pyct/static_analysis/liveness.py:83: Analyzer.lamba_check (from tensorflow.python.autograph.pyct.static_analysis.liveness) is deprecated and will be removed after 2023-09-23.
Instructions for updating:
Lambda fuctions will be no more assumed to be used in the statement where they are used, or at least in the same block. https://github.com/tensorflow/tensorflow/issues/56089
(64, 32, 32, 1) float32 (64,) int32

X, y = next(iter(data.train_dataloader()))
print(X.shape, X.dtype, y.shape, y.dtype)

WARNING:tensorflow:From /home/d2l-worker/miniconda3/envs/d2l-en-release-1/lib/python3.9/site-packages/tensorflow/python/autograph/pyct/static_analysis/liveness.py:83: Analyzer.lamba_check (from tensorflow.python.autograph.pyct.static_analysis.liveness) is deprecated and will be removed after 2023-09-23.
Instructions for updating:
Lambda fuctions will be no more assumed to be used in the statement where they are used, or at least in the same block. https://github.com/tensorflow/tensorflow/issues/56089
(64, 32, 32, 1)  (64,) 

讓我們看看讀取圖像所花費的時間。盡管它是一個內(nèi)置的加載程序，但速度并不快。盡管如此，這已經(jīng)足夠了，因為使用深度網(wǎng)絡(luò)處理圖像需要更長的時間。因此，訓(xùn)練網(wǎng)絡(luò)不受 IO 約束就足夠了。

tic = time.time()
for X, y in data.train_dataloader():
  continue
f'{time.time() - tic:.2f} sec'

'5.06 sec'

tic = time.time()
for X, y in data.train_dataloader():
  continue
f'{time.time() - tic:.2f} sec'

'4.12 sec'

tic = time.time()
for X, y in data.train_dataloader():
  continue
f'{time.time() - tic:.2f} sec'

'0.96 sec'

tic = time.time()
for X, y in data.train_dataloader():
  continue
f'{time.time() - tic:.2f} sec'

'0.95 sec'

4.2.3. 可視化

我們將經(jīng)常使用 Fashion-MNIST 數(shù)據(jù)集。一個便利的功能show_images可以用來可視化圖像和相關(guān)的標簽。其實施細節(jié)推遲到附錄。

def show_images(imgs, num_rows, num_cols, titles=None, scale=1.5): #@save
  """Plot a list of images."""
  raise NotImplementedError

讓我們好好利用它。通常，可視化和檢查您正在訓(xùn)練的數(shù)據(jù)是個好主意。人類非常善于發(fā)現(xiàn)不尋常的方面，因此，可視化可以作為一種額外的保護措施，防止實驗設(shè)計中的錯誤和錯誤。以下是訓(xùn)練數(shù)據(jù)集中前幾個示例的圖像及其相應(yīng)標簽（文本）。

@d2l.add_to_class(FashionMNIST) #@save
def visualize(self, batch, nrows=1, ncols=8, labels=[]):
  X, y = batch
  if not labels:
    labels = self.text_labels(y)
  d2l.show_images(X.squeeze(1), nrows, ncols, titles=labels)
batch = next(iter(data.val_dataloader()))
data.visualize(batch)

@d2l.add_to_class(FashionMNIST) #@save
def visualize(self, batch, nrows=1, ncols=8, labels=[]):
  X, y = batch
  if not labels:
    labels = self.text_labels(y)
  d2l.show_images(X.squeeze(1), nrows, ncols, titles=labels)
batch = next(iter(data.val_dataloader()))
data.visualize(batch)

@d2l.add_to_class(FashionMNIST) #@save
def visualize(self, batch, nrows=1, ncols=8, labels=[]):
  X, y = batch
  if not labels:
    labels = self.text_labels(y)
  d2l.show_images(jnp.squeeze(X), nrows, ncols, titles=labels)

batch = next(iter(data.val_dataloader()))
data.visualize(batch)

@d2l.add_to_class(FashionMNIST) #@save
def visualize(self, batch, nrows=1, ncols=8, labels=[]):
  X, y = batch
  if not labels:
    labels = self.text_labels(y)
  d2l.show_images(tf.squeeze(X), nrows, ncols, titles=labels)
batch = next(iter(data.val_dataloader()))
data.visualize(batch)

我們現(xiàn)在準備好在接下來的部分中使用 Fashion-MNIST 數(shù)據(jù)集。

4.2.4. 概括

我們現(xiàn)在有一個稍微更真實的數(shù)據(jù)集用于分類。Fashion-MNIST 是一個服裝分類數(shù)據(jù)集，由代表 10 個類別的圖像組成。我們將在后續(xù)部分和章節(jié)中使用該數(shù)據(jù)集來評估各種網(wǎng)絡(luò)設(shè)計，從簡單的線性模型到高級殘差網(wǎng)絡(luò)。正如我們通常對圖像所做的那樣，我們將它們讀取為形狀的張量（批量大小、通道數(shù)、高度、寬度）。目前，我們只有一個通道，因為圖像是灰度的（上面的可視化使用假調(diào)色板來提高可見性）。

最后，數(shù)據(jù)迭代器是實現(xiàn)高效性能的關(guān)鍵組件。例如，我們可能會使用 GPU 進行高效的圖像解壓縮、視頻轉(zhuǎn)碼或其他預(yù)處理。只要有可能，您就應(yīng)該依靠利用高性能計算的良好實現(xiàn)的數(shù)據(jù)迭代器來避免減慢您的訓(xùn)練循環(huán)。

4.2.5. 練習

減少batch_size（例如，減少到 1）會影響閱讀性能嗎？

數(shù)據(jù)迭代器的性能很重要。您認為當前的實施是否足夠快？探索改進它的各種選項。使用系統(tǒng)分析器找出瓶頸所在。

查看框架的在線 API 文檔。還有哪些其他數(shù)據(jù)集可用？