12.5.1。矢量化和緩存

決定使用小批量的核心是計算效率。在考慮并行化到多個 GPU 和多個服務器時，這一點最容易理解。在這種情況下，我們需要向每個 GPU 發送至少一張圖像。每臺服務器 8 個 GPU 和 16 個服務器，我們已經達到了不小于 128 的小批量大小。

當涉及到單個 GPU 甚至 CPU 時，事情就有點微妙了。這些設備有多種類型的內存，通常有多種類型的計算單元和它們之間不同的帶寬限制。例如，CPU 有少量寄存器，然后是 L1、L2，在某些情況下甚至是 L3 緩存（在不同處理器內核之間共享）。這些緩存的大小和延遲都在增加（同時它們的帶寬在減少）。可以說，處理器能夠執行的操作比主內存接口能夠提供的要多得多。

首先，具有 16 個內核和 AVX-512 矢量化的 2GHz CPU 最多可以處理2?109?16?32=1012每秒字節數。GPU 的能力很容易超過這個數字的 100 倍。另一方面，中端服務器處理器的帶寬可能不會超過 100 GB/s，即不到保持處理器所需帶寬的十分之一喂。更糟糕的是，并非所有內存訪問都是平等的：內存接口通常為 64 位寬或更寬（例如，在 GPU 上高達 384 位），因此讀取單個字節會產生更寬訪問的成本。

其次，第一次訪問的開銷很大，而順序訪問相對便宜（這通常稱為突發讀取）。還有很多事情要記住，比如當我們有多個套接字、小芯片和其他結構時的緩存。 有關更深入的討論，請參閱此 維基百科文章。

緩解這些限制的方法是使用 CPU 高速緩存的層次結構，這些高速緩存的速度實際上足以為處理器提供數據。這是深度學習中批處理背后的驅動力。為了簡單起見，考慮矩陣-矩陣乘法，比如 A=BC. 我們有多種計算方法A. 例如，我們可以嘗試以下操作：

1. 我們可以計算 Aij=Bi,:C:,j，即，我們可以通過點積的方式逐元素計算它。

2. 我們可以計算 A:,j=BC:,j，也就是說，我們可以一次計算一列。同樣我們可以計算 A一排Ai,:一次。

3. 我們可以簡單地計算A=BC.

4. 我們可以打破B和C分成更小的塊矩陣并計算A一次一個塊。

如果我們遵循第一個選項，每次我們想要計算一個元素時，我們都需要將一行和一列向量復制到 CPU 中 Aij. 更糟糕的是，由于矩陣元素是順序對齊的，因此當我們從內存中讀取兩個向量之一時，我們需要訪問許多不相交的位置。第二種選擇要有利得多。在其中，我們能夠保留列向量C:,j在 CPU 緩存中，同時我們繼續遍歷B. 這將內存帶寬要求減半，訪問速度也相應加快。當然，選項 3 是最可取的。不幸的是，大多數矩陣可能無法完全放入緩存（畢竟這是我們正在討論的內容）。然而，選項 4 提供了一個實用的替代方法：我們可以將矩陣的塊移動到緩存中并在本地將它們相乘。優化的庫會為我們解決這個問題。讓我們看看這些操作在實踐中的效率如何。

除了計算效率之外，Python 和深度學習框架本身引入的開銷也相當可觀。回想一下，每次我們執行命令時，Python 解釋器都會向 MXNet 引擎發送命令，而 MXNet 引擎需要將其插入計算圖中并在調度期間對其進行處理。這種開銷可能非常有害。簡而言之，強烈建議盡可能使用矢量化（和矩陣）。

%matplotlib inline
import time
import numpy as np
import torch
from torch import nn
from d2l import torch as d2l

A = torch.zeros(256, 256)
B = torch.randn(256, 256)
C = torch.randn(256, 256)

%matplotlib inline
import time
from mxnet import autograd, gluon, init, np, npx
from mxnet.gluon import nn
from d2l import mxnet as d2l

npx.set_np()

A = np.zeros((256, 256))
B = np.random.normal(0, 1, (256, 256))
C = np.random.normal(0, 1, (256, 256))

%matplotlib inline
import time
import numpy as np
import tensorflow as tf
from d2l import tensorflow as d2l

A = tf.Variable(tf.zeros((256, 256)))
B = tf.Variable(tf.random.normal([256, 256], 0, 1))
C = tf.Variable(tf.random.normal([256, 256], 0, 1))

由于我們將在本書的其余部分頻繁地對運行時間進行基準測試，因此讓我們定義一個計時器。

class Timer: #@save
  """Record multiple running times."""
  def __init__(self):
    self.times = []
    self.start()

  def start(self):
    """Start the timer."""
    self.tik = time.time()

  def stop(self):
    """Stop the timer and record the time in a list."""
    self.times.append(time.time() - self.tik)
    return self.times[-1]

  def avg(self):
    """Return the average time."""
    return sum(self.times) / len(self.times)

  def sum(self):
    """Return the sum of time."""
    return sum(self.times)

  def cumsum(self):
    """Return the accumulated time."""
    return np.array(self.times).cumsum().tolist()

timer = Timer()

class Timer: #@save
  """Record multiple running times."""
  def __init__(self):
    self.times = []
    self.start()

  def start(self):
    """Start the timer."""
    self.tik = time.time()

  def stop(self):
    """Stop the timer and record the time in a list."""
    self.times.append(time.time() - self.tik)
    return self.times[-1]

  def avg(self):
    """Return the average time."""
    return sum(self.times) / len(self.times)

  def sum(self):
    """Return the sum of time."""
    return sum(self.times)

  def cumsum(self):
    """Return the accumulated time."""
    return np.array(self.times).cumsum().tolist()

timer = Timer()

class Timer: #@save
  """Record multiple running times."""
  def __init__(self):
    self.times = []
    self.start()

  def start(self):
    """Start the timer."""
    self.tik = time.time()

  def stop(self):
    """Stop the timer and record the time in a list."""
    self.times.append(time.time() - self.tik)
    return self.times[-1]

  def avg(self):
    """Return the average time."""
    return sum(self.times) / len(se