電子發燒友App
創作
發文章
發帖 
提問 
發資料
發視頻到目前為止，我們在基于梯度的學習方法中遇到了兩個極端：第 12.3 節使用完整數據集來計算梯度和更新參數，一次一個傳遞。相反， 第 12.4 節一次處理一個訓練示例以取得進展。它們中的任何一個都有其自身的缺點。當數據非常相似時，梯度下降并不是特別有效。隨機梯度下降在計算上不是特別有效，因為 CPU 和 GPU 無法利用矢量化的全部功能。這表明可能存在介于兩者之間的東西，事實上，這就是我們迄今為止在討論的示例中一直使用的東西。
12.5.1。矢量化和緩存
決定使用小批量的核心是計算效率。在考慮并行化到多個 GPU 和多個服務器時，這一點最容易理解。在這種情況下，我們需要向每個 GPU 發送至少一張圖像。每臺服務器 8 個 GPU 和 16 個服務器，我們已經達到了不小于 128 的小批量大小。
當涉及到單個 GPU 甚至 CPU 時，事情就有點微妙了。這些設備有多種類型的內存，通常有多種類型的計算單元和它們之間不同的帶寬限制。例如，CPU 有少量寄存器，然后是 L1、L2，在某些情況下甚至是 L3 緩存（在不同處理器內核之間共享）。這些緩存的大小和延遲都在增加（同時它們的帶寬在減少）。可以說，處理器能夠執行的操作比主內存接口能夠提供的要多得多。
首先，具有 16 個內核和 AVX-512 矢量化的 2GHz CPU 最多可以處理2?109?16?32=1012每秒字節數。GPU 的能力很容易超過這個數字的 100 倍。另一方面，中端服務器處理器的帶寬可能不會超過 100 GB/s，即不到保持處理器所需帶寬的十分之一喂。更糟糕的是，并非所有內存訪問都是平等的：內存接口通常為 64 位寬或更寬（例如，在 GPU 上高達 384 位），因此讀取單個字節會產生更寬訪問的成本。
其次，第一次訪問的開銷很大，而順序訪問相對便宜（這通常稱為突發讀取）。還有很多事情要記住，比如當我們有多個套接字、小芯片和其他結構時的緩存。 有關更深入的討論，請參閱此 維基百科文章。
緩解這些限制的方法是使用 CPU 高速緩存的層次結構，這些高速緩存的速度實際上足以為處理器提供數據。這是深度學習中批處理背后的驅動力。為了簡單起見，考慮矩陣-矩陣乘法，比如 A=BC. 我們有多種計算方法A. 例如，我們可以嘗試以下操作：
-
我們可以計算 Aij=Bi,:C:,j，即，我們可以通過點積的方式逐元素計算它。
-
我們可以計算 A:,j=BC:,j，也就是說，我們可以一次計算一列。同樣我們可以計算 A一排Ai,:一次。
-
我們可以簡單地計算A=BC.
-
我們可以打破B和C分成更小的塊矩陣并計算A一次一個塊。
如果我們遵循第一個選項，每次我們想要計算一個元素時，我們都需要將一行和一列向量復制到 CPU 中 Aij. 更糟糕的是，由于矩陣元素是順序對齊的，因此當我們從內存中讀取兩個向量之一時，我們需要訪問許多不相交的位置。第二種選擇要有利得多。在其中，我們能夠保留列向量C:,j在 CPU 緩存中，同時我們繼續遍歷B. 這將內存帶寬要求減半，訪問速度也相應加快。當然，選項 3 是最可取的。不幸的是，大多數矩陣可能無法完全放入緩存（畢竟這是我們正在討論的內容）。然而，選項 4 提供了一個實用的替代方法：我們可以將矩陣的塊移動到緩存中并在本地將它們相乘。優化的庫會為我們解決這個問題。讓我們看看這些操作在實踐中的效率如何。
除了計算效率之外，Python 和深度學習框架本身引入的開銷也相當可觀。回想一下，每次我們執行命令時，Python 解釋器都會向 MXNet 引擎發送命令，而 MXNet 引擎需要將其插入計算圖中并在調度期間對其進行處理。這種開銷可能非常有害。簡而言之，強烈建議盡可能使用矢量化（和矩陣）。
%matplotlib inline
import time
import numpy as np
import tensorflow as tf
from d2l import tensorflow as d2l
A = tf.Variable(tf.zeros((256, 256)))
B = tf.Variable(tf.random.normal([256, 256], 0, 1))
C = tf.Variable(tf.random.normal([256, 256], 0, 1))
由于我們將在本書的其余部分頻繁地對運行時間進行基準測試，因此讓我們定義一個計時器。
class Timer: #@save
"""Record multiple running times."""
def __init__(self):
self.times = []
self.start()
def start(self):
"""Start the timer."""
self.tik = time.time()
def stop(self):
"""Stop the timer and record the time in a list."""
self.times.append(time.time() - self.tik)
return self.times[-1]
def avg(self):
"""Return the average time."""
return sum(self.times) / len(self.times)
def sum(self):
"""Return the sum of time."""
return sum(self.times)
def cumsum(self):
"""Return the accumulated time."""
return np.array(self.times).cumsum().tolist()
timer = Timer()
class Timer: #@save
"""Record multiple running times."""
def __init__(self):
self.times = []
self.start()
def start(self):
"""Start the timer."""
self.tik = time.time()
def stop(self):
"""Stop the timer and record the time in a list."""
self.times.append(time.time() - self.tik)
return self.times[-1]
def avg(self):
"""Return the average time."""
return sum(self.times) / len(self.times)
def sum(self):
"""Return the sum of time."""
return sum(self.times)
def cumsum(self):
"""Return the accumulated time."""
return np.array(self.times).cumsum().tolist()
timer = Timer()
class Timer: #@save
"""Record multiple running times."""
def __init__(self):
self.times = []
self.start()
def start(self):
"""Start the timer."""
self.tik = time.time()
def stop(self):
"""Stop the timer and record the time in a list."""
self.times.append(time.time() - self.tik)
return self.times[-1]
def avg(self):
"""Return the average time."""
return sum(self.times) / len(se
上傳資料賺積分
工商網監
評論