量子計算渴望在更快的時間內(nèi)為目前無法用經(jīng)典計算解決的問題提供更強大的計算能力。 NVIDIA 最近發(fā)布了 cuQuantum SDK ，這是一個用于加速量子信息科學(xué)發(fā)展的高性能庫。 cuQuantum 最近被用于 打破在 DGX SuperPOD 上運行 MaxCut 量子算法模擬的世界紀(jì)錄 ，比以前的工作多了 8 倍的量子位。

cuQuantum 的初始目標(biāo)應(yīng)用程序是 量子電路模擬， 的加速，它由兩個主要庫組成：

cuStateVec ：加速狀態(tài)向量模擬。

cuTensorNet ：加速張量網(wǎng)絡(luò)模擬。

在本文中，我們將對這兩個庫進行概述，并對 cuTensorNet 進行更詳細(xì)的討論。

為什么要使用 cuStateVec ？

cuQuantum SDK 中的 cuStateVec 庫通過針對模擬器中出現(xiàn)的大多數(shù)用例優(yōu)化 GPU 內(nèi)核，為基于狀態(tài)向量的模擬提供了高性能解決方案。雖然狀態(tài)向量法非常適合運行深度量子電路，但即使在當(dāng)今最大的超級計算機上，也不可能對具有大量量子比特的量子電路進行模擬，這些量子比特呈指數(shù)增長。

為什么要使用 cuTensorNet ？

作為替代方案，張量網(wǎng)絡(luò)方法是一種將 N 量子位的量子態(tài)表示為一系列張量收縮的技術(shù)。這使得量子電路模擬器能夠通過交換算法與計算所需的空間來處理具有許多量子位的電路。根據(jù)電路拓?fù)浜蜕疃鹊牟煌@也可能會變得非常昂貴。然后，主要的挑戰(zhàn)是有效地計算這些張量收縮。

量子計算渴望在更快的時間內(nèi)為目前無法用經(jīng)典計算解決的問題提供更強大的計算能力。 NVIDIA 最近發(fā)布了 cuQuantum SDK ，這是一個用于加速量子信息科學(xué)發(fā)展的高性能庫。 cuQuantum 最近被用于 打破在 DGX SuperPOD 上運行 MaxCut 量子算法模擬的世界紀(jì)錄 ，比以前的工作多了 8 倍的量子位。

cuQuantum 的初始目標(biāo)應(yīng)用程序是 量子電路模擬， 的加速，它由兩個主要庫組成：

cuStateVec ：加速狀態(tài)向量模擬。

cuTensorNet ：加速張量網(wǎng)絡(luò)模擬。

在本文中，我們將對這兩個庫進行概述，并對 cuTensorNet 進行更詳細(xì)的討論。

為什么要使用 cuStateVec ？

cuQuantum SDK 中的 cuStateVec 庫通過針對模擬器中出現(xiàn)的大多數(shù)用例優(yōu)化 GPU 內(nèi)核，為基于狀態(tài)向量的模擬提供了高性能解決方案。雖然狀態(tài)向量法非常適合運行深度量子電路，但即使在當(dāng)今最大的超級計算機上，也不可能對具有大量量子比特的量子電路進行模擬，這些量子比特呈指數(shù)增長。

為什么要使用 cuTensorNet ？

作為替代方案，張量網(wǎng)絡(luò)方法是一種將 N 量子位的量子態(tài)表示為一系列張量收縮的技術(shù)。這使得量子電路模擬器能夠通過交換算法與計算所需的空間來處理具有許多量子位的電路。根據(jù)電路拓?fù)浜蜕疃鹊牟煌@也可能會變得非常昂貴。然后，主要的挑戰(zhàn)是有效地計算這些張量收縮。

cuQuantum SDK 中的 cuTensorNet 庫為這些類型的張量網(wǎng)絡(luò)計算提供了高性能解決方案。

cuTensorNet 庫提供 C 和 Python API ，以提供對高性能張量網(wǎng)絡(luò)計算的訪問，從而加速量子電路模擬。這些 API 非常靈活，使您能夠控制、探索和研究實現(xiàn)的每一種算法技術(shù)。

cuTensorNet 算法描述

在本節(jié)中，我們將討論 cuTensorNet 中使用的不同算法和技術(shù)。它包括兩個主要組件： pathfinder 和 execution 。

pathfinder 在短時間內(nèi)提供了一條成本最低的最佳收縮路徑，執(zhí)行步驟使用高效內(nèi)核在 GPU 上計算該路徑。這兩個組件相互獨立，可以與提供類似功能的任何其他外部庫進行互操作。

探路者

在高層， cuTensorNet 采用的方法是圍繞基于圖形分區(qū)的探路者進行超優(yōu)化。有關(guān)更多信息，請參閱 超優(yōu)化張量網(wǎng)絡(luò)收縮 。

探路者的作用是找到一條收縮路徑，使收縮張量網(wǎng)絡(luò)的成本最小化。為了加快這一步，我們開發(fā)了許多算法改進和優(yōu)化，而且這一步還會更快。

尋找最優(yōu)收縮路徑在很大程度上取決于網(wǎng)絡(luò)的大小。網(wǎng)絡(luò)越大，尋找最優(yōu)收縮路徑所需的技術(shù)和計算量就越大。

cuTensorNet pathfinder 由三個算法模塊組成。

Simplification ：對張量網(wǎng)絡(luò)進行預(yù)處理以找到所有明顯的直接收縮集的技術(shù)。它將它們從網(wǎng)絡(luò)中移除，并用其最終張量替換每個集合。其結(jié)果是更小的網(wǎng)絡(luò)，更容易在以下模塊中處理。

Path computation ：探路者組件的核心。它基于一個圖分區(qū)步驟，然后是使用重新配置調(diào)整和切片技術(shù)的第二個步驟。遞歸地調(diào)用圖分區(qū)來分割網(wǎng)絡(luò)并形成收縮路徑（例如，成對收縮樹）。

Hyper-optimizer： 路徑計算模塊上的一個循環(huán)，在每次迭代中形成一條收縮路徑。對于每次迭代，超級優(yōu)化器都會為路徑計算創(chuàng)建不同的參數(shù)配置，同時跟蹤找到的最佳路徑。您可以隨意更改或修復(fù)這些配置參數(shù)。所有配置參數(shù)都可以通過cutensornetContractionOptimizerConfigSetAttribute設(shè)置。有關(guān)更多信息，請參閱 cuTensorNet documentation 。

從第一步生成的路徑可能不接近最優(yōu)，因此通常會執(zhí)行重構(gòu)調(diào)整。重構(gòu)在整體收縮樹中選擇幾個小的子樹，并試圖提高它們的收縮成本，如果可能的話，降低總體成本。

路徑計算模塊的另一個特點是切片技術(shù)。切片的主要目標(biāo)是將網(wǎng)絡(luò)收縮過程放入可用的設(shè)備內(nèi)存中。切片通過排除某些張量模式并顯式展開它們的范圍來實現(xiàn)這一點。這將生成許多類似的收縮樹，或 slices ，其中每一個對應(yīng)于排除模式之一。

收縮路徑或樹不會改變。在這種情況下，只有一些模式被排除在外，每個切片的計算獨立于其他模式。因此，切片可以被認(rèn)為是為不同設(shè)備創(chuàng)建獨立工作的最佳技術(shù)之一。

實踐經(jīng)驗表明，找到最佳收縮路徑對這里使用的每種技術(shù)的配置參數(shù)的選擇都很敏感。為了提高找到最佳收縮路徑的概率，我們將該模塊封裝在一個超級優(yōu)化器中。

尋路性能

在考慮探路者的性能時，有兩個相關(guān)的指標(biāo)：找到的路徑的質(zhì)量和找到該路徑所需的時間。前者如圖 3 所示，以失敗導(dǎo)致的收縮成本來衡量。用于基準(zhǔn)測試的電路是谷歌量子人工智能 2019 年量子優(yōu)勢論文 的隨機量子電路，深度為 12 、 14 和 20 。

與 opt_einsum 庫相比， cuTensorNet 在尋找最佳路徑方面表現(xiàn)良好，在這些電路方面略優(yōu)于 Cotengra 。

cuTensorNet 也能快速找到高質(zhì)量的路徑。對于不同深度的懸鈴木量子電路問題，圖 4 繪制了 cuTensorNet 與科滕格拉相比的收縮所需時間。對于網(wǎng)絡(luò)中有 3000 多個張量的最復(fù)雜問題， cuTensorNet 仍能在 40 秒內(nèi)找到最佳路徑。

處決

執(zhí)行組件依賴 cuTENSOR 庫作為后端，以便在 GPU 上高效執(zhí)行。它包括以下幾個階段：

Planning ：執(zhí)行組件的決策引擎。它分析收縮路徑，決定使用最小工作空間在 GPU 上執(zhí)行它的最佳方式。它還決定了每個成對收縮使用的最佳內(nèi)核。

Computation ：此階段使用 cuTENSOR 庫計算所有成對收縮。

Autotuning ：（可選）基于不同啟發(fā)式的不同內(nèi)核嘗試成對收縮，并選擇最佳內(nèi)核。

執(zhí)行性能

圖 5 測量了 cuTensorNet 與 CuPy 在幾個不同電路中收縮執(zhí)行的加速比。根據(jù)賽道的不同， cuTensorNet 提供了約 8-20 倍的收縮執(zhí)行加速。

cuTensorNet 示例

cuTensorNet 提供了 C 和 Python API ，允許您高效地計算張量網(wǎng)絡(luò)收縮，而無需任何關(guān)于如何找到最佳收縮路徑或如何在 GPU 上執(zhí)行收縮的專業(yè)知識。

高級 Python API

cuTensorNet 提供高級 Python API ，可與 NumPy 和 PyTorch 張量互操作。例如，張量網(wǎng)絡(luò)的einsum表達(dá)式可以在對contract的單個函數(shù)調(diào)用中使用。 cuTensorNet 執(zhí)行所有必需的步驟，結(jié)果返回約定的網(wǎng)絡(luò)。

import cupy as cp
import cuquantum # Compute D_{m,x,n,y} = A_{m,h,k,n} B_{u,k,h} C_{x,u,y} # Create an array of extents (shapes) for each tensor extentA = (96, 64, 64, 96) extentB = (96, 64, 64) extentC = (64, 96, 64) extentD = (96, 64, 96, 64) # Generate input tensor data directly on GPU A_d = cp.random.random(extentA, dtype=cp.float32) B_d = cp.random.random(extentB, dtype=cp.float32) C_d = cp.random.random(extentC, dtype=cp.float32) # Set the pathfinder options options = cuquantum.OptimizerOptions() options.slicing.disable_slicing = 1 # disable slicing options.samples = 100 # number of hyper-optimizer samples # Run the contraction on a CUDA stream stream = cp.cuda.Stream() D_d, info = cuquantum.contract( 'mhkn,ukh,xuy->mxny', A_d, B_d, C_d, optimize=options, stream=stream, return_info=True) stream.synchronize() # Check the optimizer info print(f"{info[1].opt_cost/1e9} GFLOPS") 

從這個代碼示例中，您可以看到所有 cuTensorNet 操作都封裝在一個contract API 中。本例的輸出為 14.495514624 GFLOPS ：基于路徑查找器找到的收縮路徑估計的浮點操作數(shù)。要手動執(zhí)行相同的步驟，還可以使用 cuQuantum.Network object 。

低級 API

如前所述， C 和 Python API 是以一種直觀的表達(dá)方式設(shè)計的。您可以調(diào)用 pathfinder 函數(shù)以獲得優(yōu)化的路徑，然后調(diào)用以使用該路徑在 GPU 上執(zhí)行收縮。

對于高級用戶， cuTensorNet library API 旨在授予訪問該領(lǐng)域研究可用的所有算法選項的權(quán)限。例如，您可以控制 pathfinder 可以嘗試找到最佳收縮路徑的 hyper optimizer 樣本數(shù)。

有幾十個參數(shù)可以修改或控制。這些都可以通過 helper 函數(shù)訪問，并允許簡單功能 API 保持不變。你也可以提供自己的路徑。有關(guān)較低級別選項的更多信息以及如何使用它們的示例，請參閱 cuquantum.Network 。

總結(jié)

NVIDIA CuQuin SDK 的 CursSnReNET 庫旨在加速 GPU 上的張量網(wǎng)絡(luò)計算。在這篇文章中，我們展示了最先進的張量網(wǎng)絡(luò)庫對關(guān)鍵量子算法的加速。

在改進 cuTensorNet 并通過新的算法改進和多節(jié)點、多 GPU 執(zhí)行來擴展它方面有著廣泛的發(fā)展。

cuTensorNet 圖書館的目標(biāo)是為量子計算領(lǐng)域的突破性發(fā)展提供一個有用的工具。有沒有關(guān)于如何改進 cuQuantum 庫的反饋和建議？

關(guān)于作者

Azzam Haidar 是 NVIDIA 開發(fā) HPC 和量子計算軟件的高級工程師。 2008 年，他在圖盧茲國立理工學(xué)院和法國 CERFACS 實驗室獲得計算機科學(xué)和應(yīng)用數(shù)學(xué)博士學(xué)位。在加入 Nvidia 之前，他是諾克斯維爾田納西大學(xué)創(chuàng)新計算實驗室的研究主任。

Leo Fang 是NVIDIA 的高級工程師，專注于 HPC 、量子計算和 Python 軟件。 2017 年，他在杜克大學(xué)獲得物理學(xué)博士學(xué)位。在加入 NVIDIA 之前，他是布魯克海文國家實驗室計算科學(xué)倡議的助理計算科學(xué)家。他也是許多開源項目的定期貢獻者，包括 CuPy 、 mpi4py 、 conda forge 和 Python 數(shù)據(jù) API 標(biāo)準(zhǔn)聯(lián)盟。

審核編輯：郭婷