電信公司正在利用生成式 AI，通過自動化流程、改善客戶體驗和優(yōu)化網(wǎng)絡運營來提高員工生產(chǎn)力。

Amdocs 是一家領(lǐng)先的通信和媒體公司軟件和服務提供商，打造了一個電信專用生成式 AI 平臺——amAIz，為電信公司提供了一個開放、安全、經(jīng)濟高效且跨大語言模型（LLM）的框架。Amdocs 正在利用 NVIDIA DGX Cloud 和 NVIDIA AI Enterprise 軟件，提供基于商用 LLM 的解決方案，以及適用于特定領(lǐng)域的模型，使服務提供商能夠構(gòu)建和部署企業(yè)級生成式 AI 應用程序。

Amdocs 也在使用 NVIDIA NIM，這是一組易于使用的推理微服務，旨在加速生成式 AI 在企業(yè)中的大規(guī)模部署。該多功能微服務支持來自開放社區(qū)的模型和 NVIDIA API 產(chǎn)品目錄中的 NVIDIA AI Foundation 模型，以及自定義 AI 模型。NIM 旨在推動高吞吐量、低延遲的無縫 AI 推理，同時保持預測的高準確性。

客戶計費用例

電信公司的聯(lián)絡中心會收到大量客戶的計費查詢電話。他們向客服尋求解釋，因為各種操作可能會影響他們的賬單，包括客戶的移動計劃、促銷期結(jié)束或意外收費。

Amdocs 正在開發(fā)一種基于 LLM 的解決方案，該解決方案通過對賬單問題提供即時準確的解釋來幫助客戶。該解決方案旨在減少客服代理的工作量，使他們能夠?qū)Ｗ⒂诟鼜碗s的任務。

圖 1 顯示了從數(shù)據(jù)收集和準備到 LLM 微調(diào)，再到評估的總體流程。

圖 1. 從數(shù)據(jù)收集和準備到 LLM 微調(diào)和評估的整體流程

數(shù)據(jù)收集和準備

為了解決這個問題，他們從匿名的通話記錄和賬單中創(chuàng)建了一個新的數(shù)據(jù)集，由電信客服專家標記。該數(shù)據(jù)集包含數(shù)百個注釋問題和答案，這些問題和答案被分類到相關(guān)場景中。大部分數(shù)據(jù)用于微調(diào)，性能在一個小測試集（幾十個樣本）上報告。

表 1 顯示了所收集數(shù)據(jù)的一個示例。該問題與計費更改有關(guān)，注釋的答案基于客戶歷史賬單。

表 1. 移動計劃促銷到期場景中收集的數(shù)據(jù)示例

在這個過程中，Amdocs 使用 OpenAI GPT-4 LLM 這一工具來過濾通話記錄并將其分類到不同場景中。然后，LLM 被用于生成潛在的問答對，這些問答對被領(lǐng)域?qū)＜抑匦略L問和標記。

數(shù)據(jù)格式和提示工程

作為基線，Amdocs 使用 Llama2-7b-chat、Llama2-13b-chat 和 Mixtral-8x7b LLM 來增強具有意向分類和賬單問答功能的客戶服務聊天機器人。Amdocs 設計了帶有指令的提示，其中包括目標賬單（原始 XML 格式的連續(xù)一到兩個計費月）及其相關(guān)問題。

使用基準 LLM 和零樣本或少樣本推理的初始實驗表現(xiàn)不佳，主要是由于從客戶賬單中提取相關(guān)信息的復雜性。此外，原始 XML 格式需要詳細說明 LLM 的計費格式。因此，由于某些 LLM（例如，Llama2 的 4K tokens）的最大上下文長度的限制，Amdocs 在將賬單和指令納入提示中時面臨挑戰(zhàn)。

為了適應上下文窗口，Amdocs 的第一項工作是簡化提示中的計費格式說明。圖 2 顯示了使用 Llama2 標記器（tokenizer），重新格式化后的 token 平均數(shù)量從 3909 個減少到 1153 個。

圖 2. 使用新計費格式減少的 token 數(shù)量

NVIDIA DGX Cloud 上的 LLM 微調(diào)

由于注釋數(shù)據(jù)量有限，Amdocs 探索了參數(shù)高效微調(diào)（PEFT）方法，如低秩自適應（LoRA）。他們用兩種基礎(chǔ) LLM 架構(gòu)（Llama2 和 Mixtral）進行了幾次微調(diào)實驗，研究了一到兩個時期的幾個 LoRA 超參數(shù)。

Amdocs 的實驗是在 NVIDIA DGX Cloud 上進行的，這是一個面向開發(fā)者的端到端 AI 平臺，提供基于最新 NVIDIA 架構(gòu)的可擴展能力，并與世界領(lǐng)先的云服務提供商共同設計。Amdocs 使用的 NVIDIA DGX Cloud 實例包含以下組件：

8 個 NVIDIA 80GB Tensor Core GPU

88 個 CPU 核心

1TB 系統(tǒng)內(nèi)存

在多 GPU 環(huán)境下執(zhí)行微調(diào)周期，每個周期不到一個小時。

使用 NVIDIA NIM 部署 LLM

NVIDIA NIM 基于NVIDIA Triton推理服務器所構(gòu)建，采用 TensorRT-LLM 對 NVIDIA GPU 上的 LLM 推理進行優(yōu)化。NIM 通過預先優(yōu)化的推理容器來推動無縫的 AI 推理，這些容器開箱即用，在加速的基礎(chǔ)設施上提供極佳的延遲和吞吐量，同時確保預測的準確性。無論是在本地還是在云中，NIM 都提供了以下優(yōu)勢：

簡化 AI 應用程序開發(fā)

為最新的生成式 AI 模型預先配置的容器

通過服務級別協(xié)議提供企業(yè)支持，并定期更新 CVE 的安全性

支持最新的社區(qū)前沿的 LLM

成本效益和性能

對于該應用程序，Amdocs 使用自托管的 NVIDIA NIM 實例來部署經(jīng)過微調(diào)的 LLM。他們公開了類似 OpenAI 的 API 端點，為他們的客戶端應用程序啟用了統(tǒng)一的解決方案，該解決方案使用 LangChain 的 ChatOpenAI 客戶端。

在微調(diào)探索過程中，Amdocs 創(chuàng)建了一個流程，通過 NIM 自動部署 LoRA 微調(diào)檢查點。對于微調(diào)后的 Mixtral-8x7B 模型，該過程花費了大約 20 分鐘。

結(jié)果

Amdocs 已經(jīng)看到了這一過程的多重效率。

準確性提高：通過與 NVIDIA 合作，顯著提高了 AI 生成響應的準確性，準確性提高了 30%。這類改進對于加快推動生成式 AI 在電信行業(yè)的廣泛應用和滿足面向消費者的生成式 AI 服務的需求至關(guān)重要。

使用 NVIDIA NIM，Amdocs 在成本和延遲方面都有所改進。

運營成本降低：Amdocs 在 NVIDIA 基礎(chǔ)設施上的電信檢索增強生成（RAG）使部署用例所消耗的 token 在數(shù)據(jù)預處理和推理方面分別降低了 60% 和 40%，以更低的成本提供相同水平的準確性。

延遲降低：該協(xié)作成功地將查詢延遲減少了約 80%，從而確保最終用戶體驗到近乎實時的響應速度。這項加速提升了用戶在商業(yè)、醫(yī)療、運營等領(lǐng)域的體驗。

LLM 準確性評估

為了在微調(diào)階段評估測試數(shù)據(jù)集上跨模型和提示的性能，Amdocs 使用了圖 3 中的高級流程。

圖 3. 包括 LLM-as-a-Judge 和人類專家在內(nèi)的 LLM 評估過程

對于每個實驗，Amdocs 首先在測試數(shù)據(jù)集上生成 LLM 輸出預測。

然后，使用外部 LLM-as-a-Juage 來評估預測，提供準確性和相關(guān)性的指標。對符合預定義標準的實驗進行自動回歸測試，以驗證預測細節(jié)的準確性。由此得出的分數(shù)是多種指標的混合，包括以下：

F1 分數(shù)

無幻覺指示器

準確結(jié)論指示器

回答相關(guān)性

對話一致性

無回退指示器

完整性

毒性指標

最后，手動評估性能最佳的模型，以確認總體準確性。這一過程確保了微調(diào)后的 LLM 既有效又可靠。

圖 4 顯示了不同 LLM 的總體準確度得分。Amdocs 觀察到，與基礎(chǔ)版本相比，Mixtral-8x7B 和 Llama2-13b-cat 的 LoRA 微調(diào)版本的準確率分別提高了 20-30%。結(jié)果還顯示，與托管 LLM 服務相比，準確率提高了 6%。

圖 4. 前三名模型的平均得分提升情況

Token 消耗

重新格式化計費數(shù)據(jù)導致輸入 token 減少了 60%。雖然經(jīng)過微調(diào)的 LLM 產(chǎn)生了相當或更好的性能，但這些模型也使輸入 token 額外節(jié)省了約 40%。這歸因于最小化提示指令的域自定義。

圖 5 顯示了 Mixtral-8x7B、Llama2-13b 和托管 LLM 服務的 token 消耗之間的比較。輸入 token 數(shù)量的差異主要是由于托管 LLM 服務為很好地執(zhí)行任務中所需的詳細指令。對于域定制的 Llama2 和 Mixtral-8x7B 模型，減少是由于持續(xù)的上下文格式改進。

圖 5. Mixtral-8x7B、Llama2 和托管 LLM 服務的標記消耗情況

LLM 延遲

在使用 NVIDIA NIM 對 NVIDIA 80GB GPU 上部署的模型進行評估期間，Amdocs 觀察到平均推理速度比先進的托管 LLM 服務快 4-6 倍，約 80%。

圖 6 顯示了使用單個 LLM 調(diào)用執(zhí)行的延遲實驗，并計算了整個生成周期的平均延遲。Llama2-13b 模型部署在一個 GPU 上，而 Mixtral-8x7B 部署在兩個 GPU 上。當使用自托管端點時，響應延遲更加一致，如圖 6 所示的 0.95 置信區(qū)間線所示。

圖 6.每個模型的平均延遲（以秒為單位）

結(jié)論和下一步行動

NVIDIA NIM 推理微服務改善了延遲，使 Amdocs 應用程序中的處理速度更快。通過優(yōu)化數(shù)據(jù)格式和微調(diào) LLM，Amdocs 提高了其計費問答系統(tǒng)的準確性，同時顯著降低了成本。在整個過程中，Amdocs 面臨著不同的挑戰(zhàn)，需要創(chuàng)造性的數(shù)據(jù)格式化、及時的工程設計和模型相關(guān)的定制。定義一個明確的模型評估策略和嚴格的測試是他們成功的關(guān)鍵。

Amdocs 正在采取下一步行動，通過使用 Multi-LoRA 為不同的應用程序創(chuàng)建定制模型，這是一種能夠在推理過程中動態(tài)加載多個模型自適應的技術(shù)。這種方法優(yōu)化了內(nèi)存使用，因為只有基本模型是一致加載的，而模型層自適應是根據(jù)需要動態(tài)加載的。

通過與 NVIDIA 合作，Amdocs 啟動了將生成式 AI 集成到其核心產(chǎn)品組合中的戰(zhàn)略。該戰(zhàn)略從確定應用領(lǐng)域開始，通過用戶體驗設計使生成式 AI 的功能對用戶更加友好，并優(yōu)先處理快速工程。Amdocs 將繼續(xù)使用 NVIDIA DGX Cloud 和 NVIDIA AI Enterprise 軟件，以電信公司分類法定制大語言模型（LLM）, 以進一步提高準確性并優(yōu)化生成式 AI 訓練和推理的成本。

Amdocs 計劃在多個戰(zhàn)略方向上繼續(xù)將生成式 AI 集成到 amAIz 平臺中。

使用 AI 驅(qū)動的語言和情感分析增強客戶查詢路由

增強其 AI 解決方案的推理能力，以提供針對客戶特定需求的建議

解決需要廣泛的領(lǐng)域知識、多模式和多步驟解決方案的復雜場景，如網(wǎng)絡診斷和優(yōu)化

這些戰(zhàn)略將使運營和創(chuàng)新更加高效和有效。

審核編輯：劉清