京東零售廣告部承擔(dān)著京東全站流量變現(xiàn)及營銷效果提升的重要職責(zé)，廣告研發(fā)部是京東最核心的技術(shù)部門，也是京東最主要的盈利來源之一。作為京東廣告部的核心方向，我們基于京東海量的用戶和商家數(shù)據(jù)，探索最前沿的深度學(xué)習(xí)等算法技術(shù)，創(chuàng)新并應(yīng)用到業(yè)務(wù)實踐中，賦能千萬商家和數(shù)億消費者的消費連接，不斷拓展中國乃至全世界的數(shù)字經(jīng)濟(jì)邊界。

在這里，你將與各業(yè)務(wù)、產(chǎn)品、工程團(tuán)隊緊密合作，深入京東億量級的數(shù)據(jù)與豐富的廣告業(yè)務(wù)場景，進(jìn)行前沿AI算法和工程架構(gòu)的研究與應(yīng)用工作。通過AGI算法創(chuàng)新和行業(yè)領(lǐng)先的廣告技術(shù)，賦能京東多個業(yè)務(wù)線的廣告投放和管理需求，幫助商家實現(xiàn)精準(zhǔn)營銷，同時提升用戶購物體驗，推動京東的商業(yè)增長，創(chuàng)造數(shù)以億計的業(yè)務(wù)貢獻(xiàn)。

大模型時代的到來，新一代廣告系統(tǒng)中，我們目前重點攻堅以下五個方向，歡迎敢于挑戰(zhàn)、有夢想的同學(xué)，和我們一起共事。讓我們一起來看看新一代廣告系統(tǒng)中如何實現(xiàn)大模型時代的流量價值預(yù)估、流量售賣機(jī)制、生成式推薦、智能創(chuàng)意以及承載它的算法工程體系。

?

文末有最新的機(jī)會喲~

?

?

一、流量價值預(yù)估——更好的人貨場理解能力

1、廣告用戶意圖理解

Query意圖識別是電商搜索中離用戶最近和最基礎(chǔ)的一個模塊，主要的功能是精確地理解用戶的搜索意圖，為下游的召回/相關(guān)性/排序提供決策信息和特征。Query意圖識別主要是做分詞、糾錯、NER、品牌識別、類目預(yù)測和query改寫等，需準(zhǔn)確捕捉用戶意圖輔助下游決策，是供需匹配和用戶體驗的基礎(chǔ)。

當(dāng)前query意圖識別訓(xùn)練樣本的產(chǎn)生邏輯導(dǎo)致約85%的query預(yù)測的類目都是單類目，且多標(biāo)簽樣本的標(biāo)簽量較少。因此亟需在保持現(xiàn)有的類目精準(zhǔn)度情況下，提升類目的召回率。通過分析，主要存在以下類型的query的高相關(guān)召回率不足：

?泛詞的多意圖：側(cè)重知識類，詞與具體商品之間需要知識關(guān)聯(lián)，例如：水果，生日禮物，燈；

?歧義詞的多意圖：多意圖query下，基于樣本生成邏輯，會偏向主意圖，弱化甚至丟失次意圖，導(dǎo)致召回問題，例如：小米（糧食or手機(jī)？），蘋果（水果or手機(jī)？）；

?長尾類目冷啟：由于用戶點擊數(shù)據(jù)的馬太效應(yīng)，使得大量的長尾類目沒有曝光機(jī)會，類目下商品無法獲得點擊，加深了模型無法得到長尾類目訓(xùn)練數(shù)據(jù)的問題，例如： 服務(wù)類，健康類，工業(yè)品類；

?長尾query的多意圖：由于用戶背景和表達(dá)習(xí)慣不同，對同類商品需求，會有多種表達(dá)方式，產(chǎn)生很多長尾query。模型給出的類目不準(zhǔn)，因此產(chǎn)生的點擊數(shù)據(jù)也不夠準(zhǔn)確。

?

生成-判別模型增強(qiáng)長尾類目訓(xùn)練數(shù)據(jù)

模型的訓(xùn)練依賴query點擊商品的類目來作為監(jiān)督信號。像這些偏冷啟動類目的商品，我們希望通過增加商品曝光來讓它們獲得更多點擊。有了點擊數(shù)據(jù)，就能正向影響下次模型迭代，讓模型下一次可以預(yù)測的更準(zhǔn)。從而讓整個模型迭代的流程形成良性循環(huán)，而不是馬太效應(yīng)的惡性循環(huán)。

解決方案：針對訓(xùn)練樣本的類目高度不平衡問題，我們設(shè)計了生成-匹配模型，預(yù)訓(xùn)練一個query生成模型+query-SKU匹配模型，生成模型用來根據(jù)SKU的標(biāo)題/屬性信息生成query，匹配模型用于計算生成query和原SKU title的相關(guān)性分?jǐn)?shù)，卡掉低質(zhì)量的query，保證生成query的質(zhì)量。Sku的類目作為生成query的類目，補(bǔ)充到類目預(yù)測的訓(xùn)練樣本中，平衡和緩解訓(xùn)練集類目失衡問題，讓模型能夠?qū)W習(xí)到用戶query中的長尾類目需求，從而讓長尾類目商品有一定的曝光機(jī)會。

生成數(shù)據(jù)樣例：

基于搜索日志數(shù)據(jù)預(yù)訓(xùn)練的生成-匹配模型不僅可以在類目預(yù)測中使用，也可以用在其他相關(guān)業(yè)務(wù)線。例如query suggestion 和 query改寫業(yè)務(wù)，根據(jù)sku title生成的query可以作為兩者的query召回源。

?

先驗知識注入模型解決中長尾類目召回不足導(dǎo)致的商家獲量困難問題

算法訓(xùn)練以用戶點擊sku的類目為標(biāo)簽。但由于馬太效應(yīng)，高點擊商品的類目才能獲得展現(xiàn)。模型的更新，反而會加劇馬太效應(yīng)，形成惡性循環(huán)。

?用戶反饋信號被高頻類目主導(dǎo)，需打破僅依賴用戶反饋的馬太效應(yīng)閉環(huán)。例如：用戶搜“耳機(jī)”，相關(guān)類目包含 862-手機(jī)耳機(jī)，842-藍(lán)牙耳機(jī)... 等9個三級類目。由于馬太效應(yīng)，系統(tǒng)只能展現(xiàn)出1~2個高點擊類目的商品，中長尾類目下商品無展現(xiàn)。

?業(yè)界最新算法，也高度依賴后驗反饋信號，無法召回中長尾類目。

?

解決方案：通過引入先驗知識和模型的優(yōu)化，增強(qiáng)模型對電商知識的感知，弱化模型對后驗反饋的依賴：引入先驗知識：類目語義知識、類目共現(xiàn)/語義關(guān)系圖。通過提取類目名、類目的產(chǎn)品詞等，代表類目側(cè)的語義表征。通過類目關(guān)系圖，反映類目共點擊和語義相似關(guān)系，實現(xiàn)頭部類目帶長尾（相關(guān)）類目來提升召回率。學(xué)習(xí)先驗知識：設(shè)計新模型，以BERT為文本編碼器，學(xué)習(xí)Query和類目表征。以多通道GCN為圖結(jié)構(gòu)編碼器，學(xué)習(xí)類目之間的關(guān)系。設(shè)計半監(jiān)督Loss，通過query-類目語義匹配分?jǐn)?shù)，作為監(jiān)督信號增強(qiáng)類目標(biāo)簽。

?

算法方案發(fā)表于WWW 2024《A Semi-supervised Multi-channel Graph Convolutional Network for Query Classification in E-commerce》

?

2、廣告多模態(tài)內(nèi)容理解

隨著富媒體時代的到來，商業(yè)廣告已告別了純文本廣告時代，圖文廣告、視頻廣告已成為廣告主進(jìn)行創(chuàng)意表達(dá)的新型方式。目前京東APP中的推薦和搜索頁面均包含大量圖像、視頻形式的商品展示。在此場景下，傳統(tǒng)單模態(tài)or少模態(tài)的建模方式，有以下問題：

?無法建模視覺信息對用戶行為的影響，用戶對商品展示效果的偏好無法建模。

?只局限在文本/ID特征上，無法對商品細(xì)節(jié)進(jìn)行精準(zhǔn)建模。

?大量使用物料 ID 特征會帶來模型記憶性的問題，使得整個廣告系統(tǒng)對廣告物料的換血能力會比較差，新物料無法在系統(tǒng)中快速生效。

針對上述問題，我們在廣告場景下實現(xiàn)了多方位的多模態(tài)表征能力建設(shè)，并在召回及創(chuàng)意等環(huán)節(jié)進(jìn)行了應(yīng)用，取得了顯著的線上效果提升。

圖1.電商場景下的多模態(tài)商品展示

?

多模態(tài)表征在召回環(huán)節(jié)的應(yīng)用

當(dāng)前線上的向量化召回模型，過于依賴于sku的切詞特征、品牌、類目特征等客觀特征，對于刻畫sku的全局屬性、主觀信息等方面的能力是缺失的。引入sku的圖像信息，相當(dāng)于從另一個維度增加了圖片的信息，對于query-item本身的match任務(wù)是有正向增益效果的。在未來的發(fā)展趨勢中，單純基于文本匹配的方式已經(jīng)缺乏了優(yōu)勢，圖像、視頻、虛擬現(xiàn)實&人機(jī)交互等途徑的沖擊對傳統(tǒng)的搜索、推薦任務(wù)提出了新的挑戰(zhàn)。

基于圖像&文本多模態(tài)的商品表征 本工作中，我們基于雙流模型pipeline，分別利用預(yù)訓(xùn)練的文本表征提取網(wǎng)絡(luò)和圖像表征提取網(wǎng)絡(luò)，提取京東站內(nèi)商品的視覺與文本表征，并通過不同的對齊流程得到用于下游推薦任務(wù)的多模態(tài)商品表征。整體流程包括：內(nèi)容模態(tài)表征提取->內(nèi)容模態(tài)對齊->推薦空間對齊三個主要部分。內(nèi)容模態(tài)表征提取對于文本模態(tài)信息，基于商品標(biāo)題+品牌詞+三級類目，使用預(yù)訓(xùn)練的BGE-large-zh1.5模型提取隱層表征，對于視覺模態(tài)信息，基于商品主圖，使用預(yù)訓(xùn)練ViT-CLIP-base提取視覺表征。內(nèi)容模態(tài)對齊：對基于預(yù)訓(xùn)練backbone提取到的隱層表征，使用基于CLIP的對比學(xué)習(xí)方式訓(xùn)練一個projection head，對文本和視覺模態(tài)進(jìn)行對齊和降維處理。推薦空間對齊：在對齊到推薦任務(wù)的語義空間時，首先構(gòu)造不同模態(tài)的商品關(guān)系圖，之后利用Gate-GNN的特征聚合能力，在item-item關(guān)系圖上進(jìn)行基于商品活躍度的聚合，得到混合模態(tài)的商品表表征。

?

多模態(tài)表征在創(chuàng)意優(yōu)選環(huán)節(jié)的應(yīng)用

創(chuàng)意優(yōu)選環(huán)節(jié)的多模態(tài)理解與排序等環(huán)節(jié)存在較大區(qū)別，排序任務(wù)的目標(biāo)是建模同一用戶在多個候選sku之間的排序關(guān)系，用多模態(tài)理解作sku信息精細(xì)化建模的信息增益來源，更好地建模商品信息，以實現(xiàn)不同商品之間的對比。創(chuàng)意可以表征很多高階的結(jié)構(gòu)化信息。基于這一點，在創(chuàng)意優(yōu)化的特征工程上，方向大致是：強(qiáng)化User/Context，弱化Item/POI，通過引入多模態(tài)的創(chuàng)意表征，來個性化地學(xué)習(xí)到創(chuàng)意中的賣點信息，從而實現(xiàn)創(chuàng)意層面的最優(yōu)排序。

基于圖像模態(tài)的商品表征 目前商詳主圖中存在一定的噪聲，因此對于全圖的表征往往會受到噪聲的干擾，之前的做法往往先對主商品進(jìn)行摳圖，之后再進(jìn)行特征提取，但是這種兩階段的特征提取依賴主圖區(qū)域的準(zhǔn)確標(biāo)注，并會帶來誤差累積的問題，不適合缺乏標(biāo)簽的電商圖像預(yù)訓(xùn)練任務(wù)。我們考慮直接進(jìn)行圖像自監(jiān)督方法（DINO）進(jìn)行預(yù)訓(xùn)練，在模型訓(xùn)練的同時端到端提取可靠的圖像主體表征，具體流程如下圖所示：

?

無監(jiān)督模型方案

?

注意力圖可視化

?

二、流量售賣機(jī)制——更優(yōu)的機(jī)制能力

1、ListVCG：基于強(qiáng)化學(xué)習(xí)的序列拍賣機(jī)制

推薦信息流廣告是典型的多品拍賣場景，業(yè)界通用方案GSP在理論、效率上均不是最優(yōu)解，VCG多品拍賣機(jī)制是我們的理想方案。但是VCG僅僅是一個理論上的解決方案，他的前提是需要高效的找到最佳組合拍賣結(jié)果。與此同時，推薦業(yè)務(wù)復(fù)雜，是典型的多目標(biāo)優(yōu)化場景，但是標(biāo)準(zhǔn)VCG是追求社會福利最大化的機(jī)制，因此在由GSP切換到VCG時，平臺收益在短期內(nèi)會顯著下降，這也是業(yè)界公認(rèn)的VCG機(jī)制切換難題。因此如何將VCG與多目標(biāo)優(yōu)化進(jìn)行結(jié)合也是我們面臨的主要挑戰(zhàn)。結(jié)合京東的實際應(yīng)用場景，我們提出了ListVCG拍賣機(jī)制，來解決上述問題。

首先面臨要解決的是700選4的排列組合問題，序列的搜索空間上千億，我們將此定義成一個強(qiáng)化學(xué)習(xí)的問題，借鑒了經(jīng)典的Actor-Critic架構(gòu)，Actor輸出概率矩陣，通過采樣的手段去求解排列組合問題，同時我們利用用戶的真實反饋去提升Critic的評估水平，挑選出的最優(yōu)組合會利用策略梯度的方式指引Actor學(xué)習(xí)。通過這種互相迭代自提升的方式去高效逼近最優(yōu)組合。

VCG下的多品拍賣同時是一個經(jīng)濟(jì)學(xué)問題，需要滿足激勵相容的拍賣理論約束來保證長期的生態(tài)健康發(fā)展，然而常見的多目標(biāo)問題的優(yōu)化思路會使得無法使用vcg計費。因此我們在Listvcg中對于ECPM價值進(jìn)行了參數(shù)化的變形，在保證可計費的同時通過可學(xué)習(xí)的參數(shù)來滿足平臺收益、社會福利、用戶體驗以及物料整體價值多目標(biāo)優(yōu)化的訴求。

為了更好地對流量長期價值進(jìn)行建模，我們自然地引入了強(qiáng)化學(xué)習(xí)的方式，起初我們嘗試了傳統(tǒng)off-policy的Q-Learning算法如DDQN等，然而，由于后驗反饋的獎勵稀疏，模型訓(xùn)練效果不穩(wěn)定，因此，我們嘗試引入reward shaping以及curriculum RL的思想，通過加入稠密先驗獎勵緩解數(shù)據(jù)側(cè)的獎勵稀疏，并讓模型在相對簡單的單步?jīng)Q策任務(wù)（如序列曝光、點擊、單步價值預(yù)估等）收斂后，再學(xué)習(xí)長期決策任務(wù)，使得模型效果有了顯著提升，在優(yōu)化長期競價環(huán)境的同時，實現(xiàn)了短期收入和廣告主roi的上升。

?

?

2、基于強(qiáng)化學(xué)習(xí)的多智能體博弈

多智體在拍賣機(jī)制的博弈環(huán)境

目標(biāo)層面：機(jī)制和出價智能體聯(lián)合優(yōu)化是行業(yè)發(fā)展趨勢，出價與機(jī)制智能體具有一致的整體目標(biāo)。

算法層面：我們從算法視角分析出價與機(jī)制的策略如何影響廣告收入和tcharge。

?平臺一段時間的收入由以下三個因素決定：

1.流量價值分布：一段時間請求數(shù)量，廣告主數(shù)量，以及每個請求pctr、pcvr、tcpa

2.廣告主調(diào)價策略：bid ratio （假設(shè)這段時間不變）

3.平臺機(jī)制策略：分配以及計費規(guī)則

?具體的，我們有（假設(shè)100個請求，10個廣告主）

機(jī)制、出價與用戶（環(huán)境）的交互關(guān)系如下圖所示，事實上，在單智能體強(qiáng)化學(xué)習(xí)下，機(jī)制和出價互為環(huán)境

?

?

基于強(qiáng)化學(xué)習(xí)的多智能體博弈的研究和落地工作

基于MPC和強(qiáng)化學(xué)習(xí)的出價算法優(yōu)化點主要在于對未來一段時間請求環(huán)境獎勵（tcharge、達(dá)成率）的預(yù)測，以及根據(jù)當(dāng)前的狀態(tài)（展現(xiàn)、點擊、消耗、達(dá)成情況）來決定下一步動作（bid ratio）；同樣的，基于強(qiáng)化學(xué)習(xí)的機(jī)制策略也需要對未來一段時間請求環(huán)境獎勵（廣告收入）進(jìn)行預(yù)測，并且根據(jù)當(dāng)前的狀態(tài)（歷史收入、預(yù)算情況等）來決定下一步動作（分配&計費）。

?

機(jī)制和出價對未來一段時間獎勵預(yù)測越準(zhǔn)確，動作選擇越準(zhǔn)確，會帶來越多的收入和達(dá)成提升。為此，我們根據(jù)不同階段對多智能體技術(shù)就行研發(fā)：

（1）第一階段：基于離線請求數(shù)據(jù)的模擬

?出價和機(jī)制智能體一側(cè)固定，通過離線模擬盡可能還原線上策略，進(jìn)行模型訓(xùn)練

?難點：

?缺少精確的離線模擬環(huán)境，目前只有部分精排隊列還原，復(fù)雜邏輯難以還原

?計算量級大；新的機(jī)制還在不斷迭代中

（2）第二階段：基于離線仿真環(huán)境的模擬

?出價和機(jī)制智能體通過感知 自身不同動作下對方的反饋，對未來獎勵預(yù)估更準(zhǔn)確

?風(fēng)險：

?模擬誤差累計增大（無法模擬部分/用戶行為模擬偏差）

?實驗評估難以進(jìn)行

?

以機(jī)制為例，收益本質(zhì)上來自于對廣告主未來行為的預(yù)測，比如在某個流量上bidder由于bid ratio高（但是cvr低）獲得了流量，雖然平臺當(dāng)次請求收入最大，但是會影響后續(xù)bid ratio調(diào)節(jié)，整體收入非最優(yōu)。通過在仿真環(huán)境下尋找更優(yōu)均衡（需考慮離在線不一致的問題），可以避免廣告主（比如某個類目）的出價收斂到對平臺整體收入不利的均衡。

?

三、廣告生成式推薦——更顛覆的推薦范式

在京東廣告場景，我們面臨了如下的挑戰(zhàn)：用戶行為復(fù)雜、平臺數(shù)據(jù)邊界、數(shù)據(jù)稀疏性高、冷啟動問題、場景理解困難、多樣性和新穎性。由于現(xiàn)實系統(tǒng)中的商品數(shù)量巨大，傳統(tǒng)RS通常采用多級過濾范式，包括召回、粗排、精排、重排等流程，

相較于傳統(tǒng)RS，生成式推薦系統(tǒng)具備如下的優(yōu)勢：1）簡化推薦流程。實現(xiàn)從多級過濾范式（discriminative-based，判別式）到單級過濾范式（generative-based，生成式）的變遷。2）具備更好的泛化性和穩(wěn)定性。利用LLM中的世界知識和推理能力，在具有新用戶和商品的冷啟動和新領(lǐng)域場景下具備更好的推薦效果和遷移效果。

?

1、方案

生成式推薦涉及兩個接地（grounding）過程，“將語言空間接地到推薦空間”和“將推薦空間接地到實際商品空間”。為了實現(xiàn)這兩個過程，我們的方案如下：

?

步驟一：商品量化表示階段

選取高點擊商品的標(biāo)題、類目等語義信息，經(jīng)由編碼器模型獲得向量表示，再利用RQ-VAE對向量進(jìn)行殘差量化，從而獲得商品的語義ID。例如，商品“ThinkPad 聯(lián)想ThinkBook 14+ 2024 14.5英寸輕薄本英特爾酷睿ultra AI全能本高性能獨顯商務(wù)辦公筆記本電腦”可表示為：

步驟二：繼續(xù)預(yù)訓(xùn)練階段

（1）量化token擴(kuò)展大模型詞表并完成初始化

將商品量化表示的底層token集合，加入到大模型中，進(jìn)行微調(diào)對齊訓(xùn)練，使得模型“理解"這些底層token

（2）語義ID和商品文本信息互譯任務(wù)

提示詞:
請告訴我,商品的四元組表示為{input_turple}的標(biāo)題是什么？
輸入:

輸出:
華為（HUAWEI）旗艦手機(jī)mate60 pro+ 16G+512GB 宣白

提示詞:
請告訴我,商品的標(biāo)題是{input_title}, 它的四元組表示是什么?
輸入:
華為（HUAWEI）旗艦手機(jī)mate60 pro+ 16G+512GB 宣白
輸出:

步驟三：微調(diào)階段

非對稱商品預(yù)測任務(wù)1:
提示詞:
用戶歷史瀏覽的商品的四元組序列為{input_tuple1, input_tuple2, ..., input_tupleN},
請幫我預(yù)測用戶下一個要瀏覽的商品是什么？
輸入:
,
,
, 

輸出:
華為（HUAWEI）旗艦手機(jī)mate60 pro+ 16G+512GB 宣白

提示詞:
用戶歷史瀏覽的商品序列的文本語義信息為{input_text1, input_text2, ..., input_text_N},
請幫我預(yù)測用戶下一個要瀏覽的商品是什么？
輸入:
華為（HUAWEI）旗艦手機(jī)mate60 pro+ 16G+512GB 宣白,
華為（HUAWEI）旗艦手機(jī)mate60 pro+ 16G+1TB 宣白,
華為（HUAWEI）旗艦手機(jī)mate60 pro+ 16G+512GB 硯黑，
華為（HUAWEI）旗艦手機(jī)mate60 pro+ 16G+1TB 硯黑,
華為
輸出:

提示詞:
用戶歷史瀏覽的商品的四元組序列為{input_tuple1, input_tuple2, ..., input_tupleN},
請幫我預(yù)測用戶下一個要瀏覽的商品是什么？
輸入:
，, , 
輸出:

步驟四：DPO階段

提示詞:
用戶歷史瀏覽的商品的四元組序列為{input_tuple1, input_tuple2, ..., input_tupleN},
請幫我預(yù)測用戶下一個要瀏覽的商品是什么？
輸入:
, , , 
正例: 

負(fù)例:

2、效果

我們將上述方案應(yīng)用于京東站內(nèi)和站外廣告的推薦流程，取得了顯著的效果提升。

?

?

?

四、廣告智能創(chuàng)意——更生動的視覺沖擊

?

廣告創(chuàng)意不僅能夠抓住消費者的眼球，還可以傳遞品牌核心價值和故事，建立起與消費者之間的情感聯(lián)系。在電商場景下，創(chuàng)意內(nèi)容是影響用戶點擊的重要因素，對廣告收入有著重要的影響。為了滿足千人千面的用戶偏好，我們在大模型時代借助其強(qiáng)大的生成能力，產(chǎn)出以下一系列的創(chuàng)意內(nèi)容：

?

盡管最近AIGC技術(shù)蓬勃發(fā)展，使得創(chuàng)意制作擺脫了成本和效率的限制。然而，大模型在廣告創(chuàng)意的應(yīng)用上還存在諸多問題。如下方圖片所示，現(xiàn)有的圖片生成模型會產(chǎn)出空間失調(diào)/大小失調(diào)/商品不顯著和形狀幻覺等bad case：

為了解決上述問題，我們提出一種多模態(tài)可靠反饋網(wǎng)絡(luò)（RFNet），用于自動審核生成的圖片，并將其應(yīng)用于遞歸生成過程中，從而提高可用廣告圖片的數(shù)量。此外，我們通過一致性條件正則化（Consistent Condition regularization）微調(diào)擴(kuò)散模型，利用RFNet的反饋，顯著提升了生成圖片的可用率，減少了遞歸生成的嘗試次數(shù)，同時保持了高效的生產(chǎn)過程和視覺吸引力。我們還構(gòu)建了一個包含超過一百萬張人工標(biāo)注生成廣告圖片的RF1M數(shù)據(jù)集，幫助訓(xùn)練RFNet準(zhǔn)確評估圖片的可用性。這項工作發(fā)表在計算機(jī)視覺頂級會議ECCV2024。

?

?

五、廣告大模型算法工程體系——更極致的算法基建

大模型尤其以LLM、AIGC類的典型模型為例，其模型參數(shù)通常在0.5B ~ 72B之間，在廣告場景上帶來最直觀的挑戰(zhàn)是：超大規(guī)模模型的訓(xùn)練推理挑戰(zhàn)、復(fù)雜業(yè)務(wù)鏈路的融合。

推理上，廣告鏈路跟傳統(tǒng)的對話系統(tǒng)不同，其延遲要求極高，通常請求到計算完畢返回之間的耗時僅有100ms，因此，耗時約束下的推理能力是一個極大的挑戰(zhàn)。此外，單請求的推理成本也是業(yè)界大模型服務(wù)公司揮之不去的追求點。京東廣告已經(jīng)可以做到1.5B體積模型，百萬Token成本較行業(yè)成本更低。

訓(xùn)練上，不論是開源模型再微調(diào)和在訓(xùn)練，還是以Transformer為核心的自行搭建的模型結(jié)構(gòu)，對片上網(wǎng)絡(luò)、存內(nèi)計算、空間時間編排的脈動計算模式等技術(shù)要求都有成倍的要求提升。

業(yè)務(wù)鏈路上，最典型的模型服務(wù)以模型內(nèi)邏輯+外部鏈路邏輯整合而成，而一個DAG（RAG）服務(wù)是一種不錯的融合方式。

?

?

京東廣告算法工程團(tuán)隊在人工智能領(lǐng)域持續(xù)深耕，不僅致力于LLM（Large Language Model）訓(xùn)練推理技術(shù)的前沿探索，力求突破自然語言處理的瓶頸，提升模型的語義理解和生成能力。同時，我們也充分認(rèn)識到硬件基礎(chǔ)設(shè)施對于大規(guī)模模型運行的重要性，因此積極與業(yè)界領(lǐng)先的芯片制造商和網(wǎng)絡(luò)服務(wù)提供商展開深度合作。

?

我們從底層的物理拓?fù)浣Y(jié)構(gòu)開始優(yōu)化，確保數(shù)據(jù)傳輸?shù)母咝院头€(wěn)定性，為模型的高速運行奠定堅實基礎(chǔ)。接著，針對不同的芯片特性進(jìn)行定制化的適配工作，讓模型能夠在各種硬件環(huán)境下發(fā)揮出最優(yōu)性能。我們深知，只有軟硬件完美結(jié)合，才能真正釋放AI的潛能。

?

此外，京東廣告算法工程團(tuán)隊還對訓(xùn)練框架進(jìn)行了全方位的優(yōu)化。我們引入了最新的并行計算技術(shù)和分布式存儲方案，使得大規(guī)模數(shù)據(jù)的處理和模型的訓(xùn)練變得更加迅捷。同時，我們也在推理服務(wù)上狠下功夫，通過緩存策略、負(fù)載均衡等手段，顯著提升了模型的響應(yīng)速度和并發(fā)處理能力。

?

這一切的努力，都是為了能夠支撐起下一代的超大規(guī)模模型，使其能夠應(yīng)對百萬級QPS的嚴(yán)苛挑戰(zhàn)，為用戶提供更快速、更精準(zhǔn)的廣告推薦服務(wù)。京東廣告算法工程團(tuán)隊將持續(xù)創(chuàng)新，以技術(shù)驅(qū)動業(yè)務(wù)發(fā)展，為實現(xiàn)更智能、更個性化的廣告體驗而不懈奮斗。

?

六、招聘簡章

?

TO 親愛的朋友：

?

京東廣告研發(fā)部致力于提供全方位的廣告技術(shù)服務(wù)，包括廣告排序、出價、創(chuàng)意算法、廣告投放平臺建設(shè)、大數(shù)據(jù)生產(chǎn)和數(shù)據(jù)挖掘、廣告質(zhì)量控制和廣告產(chǎn)品創(chuàng)新。我們?nèi)旌虮Ｕ暇〇|廣告系統(tǒng)的穩(wěn)定運行，不斷優(yōu)化廣告系統(tǒng)全鏈路基礎(chǔ)能力，持續(xù)提升研發(fā)效率和交付能力。通過AGI算法創(chuàng)新和行業(yè)領(lǐng)先的廣告技術(shù)，賦能京東多個業(yè)務(wù)線的廣告投放和管理需求，幫助商家實現(xiàn)精準(zhǔn)營銷，同時提升用戶購物體驗，推動京東的商業(yè)增長，創(chuàng)造數(shù)以億計的日均廣告收入。在這里，你將與各業(yè)務(wù)、產(chǎn)品、工程團(tuán)隊緊密合作，深入京東億量級的數(shù)據(jù)與豐富的廣告業(yè)務(wù)場景，進(jìn)行前沿AI算法和工程架構(gòu)的研究與應(yīng)用工作。

審核編輯 黃宇