自從大模型出現(xiàn)以來，很多行業(yè)領(lǐng)袖和專家都曾表達(dá)過像“考慮使用大模型重新構(gòu)建所有行業(yè)和產(chǎn)品”這樣的觀點(diǎn)。具體來說，對(duì)于各個(gè)行業(yè)來說，我們需要關(guān)注和了解哪些問題可以通過大模型的能力來解決，以及在實(shí)際應(yīng)用時(shí)可能面臨的挑戰(zhàn)。在本期"極客有約"節(jié)目中，魚哲和崔世杰深入探討了廣告創(chuàng)意領(lǐng)域中 AIGC 的實(shí)際應(yīng)用情況。

原視頻網(wǎng)址：

https://www.infoq.cn/video/p56ceAHvdxwtkZN9d7ct

亮點(diǎn)：

要?jiǎng)?chuàng)建一個(gè)成功的 AIGC 應(yīng)用，一個(gè)關(guān)鍵的先決條件是擁有垂直領(lǐng)域的高質(zhì)量數(shù)據(jù)。

AIGC 正在改變廣告創(chuàng)意領(lǐng)域。

隨著 AI 能力的提升，人們需要深入使用并掌握它。像 fine-tuning、LangChain 等我不會(huì)推薦，我會(huì)鼓勵(lì)周圍的人去深入使用 AIGC，重點(diǎn)在于使用，好的 AGI 只需要被編譯一次。

建議使用國(guó)內(nèi)模型并在中國(guó)境內(nèi)部署。

這個(gè)領(lǐng)域非常快速發(fā)展，所以你應(yīng)該保持好奇心，不斷嘗試新事物，不斷挑戰(zhàn)自己。

嘉賓簡(jiǎn)介：

魚哲，Lepton AI 創(chuàng)始團(tuán)隊(duì)成員，產(chǎn)品負(fù)責(zé)人。

崔世杰，廣推科技 AIGC 商業(yè)化負(fù)責(zé)人，資深開發(fā)，《微信小程序底層框架實(shí)現(xiàn)原理》掘金小冊(cè)作者。擁有多年全平臺(tái)一線研發(fā)經(jīng)驗(yàn)，多年團(tuán)隊(duì)管理經(jīng)驗(yàn)，擅長(zhǎng) Web、跨端、AIGC 技術(shù)，熟悉多種編程語(yǔ)言。負(fù)責(zé)過多個(gè)領(lǐng)域的項(xiàng)目開發(fā)，涉及的項(xiàng)目包括智慧醫(yī)療、智慧城市、直播等多個(gè)領(lǐng)域。

大模型是如何被應(yīng)用到廣告創(chuàng)意中的

魚哲：首先，世杰老師可以給我們科普下“廣告創(chuàng)意”是什么？

崔世杰：很高興能與大家分享 AIGC 在廣告領(lǐng)域的應(yīng)用情況。我使用一個(gè)比較正式的定義來解釋一下。廣告創(chuàng)意是一種以營(yíng)銷傳播為目的的多媒體內(nèi)容，其主要目標(biāo)是吸引目標(biāo)用戶，讓用戶完成行為轉(zhuǎn)化，通常是與產(chǎn)品或服務(wù)相關(guān)的互動(dòng)。廣告是我們生活中常見的東西，幾乎無處不在。

然而，我所負(fù)責(zé)的廣告形式與傳統(tǒng)的品牌廣告有所不同。品牌廣告通常涉及明星代言的產(chǎn)品推廣。而我們主要關(guān)注信息流廣告，也被稱為原生廣告，這是大家最常接觸到的廣告形式。信息流廣告包括各種類型的宣傳，如產(chǎn)品促銷、電商促銷和打折產(chǎn)品推廣。此外，它還覆蓋了視頻廣告，例如實(shí)時(shí)熱點(diǎn)內(nèi)容、小說類內(nèi)容等。

魚哲：在廣告行業(yè)的運(yùn)作過程中，廣告創(chuàng)意的生成和傳播牽涉到多個(gè)角色，從生產(chǎn)方到消費(fèi)方分別是什么樣的人？

崔世杰：生產(chǎn)側(cè)主要是各大廣告主，他們具有特定的推廣目標(biāo)，旨在推廣自己的產(chǎn)品或促使用戶執(zhí)行特定行為。這些行動(dòng)可以非常具體。例如，假設(shè)要運(yùn)營(yíng)一款新興的應(yīng)用程序，希望吸引更多用戶使用，增加日活躍用戶數(shù)，或者實(shí)現(xiàn)其他行為轉(zhuǎn)化目標(biāo)。對(duì)于電商來說，一種典型的轉(zhuǎn)化目標(biāo)是用戶在應(yīng)用中下單購(gòu)買產(chǎn)品。還有其他類型目標(biāo)，例如提高現(xiàn)有用戶的日活躍度，這也可以被視為一種轉(zhuǎn)化。

消費(fèi)側(cè)就是我們的普羅大眾，每個(gè)人都可能做出消費(fèi)行為。

魚哲：在 AIGC 出現(xiàn)之前，傳統(tǒng)的廣告創(chuàng)意是如何制作的？

崔世杰：信息流廣告通常需要標(biāo)配的是廣告優(yōu)化師和剪輯師的團(tuán)隊(duì)協(xié)作。一般情況下，一個(gè)廣告優(yōu)化師會(huì)搭配兩名剪輯師。這個(gè)團(tuán)隊(duì)的配置會(huì)根據(jù)廣告要投放的媒介以及廣告內(nèi)容的主題方向來調(diào)整。例如，如果廣告與小說相關(guān)，就需要選擇小說方向的內(nèi)容，而對(duì)于電商廣告，則需要選擇電商相關(guān)的素材。

在傳統(tǒng)的工作方式中，廣告優(yōu)化師通常會(huì)提供一些關(guān)鍵詞或指導(dǎo)，然后剪輯師會(huì)根據(jù)這些信息進(jìn)行創(chuàng)作。創(chuàng)作完成后，這些素材將被交給投放師進(jìn)行進(jìn)一步的處理。這可能是一種自由創(chuàng)作的方式，也可能有一些固定的輸入輸出模板，這取決于具體的廣告項(xiàng)目和團(tuán)隊(duì)的工作流程。

創(chuàng)意方向通常是基于廣告優(yōu)化師的過往經(jīng)驗(yàn)來確定，然后傳達(dá)給剪輯師。然而，團(tuán)隊(duì)成員之間也可以進(jìn)行相互討論和合作，因?yàn)閯?chuàng)意是非常重要的。有時(shí)，集體智慧可以帶來新的創(chuàng)意思路，盡管大部分情況下，創(chuàng)意方向仍然受廣告優(yōu)化師個(gè)人經(jīng)驗(yàn)的指導(dǎo)。

魚哲：我理解，廣告主可以看作是甲方，他們提出需求，例如，他們想要推廣一種礦泉水。然后，廣告優(yōu)化師會(huì)根據(jù)自己的經(jīng)驗(yàn)提出一些廣告構(gòu)思，然后與兩名剪輯師合作，共同討論和制定廣告的具體內(nèi)容，包括可能的看板廣告、視頻內(nèi)容，以及圖文素材等等。那廣告做出來之后是直接投放還是要經(jīng)過甲方審核？

崔世杰：在信息流廣告領(lǐng)域，我們主要關(guān)注的是最終的數(shù)據(jù)消耗。因?yàn)樾畔⒘鲝V告的創(chuàng)意形式多種多樣，它可能包括了品牌廣告等不同類型。這種創(chuàng)意類型更多地取決于廣告主的需求，而我們則以數(shù)據(jù)為基礎(chǔ)來提供反饋。

AIGC 為廣告創(chuàng)意帶來了哪些改變？

魚哲：AIGC 為廣告創(chuàng)意帶來了哪些改變？我了解廣推在這一塊用了非常多的技術(shù)，而且效果非常好。

崔世杰：廣告創(chuàng)意具有一些獨(dú)特的特點(diǎn)。相比于社交，廣告通常受到非常嚴(yán)格的審核要求，因?yàn)閺V告創(chuàng)意本身具有傳播屬性，它的初衷是為了傳達(dá)給更多人看，因此審核要求非常高。舉個(gè)例子，如果廣告涉及一個(gè)商品，旁邊需要有一個(gè)真人模特。審核可能會(huì)要求這位模特的著裝不能露肩、不能露腰、不能露肚臍、不能露膝蓋，甚至站姿也可能有具體的要求，比如不可以是“S 型”。

目前面臨的一個(gè)重要挑戰(zhàn)是云計(jì)算服務(wù)提供商提供的審核服務(wù)的范圍非常有限。這意味著像我剛才提到的那些嚴(yán)格的審核要求往往無法被滿足，因此這是一個(gè)挑戰(zhàn)。此外，版權(quán)問題也是一個(gè)挑戰(zhàn)。在我們收集原始資源時(shí)，需要非常注重版權(quán)問題，這會(huì)限制我們?cè)假Y源的獲取。此外，嚴(yán)格的法規(guī)也是一個(gè)挑戰(zhàn)。每年 315 廣告法都會(huì)進(jìn)行修改和更新，要求變得越來越嚴(yán)格。

另一個(gè)關(guān)鍵特點(diǎn)是廣告創(chuàng)意是可耗盡的。如果你看到一個(gè)核潛艇廣告并決定購(gòu)買，完成了一次轉(zhuǎn)化，但如果我再次向你展示相同的廣告，你可能不會(huì)再次進(jìn)行轉(zhuǎn)化。這就強(qiáng)調(diào)了創(chuàng)意的異質(zhì)性要求，創(chuàng)意不能完全一樣，也不能太相似。如果創(chuàng)意過于相似，會(huì)對(duì)數(shù)據(jù)表現(xiàn)和賬戶產(chǎn)生影響。

最后一個(gè)特點(diǎn)是廣告創(chuàng)意的數(shù)量要求很大。因?yàn)閺V告創(chuàng)意是可耗盡的，如果一批創(chuàng)意的表現(xiàn)不佳，我們需要更換廣告創(chuàng)意，重新探索人群，這意味著我們需要大量的廣告創(chuàng)意。

總結(jié)一下，首先，合規(guī)性至關(guān)重要，因?yàn)閺V告必須符合法規(guī)。其次，它是一種可耗盡的產(chǎn)品，一般只會(huì)被用戶看到一次或很少幾次。第三，廣告的體量和消耗量非常龐大。在這方面，AIGC 填補(bǔ)了一些空白，帶來了一些重要的改變。

魚哲：這些問題是客觀存在的，AIGC 或大型模型并不能像魔法一樣立刻解決這些問題。更多的是，我們需要思考如何利用這些工具來應(yīng)對(duì)這些問題。這意味著我們需要采用一種與以往不同的解決問題的思路。你可以這個(gè)展開來講一講，AIGC 面對(duì)這些問題的是怎么解決的嗎？

崔世杰：舉個(gè)例子，比如我剛才提到廣告優(yōu)化師和剪輯師之間的配合問題。如果我們要推廣小說類廣告和視頻類廣告。視頻類廣告有其特點(diǎn)，通常需要涵蓋實(shí)時(shí)熱點(diǎn)，因?yàn)閿?shù)據(jù)反饋表明實(shí)時(shí)熱點(diǎn)可以更好地吸引用戶的轉(zhuǎn)化行為。如何收集和篩選實(shí)時(shí)熱點(diǎn)以前都是人工工作，但現(xiàn)在我們將這些任務(wù)交給大型語(yǔ)言模型，比如 GPT。例如，我這邊有一份當(dāng)天熱門榜單的標(biāo)題，首先需要進(jìn)行篩選，因?yàn)槠渲锌赡艽嬖陲L(fēng)險(xiǎn)問題。然后，我們需要對(duì)標(biāo)題進(jìn)行擴(kuò)寫，因?yàn)橛行?biāo)題不適合直接用于廣告創(chuàng)意的圖片或視頻中，它們可能不夠吸引人。文案方面，也可以通過 GPT 來擴(kuò)展或修改，使之更具吸引力。這些工作之前都是由人工完成的。

此外，正如我之前提到的，我們一直面臨著原始資源的不足問題，特別是在涉及音視頻和圖文素材的版權(quán)問題上。在資源收集方面，以前我們需要耗費(fèi)大量的人力和時(shí)間，因?yàn)椴煌膹V告場(chǎng)景需要不同類型的素材。舉個(gè)例子，如果我們要為一個(gè)外賣平臺(tái)，比如餓了么，制作廣告，那么需要提供大量的下沉式圖片和視頻，展示美食、夜市燒烤、炸雞，等等。但這些商業(yè)資源通常是有限的，如果需要成千上萬張素材，收集起來需要很長(zhǎng)時(shí)間。有了 AIGC 的幫助，我們能夠更容易地解決資源收集的問題，包括音頻資源，因?yàn)樗鼈兛梢酝ㄟ^ AIGC 來滿足需求。這種方法有助于解決原始資源的短缺問題。

魚哲：您提到了兩個(gè)非常重要的問題，這些問題在使用 AIGC 進(jìn)行擴(kuò)寫和改寫時(shí)確實(shí)需要考慮。首先，對(duì)于 AIGC 輸出的結(jié)果進(jìn)行評(píng)估非常關(guān)鍵，因?yàn)榻Y(jié)果可能是好的，也可能不符合我們的預(yù)期。在這方面，你們采取了哪些管理和質(zhì)量控制措施呢？

崔世杰：我們的一個(gè)特點(diǎn)是尋找吸引人的標(biāo)題，這在大型模型中可能會(huì)帶來一些挑戰(zhàn)。然而，我們的精度要求并不是非常高，因此不需要進(jìn)行深度的定制改造，通過 Prompt Engineering 提示工程就可以完成。

魚哲：在素材數(shù)量方面，無論是使用 ChatGPT 還是自己托管模型，我們通常會(huì)有要求來確定每天需要生成多少素材，或者我們會(huì)先生成一定數(shù)量的素材并儲(chǔ)存，然后在需要的時(shí)候直接提取使用。我們的素材策略是什么樣的？

崔世杰：我們通常會(huì)定時(shí)按需生成廣告創(chuàng)意，以滿足不同的需求。在這個(gè)過程中，我們會(huì)進(jìn)行余量分析和監(jiān)控，以確保資源充足。有些存儲(chǔ)方案會(huì)自動(dòng)進(jìn)行補(bǔ)充，以滿足高消耗情況。

此外，根據(jù)廣告主的不同需求，我們會(huì)探索多個(gè)方向。舉例來說，不同品類的廣告，比如小說類廣告，可能需要不同的畫面質(zhì)量、色彩搭配和視覺效果，這些都可能涉及到不同的數(shù)據(jù)。因此，在這些情況下，需要測(cè)試組進(jìn)行手動(dòng)生成和方向選擇，以便滿足不同廣告主的特定要求。

在不同的業(yè)務(wù)流程中，AIGC 是如何發(fā)揮作用的

魚哲：你的意思是我們當(dāng)前在信息流廣告生成領(lǐng)域的做法是將話題引入，然后利用 GPT 或其他自然語(yǔ)言處理模型進(jìn)行文本的改寫或擴(kuò)寫，然后再與生成類模型一起用于圖像生成，或者使用其他模型生成音視頻，是這樣嗎？

崔世杰：視頻類應(yīng)用只是一個(gè)載體，不同的載體可能會(huì)有一些不同的流程。

魚哲：再講一個(gè)非視頻應(yīng)用類載體的廣告流程吧。

崔世杰：以小說為例，它有著獨(dú)特的特點(diǎn)，因?yàn)樾≌f涵蓋了多種類型。例如，如果你需要制作古裝小說的廣告，選題方向?qū)⑼耆鶕?jù)小說內(nèi)容來確定。在這種情況下，我們會(huì)使用大型語(yǔ)言模型的總結(jié)功能，來提取吸引人的標(biāo)題。

然而，這其中也存在一些挑戰(zhàn)。生成標(biāo)題后，我們需要考慮如何將它們與 Stable Diffusion 或其他工具結(jié)合使用。這之后，還需要經(jīng)過一個(gè)過程，將標(biāo)題與分鏡擴(kuò)寫相匹配，這個(gè)過程中，還需要考慮小說的內(nèi)容以及小說的類型。

魚哲：對(duì)于小說的情況，當(dāng)使用文生圖進(jìn)行圖像生成時(shí)，是使用原生的 Stable Diffusion，然后根據(jù)具體需求，自行進(jìn)行微調(diào)？例如，中國(guó)的古裝風(fēng)格具有特殊的畫風(fēng)，可能需要進(jìn)行微調(diào)以確保生成的圖像與特定畫風(fēng)相匹配。是否會(huì)參考類似 Swift AI 上的資源，以幫助微調(diào)模型以滿足特定需求嗎？

崔世杰：通常，我們處理數(shù)據(jù)反饋時(shí)使用通用的提示。不過，有時(shí)也會(huì)遇到一些非常特殊的情景，比如“小兒書”風(fēng)格插畫，可能社區(qū)中的模型并沒有涵蓋這種風(fēng)格。這時(shí)，我們會(huì)自行訓(xùn)練適合這種風(fēng)格的 Lora 模型，然后將其用于生成。這個(gè)過程可能需要一些微調(diào)。

魚哲：在訓(xùn)練“小人書”風(fēng)格插畫模型時(shí)，我們通常需要準(zhǔn)備大約多少數(shù)據(jù)呢？另外，我注意到你提到模型效果方面，你之前進(jìn)行了大量的 fine-tuning，尤其是針對(duì) Llama 和 Llama 2 的 7B 和 13B 模型。你們是否發(fā)現(xiàn)使用諸如 QLoRA 這樣的快速訓(xùn)練方式，雖然訓(xùn)練速度很快，但最終效果可能并不理想，導(dǎo)致你們最終還需要進(jìn)行全量的 fine-tuning？

崔世杰：在這個(gè)過程中，我們的方法相當(dāng)簡(jiǎn)單，沒有進(jìn)行深度的調(diào)試。那時(shí)，我們使用了一些開源的解決方案，包括 Stable Diffusion 的插件，然后使用了大約 100 張圖像來訓(xùn)練 Lora 模型。關(guān)鍵是，我們很幸運(yùn)地收集到了一系列高質(zhì)量的小兒書風(fēng)格圖像作為初始資源。

魚哲：還有其他特殊類型的廣告可以和我們分享的嗎？

崔世杰：我們?cè)鴩L試過在不同領(lǐng)域進(jìn)行廣告創(chuàng)意，比如食品類。因?yàn)椴煌I(lǐng)域的廣告創(chuàng)意在畫面質(zhì)量和風(fēng)格上都有不同要求，我們考慮過以二次元?jiǎng)勇L(fēng)格來呈現(xiàn)食品廣告，尤其在 Stable Diffusion 還不太成熟的早期。盡管這個(gè)嘗試效果不如真實(shí)場(chǎng)景的廣告，但最終我們還是以數(shù)據(jù)驅(qū)動(dòng)為主導(dǎo)。我們還進(jìn)行了很多其他嘗試，這些創(chuàng)意都是通過團(tuán)隊(duì)的共同討論和富有想象力的合作而產(chǎn)生的。同時(shí)，我們還曾在視頻類廣告中嘗試了食物廣告。

魚哲:我們有位觀眾問到關(guān)于劇情式廣告的生成，你們是否在這一領(lǐng)域進(jìn)行過嘗試，或者你們是如何看待這個(gè)問題的？首先，我想了解一下，你們對(duì)于劇情式廣告的理解是什么。

崔世杰:當(dāng)他提到這個(gè)問題時(shí)，我基本明白他的意思。我們確實(shí)在這個(gè)領(lǐng)域進(jìn)行了測(cè)試。但是要注意，目前 AIGC 技術(shù)還無法實(shí)現(xiàn)將文本直接轉(zhuǎn)化為非常接近真實(shí)視頻質(zhì)量的廣告創(chuàng)意。現(xiàn)在的形式更像那些在抖音上看到的解說小說或漫畫的視頻，通過配音和幻燈片等形式呈現(xiàn)，它們包含劇情元素，就像小說中的情節(jié)一樣。我們已經(jīng)嘗試過這種小說類型的廣告創(chuàng)意，但需要指出生成的難度是相當(dāng)大的。舉個(gè)例子，如果你要生成一個(gè) 10 分鐘的小說文本，可能需要配以 30 多張 Stable Diffusion 或 MidJourney 的圖像，然后這些圖像需要剪輯、混合，并與配音和字幕配合，同時(shí)還需要考慮視頻剪輯的方式，例如雙音軌等等。目前自動(dòng)化技術(shù)已經(jīng)開始廣泛應(yīng)用，我們的平臺(tái)可以處理這種類型的視頻。

魚哲：我看到有十幾張像 PPT 幻燈片講完一個(gè)故事的視頻，你們有嘗試過嗎？效果如何？

崔世杰:我們?cè)鴩L試過這種類型的廣告創(chuàng)意，但最終效果并不理想。這可能與廣告的內(nèi)容和目標(biāo)受眾有關(guān)。例如，我們可能用這種形式來宣傳小說，但這種方式的效果可能并不好，而其他類型的廣告可能表現(xiàn)得更出色。因此，我們通常以數(shù)據(jù)為依據(jù)，根據(jù)數(shù)據(jù)的表現(xiàn)來調(diào)整廣告的方向。此外，除了蒙太奇式的剪輯視頻，目前我們也廣泛使用過渡效果和動(dòng)態(tài)效果來制作廣告創(chuàng)意。這些方法的使用更加多樣化。

魚哲：所以，關(guān)于那個(gè)“三年之期已到，龍王請(qǐng)回歸”這種類型的廣告，目前看來還是有些遠(yuǎn)未達(dá)到的。

崔世杰:這種高端廣告創(chuàng)意需要更高的成本，它通常涉及將一張圖片通過景深處理轉(zhuǎn)化為具有 3D 動(dòng)態(tài)效果的視頻。此外，還有一種方法是使用數(shù)字人物在視頻中展示產(chǎn)品，這也是一種趨勢(shì)。

魚哲：在硅谷，有一家名叫 PIKA LABS 的公司，他們提供的服務(wù)是，提供一個(gè)提示，然后生成一張圖片，并為這張圖片添加一個(gè)兩三秒的動(dòng)畫效果。然后你可以使用這個(gè)帶有動(dòng)畫的圖片來參加科幻小說的競(jìng)賽，你需要為這個(gè)圖片配上一些文字，創(chuàng)作一個(gè)故事。這有點(diǎn)類似于 YouTube 上的剪輯視頻，但它只為你提供一個(gè)靜態(tài)圖片，然后加上短暫的動(dòng)畫效果。例如，你的提示可能是“一只鯨魚從海平面跳出，太陽(yáng)從背后落下”。你可以為這個(gè)動(dòng)畫配上一個(gè)故事，比如描述 100 年后人類已經(jīng)消失，只剩下鯨魚在這個(gè)世界上。目前，我們還沒有實(shí)現(xiàn)這種類型的劇情廣告創(chuàng)意。

廣告投放效果管理

魚哲：既然你們涉及了多個(gè)品類的廣告自動(dòng)生成并最終進(jìn)行投放，我想了解一下，是不是你們內(nèi)部建立了一個(gè)應(yīng)用平臺(tái)來進(jìn)行這些內(nèi)容的生成，或者你們采用了其他什么方式來管理？

崔世杰：我們建立了一個(gè)程序化創(chuàng)意平臺(tái)，但前提是要有足夠充足的高質(zhì)量原始資源。

魚哲：原始資源指的是什么？是指計(jì)算資源、數(shù)據(jù)，還是人力資源？

崔世杰：原始資源是指那些在創(chuàng)意生成之前的圖像、文本、音頻和視頻素材，我們需要足夠的高質(zhì)量數(shù)據(jù)資源。因?yàn)檫@些廣告可能需要滿足一些審核要求，同時(shí)需要添加差異化的圖層、廣告標(biāo)識(shí)以及文案。要建立一個(gè)自動(dòng)化的平臺(tái)和流程，首要條件就是需要有足夠充足的原始資源。比如，如果我要?jiǎng)?chuàng)作了一個(gè)廣告，可能需要輸入 1000 張圖像，然后生成 1000 張不同的廣告創(chuàng)意圖片，這就需要足夠豐富的原始資源。

魚哲：那這個(gè)平臺(tái)的用戶主要是誰呢？是廣告生成過程中的投放師，還是剪輯師？

崔世杰：目前來看，這個(gè)平臺(tái)同時(shí)為兩者提供服務(wù)。我之前提到了模板的概念，我們會(huì)將那些在廣告搭配中成功的、獲得良好數(shù)據(jù)反饋的模板存儲(chǔ)在這個(gè)平臺(tái)上，以備后續(xù)使用。廣告創(chuàng)意是一種消耗品，但它有自身的生命周期。比如說今年的中秋節(jié)，月餅相關(guān)的電商廣告創(chuàng)意可能表現(xiàn)出色。但是一旦中秋節(jié)過去，這些相關(guān)模板和廣告創(chuàng)意就不再適用了。明年的中秋節(jié)，它們可能再次派上用場(chǎng)，所以我們會(huì)將這些模板存儲(chǔ)下來。此外，廣告優(yōu)化師也會(huì)使用這個(gè)平臺(tái)，他們可以根據(jù)自身的經(jīng)驗(yàn)選擇要驗(yàn)證的點(diǎn)。

大模型訓(xùn)練數(shù)據(jù)

魚哲：有觀眾提問：“從哪里獲取需要用于模型訓(xùn)練的高質(zhì)量數(shù)據(jù)。”我覺得數(shù)據(jù)越來越成為每家公司在競(jìng)爭(zhēng)中非常具有競(jìng)爭(zhēng)力的資源，通常需要依賴現(xiàn)有業(yè)務(wù)的數(shù)據(jù)存量。你對(duì)此有何看法？”

崔世杰:數(shù)據(jù)一直以來在國(guó)內(nèi)都是一個(gè)關(guān)鍵問題。我參加過很多 AIGC 相關(guān)的峰會(huì)，發(fā)現(xiàn)數(shù)據(jù)在國(guó)內(nèi)一直是最關(guān)鍵的問題。我還看到了一些新興的公司，它們專門提供高質(zhì)量的數(shù)據(jù)治理服務(wù)，為那些訓(xùn)練大型模型的公司提供支持。此外，許多國(guó)內(nèi)大型模型的訓(xùn)練數(shù)據(jù)都存在不足的問題，尤其是在通用領(lǐng)域，高質(zhì)量中文數(shù)據(jù)相對(duì)較少。

魚哲：實(shí)際上，不論是企業(yè)、個(gè)人還是團(tuán)隊(duì)，要?jiǎng)?chuàng)建一個(gè)成功的 AIGC 應(yīng)用，一個(gè)關(guān)鍵的先決條件是擁有垂直領(lǐng)域的高質(zhì)量數(shù)據(jù)，對(duì)吧？

AIGC 是否對(duì)廣告行業(yè)造成沖擊

魚哲：讓我們回到之前討論的話題，就是你們的應(yīng)用平臺(tái)，剪輯師如何使用它。我想談?wù)勔粋€(gè)在美國(guó)經(jīng)常被提出的問題，即許多藝術(shù)家和藝人反對(duì)生成式技術(shù)，認(rèn)為它會(huì)奪走他們的工作，導(dǎo)致失業(yè)。我想問一下，在你們團(tuán)隊(duì)中，你們的剪輯師是否對(duì)使用這些技術(shù)存在抵觸情緒？他們是如何看待這個(gè)問題的？

崔世杰:實(shí)際上抵抗是存在的，特別是在一些其他行業(yè)中，抵抗力更大一些。例如，一些內(nèi)容創(chuàng)作者、內(nèi)容號(hào)運(yùn)營(yíng)者可能受到?jīng)_擊，他們通常有自己的團(tuán)隊(duì)，包括剪輯師。就像我之前提到的，我們有很多剪輯師，他們使用自動(dòng)化剪輯工具與 AIGC 協(xié)作，這在很大程度上替代了一部分他們的工作。此外，還有一些原畫師。例如在一個(gè)團(tuán)隊(duì)中，通常會(huì)有一個(gè)優(yōu)化師搭配兩個(gè)剪輯師，但如果使用我們的方案，目前只需要三到四個(gè)剪輯師即可。這就顯示了自動(dòng)化和 AIGC 對(duì)工作分工和效率的影響。

魚哲：我覺得這個(gè)現(xiàn)象非常有趣，因?yàn)槲覀兛梢钥吹絻煞N極端的態(tài)度。一方面，有人強(qiáng)烈反對(duì)，拒絕使用這些技術(shù)，而另一方面有人欣然接受并擁抱這些新的產(chǎn)業(yè)和技術(shù)。例如，一些流行的音樂人，如孫燕姿等，已經(jīng)采用了 AIDC 技術(shù)。他們使用這些技術(shù)來生成專輯封面、聲音或其他創(chuàng)作，這顯示出了人們對(duì)新技術(shù)持不同態(tài)度的現(xiàn)象。

魚哲：我們前面提到的，有些人愿意擁抱這些新技術(shù)，而有些人對(duì)它們有一些抵觸情緒。在你看來，AIGC 對(duì)廣告行業(yè)會(huì)帶來巨大沖擊還是使原本高效的工作更高效？

崔世杰:目前來看，AIGC 還沒有對(duì)廣告造成巨大沖擊，但對(duì)內(nèi)容生產(chǎn)者的沖擊更大。舉個(gè)例子，剛才提到資源收集，采集原始資源，像我們用于商業(yè)用途的圖像、文本和音視頻，通常需要通過一些渠道購(gòu)買。這對(duì)這些渠道的影響會(huì)非常大。具體來說，像下沉市場(chǎng)的外賣廣告，它們需要一些特定類型的素材，例如燒烤的視頻或吃炸雞的照片，這通常需要專業(yè)團(tuán)隊(duì)拍攝，而拍攝成本非常高，可能每個(gè)素材的成本都要幾十塊錢。在廣告行業(yè)，這個(gè)成本通常是難以承受的。引入 AIGC 后，原始資源不再需要考慮商業(yè)化或版權(quán)問題，也不必?fù)?dān)心數(shù)量的問題。

魚哲：接下來這個(gè)問題可能有點(diǎn)敏感，觀眾想了解在廣告市場(chǎng)中，生成式 AI 給廣告市場(chǎng)帶來了哪些變化？我的看法是，生成式 AI 主要帶來了廣告生產(chǎn)效率的提升。但對(duì)于搜索廣告，尤其是生成廣告，雖然它可以顯著提高制作廣告的效率，但對(duì)廣告的召回率和點(diǎn)擊率提升影響可能不會(huì)太大。你如何看待這個(gè)問題呢？

崔世杰:就廣告市場(chǎng)帶來的變化而言，生成式 AI 并沒有在廣告市場(chǎng)的基本原則上帶來很大的改變。這是因?yàn)樵趶V告投放過程中，每當(dāng)用戶看到一條廣告時(shí)，背后通常有數(shù)十家廣告公司的廣告在競(jìng)爭(zhēng)展示，用戶最終看到的廣告僅僅是競(jìng)爭(zhēng)過程中的一個(gè)結(jié)果。即使使用生成式 AI 創(chuàng)建的廣告創(chuàng)意被用戶看到，實(shí)際上只是在競(jìng)爭(zhēng)中擊敗了其他廣告公司的廣告創(chuàng)意。沒有生成式 AI 的情況下，用戶仍然會(huì)看到廣告，因?yàn)樗麄兊男袨橐恢贝嬖凇＠纾?dāng)用戶在瀏覽一篇文章時(shí)，可能會(huì)在文章中間看到廣告。因此，生成式 AI 并沒有改變廣告市場(chǎng)的基本規(guī)則和數(shù)據(jù)，但目前已經(jīng)解決了廣告生產(chǎn)效率、審核風(fēng)險(xiǎn)、版權(quán)問題和廣告數(shù)量等方面的挑戰(zhàn)。

魚哲：還有一個(gè)問題，AIGC 對(duì)廣告行業(yè)是否帶來新的商業(yè)模式改變。

崔世杰:這確實(shí)是一個(gè)重要的趨勢(shì)。我認(rèn)為，AIGC 正在改變我們整個(gè)廣告流程。我一直在強(qiáng)調(diào)數(shù)據(jù)的重要性。我一直在強(qiáng)調(diào) AIGC 可以在我們的平臺(tái)上進(jìn)行自動(dòng)或手動(dòng)生成，但生成的過程與最終的數(shù)據(jù)是相關(guān)聯(lián)的。這使整個(gè)過程中產(chǎn)生的數(shù)據(jù)變得非常寶貴。

這兩個(gè)方面都有價(jià)值。一方面是廣告的數(shù)據(jù)投放，另一方面是生成過程中的數(shù)據(jù)。當(dāng)這些數(shù)據(jù)積累起來后，我們可以利用它們來訓(xùn)練預(yù)測(cè)模型。然后，我們可以不斷地通過這些數(shù)據(jù)來自動(dòng)調(diào)整生成方向，包括色彩搭配、畫面沖擊力以及創(chuàng)意方向。這樣的干預(yù)將使我們更好地滿足廣告創(chuàng)意的目標(biāo)受眾需求，從而形成一個(gè)正向循環(huán)。這也是我們未來計(jì)劃發(fā)展的一個(gè)關(guān)鍵領(lǐng)域，我相信這也是所有廣告公司都將積極探索的方向。

提示工程與大模型安全問題

魚哲：回到技術(shù)方面，你提到我們進(jìn)行了大量的提示工程。在進(jìn)行提示詞工程時(shí)，你們通常會(huì)使用中文還是英文？

崔世杰:我們采用的方案是將中文內(nèi)容翻譯成英文。然而，這個(gè)翻譯過程并不是直接進(jìn)行的，而是通過 ChatGPT 進(jìn)行翻譯。與直接翻譯相比，這個(gè)方法能夠獲得更好的效果。

魚哲：最終，我們將這些內(nèi)容嵌入到模型中之前，實(shí)際上是將它們轉(zhuǎn)化為英文。即使用戶輸入可能是中文，我們會(huì)使用 GPT 進(jìn)行一次翻譯，對(duì)嗎？

崔世杰:對(duì)，就像用戶輸入，就像我之前提到的小說標(biāo)題的生成，我們首先總結(jié)出一些標(biāo)題，然后將它們翻譯成英文。此外，在整個(gè)過程中，例如在處理 Stable Diffusion 和它的提示的語(yǔ)法時(shí)，ChatGPT 本身是不知道的，需要依賴提示工程來告訴 ChatGPT 如何創(chuàng)建 Stable Diffusion Prompt。

魚哲：這實(shí)際上是一個(gè)非常有趣的問題，因?yàn)闄C(jī)器翻譯，包括語(yǔ)音和文本翻譯，一直都是傳統(tǒng)的機(jī)器學(xué)習(xí)或深度學(xué)習(xí)領(lǐng)域的典型問題。你當(dāng)時(shí)決定為什么使用 GPT 來做？

崔世杰:我們當(dāng)時(shí)的方案集成了多個(gè)小模型，每個(gè)模型在特定任務(wù)上表現(xiàn)出色，然后將它們整合到一個(gè)程序化平臺(tái)中。同時(shí)，我們也使用了傳統(tǒng)的直接翻譯模型。我自己在機(jī)器翻譯領(lǐng)域也有一些研究，發(fā)現(xiàn) GPT 翻譯的原理與傳統(tǒng)翻譯原理完全不同，效果更符合自然語(yǔ)言處理的原理。

魚哲：有觀眾提問關(guān)于大型模型的安全問題，你們是如何處理的？例如，安全方面的優(yōu)先級(jí)，如防止指令注入，你們關(guān)注哪些安全問題？我先分享我的觀點(diǎn)，然后你可以分享你的看法。我認(rèn)為，考慮到你之前提到的使用場(chǎng)景，主要用于內(nèi)部使用而不是外部使用，安全可能不是最高優(yōu)先級(jí)的問題。世杰你的看法呢？

崔世杰:安全問題確實(shí)很重要。首先，我們有自己的安全措施。在廣告創(chuàng)意正式投放之前，我們會(huì)進(jìn)行預(yù)審流程。但是，如果模型用于外部，需要考慮各種因素。正如我之前提到的，考慮到當(dāng)前的云計(jì)算服務(wù)，內(nèi)容審核并不十分嚴(yán)格，AIGC 生成的內(nèi)容無法有效地風(fēng)控。因此，我首先建議使用國(guó)內(nèi)訓(xùn)練的模型。首先因?yàn)樗鼈兏m合中文；其次，它們可以滿足國(guó)內(nèi)審計(jì)相關(guān)的要求。因此，我更傾向于使用國(guó)內(nèi)模型。如果你選擇外國(guó)的開源模型，你需要實(shí)施自己的安全策略。因此，我建議使用國(guó)內(nèi)模型并在中國(guó)境內(nèi)部署。

大模型時(shí)代下的個(gè)人成長(zhǎng)

魚哲：我想了解一下，是什么因素或機(jī)會(huì)，或者說是什么樣的動(dòng)力，激勵(lì)你不斷嘗試新的方向？

崔世杰:從一個(gè)工程師的角度來看，剛?cè)胄袝r(shí)，他可能只涉及業(yè)務(wù)的一小部分，處于一線狀態(tài)。然而，隨著他在業(yè)務(wù)方面的發(fā)展，他會(huì)逐漸了解業(yè)務(wù)的全貌，發(fā)現(xiàn)業(yè)務(wù)的成長(zhǎng)以及如何不斷突破增長(zhǎng)點(diǎn)，而這些增長(zhǎng)點(diǎn)大多是由技術(shù)創(chuàng)新帶來的。舉例來說，當(dāng)時(shí)我在智慧城市領(lǐng)域工作時(shí)，云計(jì)算已經(jīng)可以為城市級(jí)別的風(fēng)險(xiǎn)控制和賦能，業(yè)務(wù)方向就隨之出現(xiàn)，新的機(jī)遇出現(xiàn)時(shí)，老板們都會(huì)追隨這些機(jī)遇，因此，你會(huì)一直處于一線狀態(tài)，這是一個(gè)相互成就的過程。

對(duì)于 AIGC，當(dāng)它首次出現(xiàn)時(shí)，技術(shù)人員可能只是嘗試一下，但公司的領(lǐng)導(dǎo)意識(shí)到了它的潛力，主動(dòng)擁抱了這項(xiàng)技術(shù)。公司進(jìn)行了一些基礎(chǔ)建設(shè)和調(diào)研工作，早早地意識(shí)到 AIGC 的潛力，將其引入廣告行業(yè)。因此，一直跟隨這項(xiàng)技術(shù)突破，公司一直處于業(yè)務(wù)的前沿。

魚哲：不斷學(xué)習(xí)新事物，追求突破，似乎讓人一直保持在充滿活力的狀態(tài)，你喜歡這種狀態(tài)嗎？

崔世杰:如果要我一直做同樣的事情，我會(huì)感到挺痛苦的。我更喜歡追求各種新奇感受，特別是在技術(shù)迅猛發(fā)展的時(shí)代，總是有新東西值得學(xué)習(xí)，有時(shí)候感覺都來不及跟上。

魚哲：在當(dāng)前情況下，你認(rèn)為所有人是否都需要理解什么是 AIGC 以及它的工作原理？如果他們需要理解，那需要理解到哪個(gè)層面？有時(shí)候我嘗試向非技術(shù)領(lǐng)域的同學(xué)解釋嵌入、Transformer 模型以及自然語(yǔ)言如何轉(zhuǎn)化，但我覺得這些細(xì)節(jié)對(duì)他們來說可能不夠重要。你認(rèn)為那些不從事技術(shù)方向的人，比如老板，需要理解 AIGC 或生成式 AI 的哪些方面？

崔世杰:我對(duì) AI 技術(shù)也很感興趣。但在實(shí)際商業(yè)應(yīng)用時(shí)，你會(huì)發(fā)現(xiàn)與學(xué)術(shù)研究是不同的。在實(shí)際應(yīng)用中更注重一些實(shí)際指標(biāo)，如成本效益等。所以現(xiàn)在最關(guān)注的是成本效率和公司規(guī)模的承受程度等實(shí)際問題。如果我推薦給周圍的人使用，我會(huì)建議他們深入了解并使用。微軟的首席技術(shù)官在一次演講中提到，隨著 AI 能力的不斷增強(qiáng)，人們需要站在主駕駛的位置，因此提出了“副駕駛”概念。隨著 AI 能力的提升，人們需要深入使用并掌握它。像 fine-tuning、LangChain 等我不會(huì)推薦，我會(huì)鼓勵(lì)周圍的人去深入使用 AIGC，重點(diǎn)在于使用。為什么呢？因?yàn)樵趪?guó)內(nèi)已經(jīng)有很多垂直領(lǐng)域的應(yīng)用模型，但好的模型只需要訓(xùn)練一次。比如 ChatGPT，如果它能夠在第 5 代時(shí)解決所有垂直領(lǐng)域的問題，那么其他模型就變得多余了。所以重要的是學(xué)會(huì)如何使用。

魚哲：我個(gè)人的感覺是，首先，因?yàn)槲业募夹g(shù)背景，我會(huì)首先關(guān)注這項(xiàng)技術(shù)的細(xì)節(jié)。然后，我會(huì)盡早開始使用它，而后，我會(huì)盡力尋找潛在問題。也許這是我作為產(chǎn)品經(jīng)理的職業(yè)特點(diǎn)，總是尋找問題，找出在哪些情況下它無法使用，或者可能出現(xiàn)問題。通過找出“壞案例”，然后評(píng)估這項(xiàng)技術(shù)在哪些情況下適用，哪些情況下不適用。

崔世杰:是的，早期時(shí)，當(dāng)生成式 AI 剛剛嶄露頭角時(shí)，我也曾沉迷其中。因?yàn)槟菚r(shí)很多解決方案尚不成熟，當(dāng)我們嘗試將尚未成熟的方案應(yīng)用到實(shí)際中時(shí)，我可能會(huì)花上半個(gè)月來計(jì)劃，但接下來的一周內(nèi)，技術(shù)圈突然冒出了一個(gè)成熟的方案。現(xiàn)在已經(jīng)過了一段時(shí)間，每天早上打開手機(jī)時(shí)，還會(huì)看到大量我無法完全了解的 AI 技術(shù)方案。技術(shù)的增長(zhǎng)速度非常迅猛。

魚哲：有觀眾問入門 AI 的 Roadmap，我這里分享一些指導(dǎo)性的建議。

首先，你需要理解 AI 模型的數(shù)學(xué)原理，包括嵌入（embedding）、標(biāo)記化（tokenization）以及前處理（pre-processing）和后處理（post-processing）等內(nèi)容。這些原理是非常基礎(chǔ)的，但對(duì)于建立堅(jiān)實(shí)的基礎(chǔ)知識(shí)體系非常重要。其次，你需要深入了解計(jì)算機(jī)科學(xué)和計(jì)算機(jī)工程領(lǐng)域，包括了解 CPU 和 GPU 的不同功能，以及數(shù)據(jù)如何從 CPU 傳輸?shù)?GPU，如何進(jìn)行計(jì)算等等。這些知識(shí)是與硬件和性能相關(guān)的，隨著時(shí)間的推移，它們?nèi)匀环浅Ｓ袃r(jià)值。最后，我認(rèn)為最重要的一點(diǎn)是不要讓自己陷入重復(fù)的工作中。這是因?yàn)檫@個(gè)領(lǐng)域非常快速發(fā)展，所以你應(yīng)該保持好奇心，不斷嘗試新事物，不斷挑戰(zhàn)自己。雖然這可能會(huì)有一些折騰，但它將有助于拓寬你的視野，讓你更好地理解技術(shù)和產(chǎn)品，并保持前進(jìn)的動(dòng)力。所以，要在 AI 領(lǐng)域成功，不僅需要學(xué)習(xí)基礎(chǔ)知識(shí)，還需要保持靈活性和開放性，不斷追求創(chuàng)新和變化。這就是我對(duì)于新人入門 AI 領(lǐng)域的建議。