作者；京東零售 馮偉

一、前言

優(yōu)秀的廣告創(chuàng)意不僅能夠增強信息傳遞的效果，還可以提高用戶的點擊和轉化率。2023年廣告團隊利用AIGC技術顯著提升了創(chuàng)意內容的多樣性。然而隨著多樣性的提升，質量欠佳的素材限制了智能創(chuàng)意的覆蓋率，海量創(chuàng)意如何匹配用戶的問題更加凸顯。2024年廣告團隊在創(chuàng)意生成和優(yōu)選方面進行了技術突破，實現了高質量廣告創(chuàng)意的自動生成和千人千面的創(chuàng)意推薦效果。

創(chuàng)意生成方面，廣告團隊提出了一種提高生成圖片可用率的方法，通過多模態(tài)可靠反饋模型模擬人類審核圖片，并利用該模型的反饋顯著提升生成圖片的可用率，同時保持了視覺吸引力。團隊還發(fā)布了業(yè)界首個人工標注生成廣告圖片的RF1M數據集，用于幫助模型更真實地反映人類反饋。創(chuàng)意優(yōu)選方面，廣告團隊利用多模態(tài)大語言模型提取創(chuàng)意的表征信息，提升優(yōu)選模型對創(chuàng)意的區(qū)分能力和冷啟效果。同時將創(chuàng)意優(yōu)選任務拆分為元素選擇和組合選擇兩個階段，使得優(yōu)選模型能夠應對更豐富的創(chuàng)意素材。

以上技術突破成功解決了現有AIGC圖片可用率低的問題，提升了AIGC素材的覆蓋率；并有效緩解了數據稀疏和海量創(chuàng)意接入帶來的組合爆炸問題，實現了線上創(chuàng)意和用戶的精準推薦。相關創(chuàng)新成果已在 AAAI，ECCV，IJCV等頂會上發(fā)表多篇論文。

本文將詳細闡述2024年廣告團隊在創(chuàng)意生成和優(yōu)選方面的技術突破。

?

二、可信賴創(chuàng)意生成

吸引人的廣告圖片對于電子商務的成功至關重要。由于手動設計圖片需要大量的人工成本，因此對自動廣告圖像生成的需求正在上升。盡管生成模型有潛力創(chuàng)造出吸引人的背景，但我們觀察到其經常會生成質量欠佳的廣告圖片，因此需要大量人工來檢查生成的圖像。這些缺陷限制了生成模型在廣告圖像生產中的廣泛應用。因此，我們要解決的問題是如何建立一個可信賴的廣告圖像生成流程，以高可用率生成圖像。

【2.1 信賴反饋模型】

提高可用率的自然解決方案是利用生成過程中的隨機性，反復生成圖像直到獲得可用的圖像（循環(huán)生成）。為了替代人工檢查，我們提出了一種新穎的信賴反饋網絡（RFNet），充當人工檢查員來評估生成的廣告圖像的可用性。由于僅依賴單一生成的圖像，模型無法有效獲得進行精確檢查所需的關鍵知識，例如產品是什么以及產品如何出現在背景中。因此，RFNet整合了多種輔助模態(tài)，以提供對判斷不同不可用情況至關重要的信息。RFNet的結構如下所示：

【2.2 可信賴人類反饋】

雖然循環(huán)生成大大增加了可用圖像的數量，但因為生成模型本身能力有限，多次嘗試會顯著延長生成過程。利用人類反饋（RLHF）來增強擴散模型的能力提供了一種可行的選擇，這些方法在提高生成圖像的視覺質量方面已經取得顯著結果。類似的，在訓練完信賴反饋模型后，我們將其輸出看作人類對于生成圖片的評價，通過將其結果反傳回生成模型來提升生成圖片中可用的比例。該流程如下所示：

其中，yd為一個one-hot向量，其中合格類別的概率為1，而其他類別的概率為0。oi為生成圖像輸入給信賴反饋模型后得到的概率，N為一次訓練中樣本的總數。所得到的梯度被反傳至生成模型中，來使其朝著更高概率生成合格圖像的方向優(yōu)化。沿用ControlNet原有的設定，只有ControlNet部分參與梯度更新，而Stable Diffusion部分是不更新參數的。

?

三、離線表征建設和接入

離線表征建設上，廣告團隊基于MLLM技術，提取創(chuàng)意圖片和文案的表征信息，完善創(chuàng)意粒度現有表征體系，并將其接入優(yōu)選模型進行表征的對齊和優(yōu)化，提升優(yōu)選模型對不同創(chuàng)意的區(qū)分能力，并增強新增創(chuàng)意的冷啟效果。

【3.1 創(chuàng)意粒度表征建設】

創(chuàng)意粒度表征建設主要包括兩方面：

?顯式特征：創(chuàng)意素材中可見的顯式信息，例如如NER、背景色、人臉/品牌LOGO識別等。

?隱式特征：從創(chuàng)意素材展示內容中可推斷的隱式信息，如商品是否在促銷，適合哪種用戶群體。

我們從不同表征的提取及表征質量評估兩個方面進行了探索和優(yōu)化：

?基于MLLM的創(chuàng)意表征體系建設：利用MLLM的圖文處理能力，從創(chuàng)意圖像中同步提取顯式和隱式特征，包括圖像布局，展示風格，商品信息，及促銷活動等內容。

?基于對比學習的多模態(tài)表征抽?。夯贛OCO v3設計對比學習任務，將同sku下的其他創(chuàng)意作為當前創(chuàng)意表征學習的負樣本，提升表征在同sku創(chuàng)意間區(qū)分度。

?表征質量評價體系：基于Fassi檢索工具，評測創(chuàng)意表征檢索效果是否符合預期。

【3.2 創(chuàng)意多模態(tài)表征落地優(yōu)選】

任務目標：

?創(chuàng)補充創(chuàng)意表征：創(chuàng)意本身表征太少，只有部分id信息，無法感知創(chuàng)意細節(jié)，影響模型打分效果。

?增強三元組交互：已有工作基礎上，直接接入多模態(tài)信息帶來的增益有限，需考慮更加精細化的建模方式，提升模型精度。

實現方案：

?接入增量表征：考量新接入表征相對現有模型的信息增益，多角度補充特征。

?適配建模目標：注重同sku不同創(chuàng)意圖像差異性表征接入。

?精細化建模：增加模型中user,sku,creative素材之間的交互強度，提升建模效果。

?

四、優(yōu)選任務在線架構優(yōu)化

【4.1 優(yōu)選模型建模目標升級】

線上模型打分是在同sku下對下掛的不同創(chuàng)意進行排序的，但是我們離線訓練時，從特征輸入及目標優(yōu)化的角度均未考慮候選創(chuàng)意對當前創(chuàng)意的影響。導致兩個問題：1、模型建模學習接收的信息不完整。2、無法將離線基于ctr的點預估任務與線上推理的創(chuàng)意list排序任務統一。

因此，優(yōu)選模型在原有建模目標上進行了任務目標的升級：

1、推動候選創(chuàng)意特征建設，包括特征數據的接入和落表，將候選創(chuàng)意接入現有排序模型，與待排序創(chuàng)意進行整體建模，提升離線模型訓練和在線優(yōu)選任務服務場景的一致性。

2、升級建模目標，在原有的CTR點預估基礎上，新增同樣本中曝光創(chuàng)意和其他候選創(chuàng)意之間的list-wise建模目標，提升創(chuàng)意優(yōu)選模型精確度。具體公式如下：

【4.2 優(yōu)選-精排模型聯合訓練】

在線方案設計上，為緩解線上serve壓力，提出創(chuàng)意-精排聯和學習范式：將三元組預估問題拆解為二元組預估與在該分布下的創(chuàng)意排序問題，分別由排序模型和創(chuàng)意優(yōu)選模型進行聯合訓練，拆解創(chuàng)意對點擊的貢獻，緩解組合爆炸問題。線上只部署創(chuàng)意模型，通過輕量化的特征和模型服務，減輕線上壓力。

?

上述技術針對線上個性化創(chuàng)意優(yōu)選任務，從數據、模型、算力等方面進行提效，有效緩解了創(chuàng)意素材接入帶來的組合爆炸和數據稀疏問題，提升了線上創(chuàng)意展示效果。

?

五、總結&展望

【5.1 技術路線總結】

為了解決廣告創(chuàng)意中生成素材的bad case，以及海量創(chuàng)意和用戶匹配的問題，京東廣告部門提出了以下技術方案：

創(chuàng)意生成方面，廣告團隊提出了一種提高生成圖片可用率的方法，通過多模態(tài)可靠反饋網絡模擬人類審核圖片，并利用該網絡的反饋顯著提升了生成圖片的可用率，同時保持了視覺吸引力。該團隊還發(fā)布了一個超過一百萬張人工標注生成廣告圖片的RF1M數據集，用于促進該領域的研究工作。

創(chuàng)意優(yōu)選方面，廣告團隊利用 MLLM 技術提取創(chuàng)意的多模態(tài)表征，并通過對齊和優(yōu)化提升模型對創(chuàng)意的區(qū)分能力和冷啟效果。同時采用多示例學習方法，將創(chuàng)意組合與元素統一建模，利用組合點擊作為監(jiān)督信號，訓練組合和元素優(yōu)選分支，實現聯合建模。

【5.2 未來技術展望】

盡管AIGC技術在廣告創(chuàng)意領域有較為廣泛的應用，但仍存在諸多待解決的問題，未來我們將在以下方向開展技術探索：

多模態(tài)：優(yōu)化技術在處理和整合不同模態(tài)的內容上的能力，如如何將文字、圖像、視頻等元素有效融合，以創(chuàng)造吸引力更強的創(chuàng)意形式。

個性化：針對不同的目標用戶群體，利用用戶數據和行為分析，生成符合特定用戶偏好的個性化廣告創(chuàng)意。

?

參考文獻

【1】Parallel Ranking of Ads and Creatives in Real-Time Advertising Systems, AAAI2024.

【2】Towards Reliable Advertising Image Generation Using Human Feedback, ECCV2024.

【3】CBNet: A Plug-and-Play Network for Segmentation-Based Scene Text Detection, IJCV2024.

【4】Generate E-commerce Product Background by Integrating Category Commonality and Personalized Style, ICASSP2025.

審核編輯 黃宇