更低成本、更優(yōu)效果，也就是“降本增效”，是所有廣告投放追求的目標。廣告技術的發(fā)展正讓“降本增效”越來越具體、越來越可以量化和感知，比如目前互聯網廣告平臺開始以GMV(成交金額)或ROI(投入產出比)為營銷效果的評估標準。
一次更高效的廣告投放，本質上是在合適的場景，讓對的廣告出現在對的人面前。這離不開廣告平臺對廣告內容和用戶群體的深刻理解，并在他們之間達成更準確的匹配。
騰訊廣告已經為此交出了一份答卷：首先，以國際領先的混元AI大模型助力系統深刻理解廣告內容，其次以精排大模型提升廣告和用戶的匹配準確率。此外，這兩者的底層都離不開一個業(yè)內領先的機器學習平臺——太極。
混元 AI 大模型——讓系統深度理解廣告內容
在近10年的AI研究中，工程師和科學家們越來越達成一個共識：越大的模型才能有越高的理解能力。
早期的深度學習模型大約有六千萬參數，大約230MB大小，能夠把日常物體分成一千個類別;今年火熱的繪畫AI“DALL-E2”則已經有大約70億參數，大約26GB大小，輸入一句描述句子就能畫出一張對應的畫，內容準確、視覺效果優(yōu)美，體現出頂級的文本和圖像理解水平。
大模型成為了一個重要的技術演進方向，而這正是廣告推薦所需要的核心能力。
廣告中既有藝術和創(chuàng)意，也有感情和期待，推薦系統要首先能夠理解廣告中蘊含的豐富信息，才能做出恰當的推薦。騰訊自研的深度學習大模型——騰訊廣告混元AI大模型就是廣告系統理解內容的核心引擎。
騰訊廣告混元AI大模型，是一個具有千億參數的大模型，能夠準確理解文字和圖像中蘊含的各個層面的信息;它甚至可以把文字、圖像、視頻作為一個整體來理解，這樣不僅對廣告的理解更準確，也更符合平臺用戶對廣告的整體感受。
騰訊廣告混元 AI 大模型和類似的圖文理解模型做過全面的正面對比，目前橫掃跨模態(tài)檢索領域5大權威測評集大滿貫、多模態(tài)理解領域國際權威榜單VCR上排名第一、CLUE自然語言理解分類榜及CLUE總榜登頂，比大部分模型的圖文綜合理解能力還要強，是國內當之無愧的多模態(tài)、跨模態(tài)AI大模型。
混元AI大模型的多模態(tài)理解能力，可以有效的加深推薦系統對于廣告的理解，從而更精準的將廣告推薦給合適的人群，提高用戶體驗以及廣告轉化效果。
除了理解已有的廣告內容，混元AI大模型還有文字&圖像&視頻綜合生成能力，已經以產品的形式在騰訊廣告投放平臺提供給每一位廣告主，可以極大的提升廣告制作的效率。
1、“圖生視頻”功能，可以將靜態(tài)的圖片自動生成不同樣式的視頻廣告;
2、“文案助手”功能，可以為廣告自動生成更恰當的標題，提升廣告的效果;
3、“文生視頻”功能，未來只需要提供一句廣告文案，就可以自動生成與之匹配的視頻廣告。
精排大模型——讓系統更高效匹配廣告和人群
在理解廣告之后，廣告平臺還面臨一個挑戰(zhàn)：把廣告展示給合適的人群。模型在解決這一挑戰(zhàn)中發(fā)揮了核心作用，特別是精排模型。
廣告平臺上有數以萬計的廣告主和數以億計的用戶，即便經過廣告定向的篩選，匹配一次用戶請求的廣告仍然可能有成千上萬，具體向用戶展示哪一個或者哪幾個廣告才能在盡量符合用戶偏好的同時為廣告主帶來最大的收入，這就是一個極為復雜的多對多匹配問題，需要精細的預估和排序。
騰訊廣告精排大模型就是為了解決這個難題而設計的。單模型推理參數達千億級別，序列化后大小可達數百GB，浮點數計算量最高每秒超過10億次，在行業(yè)位于先進水平。
如此大的模型，最明顯的收益是可以利用更多的特征和樣本數據，學習得到更強大更精確的模型，進而實現更高效的匹配，比如：
1、可以基于更長期、更細致的人群數據，在合規(guī)前提下強化用戶洞察，對人群的理解更清晰準確;
2、可以基于更多場景、頁面、上下文信息，在跨場景聯合建模的同時強化場景差異性表達，降低維護成本，提升用戶廣告體驗;
3、可以基于更長期的樣本數據，配合恰當的模型結構和學習算法，平衡不同行業(yè)不同稀疏程度廣告主投放目標的學習，提升投放效果;
4、可以更好地基于混元AI大模型在廣告理解層面得到的豐富信息，實現更好的泛化和廣告冷啟動。
騰訊廣告精排大模型各項算法指標相對于百億規(guī)模小模型有顯著提升，全流量上線后，用戶可以看到更符合自己興趣的廣告，廣告主也可以期待有更高的投放回報。相比以前的小模型算法，騰訊廣告精排大模型已累計給廣告主帶來15%的GMV提升。
精排大模型迄今為止的效果提升還只是一個開始，大模型平臺系統和模型算法會持續(xù)升級，與此同時，大模型能力也會逐步向召回、粗排等其他環(huán)節(jié)輻射，不斷抬高效果的天花板，為用戶和廣告主提供更佳的廣告體驗。
在實現高效廣告匹配的同時，騰訊廣告也是隱私保護的技術探索者和實踐者。早在2019年，騰訊廣告便獲得ISO/IEC 27001和ISO/IEC 29151兩項國際認證，在信息安全和隱私保護能力與國際主流標準全面接軌。此外，騰訊廣告也在聯邦學習等隱私計算技術持續(xù)深耕，助力廣告程序化交易聯合建模，在保障雙方的數據安全前提下實現合作。
太極機器學習平臺——支持TB級大模型順利運轉
騰訊廣告平臺需要為億級的用戶、海量并不停增加的廣告內容提供服務。大模型+高訪問壓力，對廣告平臺的承載能力和計算能力都提出了很高的要求。實際上騰訊廣告精排大模型的要求尤其苛刻，不僅模型大小是業(yè)界頂級，還需要在用戶等待頁面加載的極短時間內就完成廣告匹配。
為了滿足這些規(guī)模和性能要求，騰訊專門自研搭建了業(yè)界一流的太極機器學習平臺，可支持10TB級模型訓練、TB級模型推理和分鐘級模型發(fā)布上線，擴展集群規(guī)模則可支持更大的模型訓練和推理，為實際業(yè)務提供大模型的情況下，同時具有很高的性能，達到行業(yè)領先水平。
太極機器學習平臺采用了分布式參數服務器架構，這是業(yè)界第一梯隊企業(yè)們公認的最佳選擇。這種架構的特點是，存儲模型參數和執(zhí)行模型計算，這兩種任務在分別的服務器上運行，增加更多服務器就可以支持更大、計算需求更高的模型。太極機器學習平臺中的參數服務器系統AngelPS也是騰訊自研的成果，現在不僅可以承載10TB級模型的訓練，對多維特征融合、復雜模型結構等更高級、更前瞻性的功能也有優(yōu)秀支持。
同時太極機器學習平臺還具備超大模型在線推理服務的能力。推理計算方面，不僅支持常規(guī)的CPU計算，還支持復雜模型的GPU計算加速;存儲上，根據在線推理模型大小，自適應選擇小模型本地內存加載和大模型AngelPS遠程查詢的部署策略;在線服務運營上，平臺具備多級容災能力，臟模型秒級回滾能力，以及完備的系統和業(yè)務運行實時指標監(jiān)控和報警系統。
目前，千億參數、TB規(guī)模訓練，百 GB 規(guī)模預測的騰訊廣告精排大模型能短時間內在太極上完成計算、提供可靠的廣告匹配結果。不僅如此，為了提供周全的可靠性、緊跟潮流的匹配能力，上百GB規(guī)模的騰訊廣告精排大模型需要有多個副本同時運行，每天還需要根據當天的真實用戶行為持續(xù)學習，這些都依賴太極機器平臺強大的承載能力和周全的功能。
太極機器學習平臺有突出的模型訓練硬件加速能力。以混元AI大模型的訓練為例，太極的加速方案高于業(yè)界其他方案 3.7倍，有效提升了模型的訓練效率。
為了讓開發(fā)者易學、易用，太極機器學習平臺也提供了對常見的 TensorFlow 模型和 API 的支持，同時還提供了多種改進，降低 TF 中復雜的性能優(yōu)化、內存管理帶來的困擾。
可以把太極機器學習平臺比作一條多車道的高速公路，大模型就像許許多多的重型卡車，可以在高速公路上高速行駛;相比之下，較落后的技術平臺就像是鄉(xiāng)間的泥濘小道，只通行一輛小車也顛簸、緩慢。兩者能提供的服務以及最終帶來的用戶體驗顯然也不能同日而語，而當前具備領先地位的太極機器學習平臺，毫無疑問能夠幫助提供更好的基建體系，助力大模型們高速運行。
打贏大模型關鍵第一仗，騰訊廣告持續(xù)深化技術升級
在騰訊太極機器學習平臺之上，混元AI大模型和騰訊廣告精排大模型共同完善優(yōu)化了廣告理解、用戶理解、廣告和用戶匹配的整個流程，提升對廣告的理解，提升廣告和人群的匹配效率，提升廣告主的推薦精準度和轉化效率。在“降本增效”的目標指引下，關注并提升GMV的騰訊廣告平臺技術已經打贏了大模型關鍵戰(zhàn)役的第一仗。未來騰訊廣告也將不斷基于此優(yōu)化模型，幫助廣告主達成更高GMV。
