近日，CCF TF舉辦了第123期分享活動，本期主題為“用戶體驗工程”。 CCF TF是中國計算機學會為企業(yè)界計算機專業(yè)人士創(chuàng)建的企業(yè)間常態(tài)化合作交流平臺，本期分享邀請到了來自火山引擎、牛游谷公司等在用戶體驗工程領域有著良好實踐的專家，共同探討在數智化時代，面對復雜用戶場景和超高體驗要求，如何通過有效的體驗測量和管理、利用A/B測試技術，在新趨勢下持續(xù)追求卓越并提升產品競爭力。
在活動中，來自火山引擎AB測試平臺的專家結合字節(jié)跳動的AB實驗經驗，進行了《數據驅動的實驗文化》為主題的現場分享。AB測試是用戶體驗優(yōu)化過程中必不可少的一環(huán)，也被稱為效果衡量的“金標準”，字節(jié)跳動具有數據驅動的實驗文化，在這樣的土壤中，AB測試也成為了字節(jié)跳動優(yōu)化用戶體驗的利器。
在企業(yè)中，能讓AB實驗發(fā)揮最大效用的企業(yè)實驗文化搭建，可以從組織、方法論與工具應用三個維度關注。在企業(yè)組織層面，需建立完善AB實驗的流程機制，字節(jié)的AB實驗與產品的設計研發(fā)緊密嵌合，每個小決策都會得到實驗驗證才推全上線。與此同時，組織機制的配套同樣重要，通過搭建AB測試接口團隊，運行好從實驗設計到開發(fā)、上線、完成決策的整個鏈路?；鹕揭鍰ataTester這樣的“工具+咨詢服務”雙軌機制，在字節(jié)內部應用的同時，也正在面向外部企業(yè)提供服務。
在方法論層面，一個AB實驗文化能良性運轉的企業(yè)，是將增長思路與AB實驗理念相結合的企業(yè)，將業(yè)務目標轉化為核心衡量指標，并通過AB實驗的設計、運行、迭代，不斷選取最優(yōu)策略逼近業(yè)務目標;企業(yè)也應通過搭建指標體系、設立優(yōu)化目標、管理實驗效果以及積累決策經驗四步，輔助實現科學評估效果。
在工具層面，一個可靠靈活的AB實驗平臺可以為企業(yè)節(jié)約很多人力成本與時間成本。在字節(jié)跳動，“萬物皆可AB測試”，而火山引擎DataTester在經歷了字節(jié)多年業(yè)務打磨后，也具備了易學易用、快速安全、可處理復雜場景實驗需求的能力。2023年中數據顯示，字節(jié)已通過DataTester累計做過240萬余次AB實驗，日新增實驗 4000余個，同時運行實驗5萬余個。
對于用戶體驗優(yōu)化而言，體驗度量的難點包含評價主觀性和用戶多樣性等，AB測試能幫助業(yè)務團隊提供更為科學的數據參考，通過客觀的數據對比來反饋產品體驗的好壞，但同時需要數據實驗文化理念與先進工具的良好結合。
在成熟的實驗文化與AB實驗工具支撐下，字節(jié)跳動踐行出了一條行之有效的產品用戶體驗提升之路，而企業(yè)可以參考上述經驗，通過自建或引入AB測試“工具+咨詢服務”雙軌機制的方式，從組織、方法論與工具應用三個維度入手，搭建屬于企業(yè)自己的數據驅動的實驗文化，用實驗科學決策，用數據驅動增長。(作者：胡智城)
