日前，在WOT全球創(chuàng)新技術(shù)大會(huì)上，火山引擎DataTester技術(shù)負(fù)責(zé)人韓云飛做了關(guān)于字節(jié)跳動(dòng)A/B測(cè)試實(shí)踐分享。DataTester是字節(jié)跳動(dòng)內(nèi)部應(yīng)用多年的A/B實(shí)驗(yàn)平臺(tái)，至今已承載了字節(jié)內(nèi)部500余條業(yè)務(wù)線的A/B實(shí)驗(yàn)任務(wù)，累計(jì)開(kāi)展的實(shí)驗(yàn)多達(dá)150萬(wàn)次。
字節(jié)跳動(dòng)內(nèi)部有著非常濃厚的數(shù)據(jù)文化和實(shí)驗(yàn)文化。抖音、今日頭條的名字都經(jīng)由A/B測(cè)試確定，而A/B測(cè)試也被作為基礎(chǔ)環(huán)節(jié)，嵌入在了字節(jié)內(nèi)部產(chǎn)品研發(fā)的鏈路中。
通常來(lái)說(shuō)，一個(gè)產(chǎn)品新功能的研發(fā)流程如下所示：
而字節(jié)內(nèi)部的產(chǎn)品新功能研發(fā)流程則會(huì)在常規(guī)的基礎(chǔ)研發(fā)流程中，額外嵌入兩個(gè)環(huán)節(jié)：埋點(diǎn)設(shè)計(jì)與A/B實(shí)驗(yàn)方案設(shè)計(jì)。
A/B實(shí)驗(yàn)在字節(jié)，就像研發(fā)敲代碼、產(chǎn)品寫(xiě)需求文檔一樣，是產(chǎn)品從構(gòu)思、設(shè)計(jì)到上線全流程中不可或缺的一環(huán)。
舉個(gè)例子，假如抖音團(tuán)隊(duì)希望提升產(chǎn)品的用戶活躍度，計(jì)劃通過(guò)給產(chǎn)品增加一個(gè)“熟人Tab”的方式進(jìn)行，那么整個(gè)的產(chǎn)品優(yōu)化改動(dòng)流程是什么樣子的呢?
首先，從產(chǎn)品經(jīng)理做PRD方案的時(shí)候開(kāi)始，就會(huì)提供不止一種產(chǎn)品方案，包括用戶路徑方案、按鈕位置方案等，不同的方案對(duì)于用戶在抖音上的使用及留存數(shù)據(jù)，影響一定是不同的。多種方案的數(shù)據(jù)效果，將通過(guò)A/B測(cè)試進(jìn)行量化。
下方的頁(yè)面樣式，就是“熟人Tab”放置的3種不同方案示例：
V0組：不設(shè)置“熟人Tab”，不出現(xiàn)“熟人關(guān)注內(nèi)容”，不出現(xiàn)熟人投稿后展示
V1組：設(shè)置“熟人Tab”，出現(xiàn)“熟人關(guān)注內(nèi)容”，熟人投稿后展示在“關(guān)注Tab”頁(yè)
V2組：設(shè)置“熟人Tab”，不出現(xiàn)“熟人關(guān)注內(nèi)容”，熟人投稿后展示在“熟人Tab”頁(yè)
上述3組方案即為在DataTester中開(kāi)啟實(shí)驗(yàn)的A/B實(shí)驗(yàn)組。由于抖音的用戶體量大，如果草率的決定某個(gè)產(chǎn)品設(shè)置可能會(huì)對(duì)整個(gè)生態(tài)有很大的影響，因此會(huì)首先開(kāi)啟小規(guī)模、小流量的多重A/B實(shí)驗(yàn)。A/B實(shí)驗(yàn)的目的，一方面要驗(yàn)證這個(gè)功能是否能有效達(dá)成初始設(shè)計(jì)目標(biāo)，另一方面也要驗(yàn)證新功能是否對(duì)抖音大盤(pán)核心數(shù)據(jù)有正向影響，如是否能長(zhǎng)期提升用戶活躍度以及投稿的意愿等。
在上述提到的例子中，DataTester的實(shí)驗(yàn)結(jié)果顯示V2組試驗(yàn)指標(biāo)各項(xiàng)均更為優(yōu)秀，說(shuō)明新增“熟人Tab”對(duì)比其他方案而言能對(duì)抖音價(jià)值有更為明顯的提升，那么后續(xù)在產(chǎn)品迭代中，會(huì)考慮全量上線這個(gè)產(chǎn)品優(yōu)化策略。
DataTester而今也通過(guò)火山引擎對(duì)外開(kāi)放服務(wù)，截至目前，已服務(wù)了包括美的、得到、凱叔講故事等在內(nèi)的上百家外部企業(yè)，為業(yè)務(wù)的提效、增長(zhǎng)、產(chǎn)品迭代、運(yùn)營(yíng)活動(dòng)等各個(gè)環(huán)節(jié)提供了科學(xué)的決策依據(jù)，將成熟的“數(shù)據(jù)驅(qū)動(dòng)增長(zhǎng)”經(jīng)驗(yàn)賦能給各行業(yè)。
