支持抖音、今日頭條等產(chǎn)品增長迭代的A/B測試工具，如今被字節(jié)跳動投入企業(yè)級市場。
在4月20日召開的火山引擎技術(shù)開放日活動中，字節(jié)跳動副總裁、算法和數(shù)據(jù)技術(shù)負(fù)責(zé)人楊震原首次揭秘了字節(jié)跳動如何使用A/B測試。火山引擎是字節(jié)跳動旗下為企業(yè)服務(wù)的智能科技品牌，字節(jié)跳動的A/B測試工具也已通過火山引擎開放給企業(yè)客戶。
A/B測試是指對不同策略進(jìn)行對比實(shí)驗，根據(jù)結(jié)果選擇最優(yōu)方案。A/B測試不是互聯(lián)網(wǎng)公司發(fā)明的，而是最早應(yīng)用在醫(yī)學(xué)領(lǐng)域。十八世紀(jì)，一位英國醫(yī)生把患有壞血病的水手隨機(jī)分成六組，用不同方法進(jìn)行治療，從而確定了檸檬和橘子能有效治療壞血病，這是人類有記載最早的A/B測試。在互聯(lián)網(wǎng)時代，A/B測試被谷歌等巨頭廣泛使用在產(chǎn)品開發(fā)和運(yùn)營中，有研究者也把A/B測試視為字節(jié)跳動快速增長的重要因素。
據(jù)楊震原介紹，公司成立之初，今日頭條就在做策略推薦類的A/B測試。2016年，字節(jié)跳動建立了支持大規(guī)模產(chǎn)品實(shí)驗的A/B測試平臺，之后陸續(xù)接入抖音、西瓜視頻等全線業(yè)務(wù)，把A/B測試應(yīng)用在產(chǎn)品命名、交互設(shè)計、推薦算法、用戶增長、廣告優(yōu)化和市場活動等方方面面的決策上。
最新數(shù)據(jù)顯示，字節(jié)跳動每天同時進(jìn)行的A/B測試達(dá)到上萬場，單日新增實(shí)驗數(shù)量超過1500個，覆蓋400多個大大小小的業(yè)務(wù)。隨著公司發(fā)展，這些數(shù)字還在不斷擴(kuò)大。截至今年3月底，字節(jié)跳動累計已經(jīng)做了70多萬次A/B測試。
圖：字節(jié)跳動副總裁楊震原
楊震原表示，字節(jié)跳動積累的技術(shù)能力和增長方法，會通過火山引擎提供給企業(yè)客戶。火山引擎產(chǎn)品體系包括基礎(chǔ)服務(wù)、技術(shù)中臺、智能應(yīng)用和行業(yè)解決方案，字節(jié)跳動的視頻編輯、特效、文字識別、圖像識別、個性化推薦等技術(shù)能力，都已在火山引擎上為企業(yè)服務(wù)，A/B測試也是其中一款重要的數(shù)據(jù)產(chǎn)品，能夠幫助企業(yè)提高決策質(zhì)量，促進(jìn)業(yè)務(wù)增長。
據(jù)相關(guān)產(chǎn)品負(fù)責(zé)人介紹，火山引擎A/B測試支持客戶端、服務(wù)端、推送、網(wǎng)頁、可視化建站等多種實(shí)驗形式，具有功能全面、高度自動化的特點(diǎn)，操作非常簡單，即使不會編程的人也能輕松做實(shí)驗，而且有內(nèi)容豐富的實(shí)驗報表，可智能產(chǎn)出實(shí)驗結(jié)論，讓決策鏈清晰完備。
火山引擎A/B測試的使用效果得到了客戶認(rèn)可。以悟空租車為例，該公司已通過火山引擎進(jìn)行了70多次A/B測試，約有60%為正向?qū)嶒灒嵘a(chǎn)品轉(zhuǎn)換率約40%，以往需要一周時間的需求復(fù)盤數(shù)據(jù)分析，現(xiàn)在只要一天就能得到數(shù)據(jù)結(jié)論，更直觀地量化了需求價值，極大地提升了效率。
在積極為火山引擎“帶貨”的同時，楊震原表示A/B測試并不是萬能的，它也有很多局限性，比如提高商品推薦門檻、不推薦評分低的商品，如果做A/B測試，短期內(nèi)交易量肯定會降低，但長期來看結(jié)論有可能逐漸反轉(zhuǎn)，這是長周期影響和目標(biāo)設(shè)定的問題。此外，獨(dú)立的實(shí)驗條件、統(tǒng)計置信度等問題都是做A/B測試需要考慮的。
楊震原說，企業(yè)應(yīng)充分意識到A/B測試的優(yōu)勢和缺陷，對目標(biāo)選擇適合的評估方法。比如戰(zhàn)略型決策，需要專家角色進(jìn)行長期的思考；很多細(xì)節(jié)的決策，如果能做A/B測試，要盡量做A/B測試，并且要關(guān)注到量化分析的執(zhí)行能力，真正做到數(shù)據(jù)驅(qū)動科學(xué)決策。
