1Q：什么是 A/B 測試？A：A/B?測試作為互聯(lián)網(wǎng)企業(yè)的核心增長手段之一，其價值已在實際應(yīng)用中被多次驗證。它通過為用戶線上業(yè)務(wù)旅程制定兩套或多套方案，在保證各套方案對應(yīng)用戶群的特征相同（相似）的情況下，觀察關(guān)鍵的效果指標(biāo)的差異，并運用科學(xué)的統(tǒng)計學(xué)檢驗來判斷哪個方案更加有效，從而幫助企業(yè)做出更科學(xué)的決策，驅(qū)動精細(xì)化用戶增長。2

Q：哪些場景可以使用 A/B 測試？

A：A/B 測試通常應(yīng)用在產(chǎn)品正式迭代發(fā)版階段，將 Web 或 App 界面/流程以同一個目的制定兩個或多個方案，在同一時間維度，將用戶流量對應(yīng)分成若干組，在保證每組用戶特征相同或相似的前提下，展示給用戶不同的設(shè)計方案，收集各組用戶的體驗數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，最后分析評估出最優(yōu)版本，驅(qū)動決策落地。比如：UI、文案層的 A/B 測試；信息架構(gòu)的 A/B 測試；流程交互的 A/B 測試；功能范疇的 A/B 測試。

3

Q：如何選擇 A/B 測試平臺？

A：參照 Google 重疊試驗框架——更多、更好、更快地試驗，并結(jié)合神策 A/B 測試服務(wù)數(shù)十家客戶的實踐，我們從不同維度總結(jié)出企業(yè)選擇 A/B 測試平臺的標(biāo)準(zhǔn)：

功能：支持豐富的試驗人群定向和指標(biāo)管理配置，同時進行多個試驗的可擴展性、靈活性

性能：A/B 測試的性能越高，對實際業(yè)務(wù)造成的延遲越小，C 端客戶的體驗越好

穩(wěn)定：A/B 測試平臺要保證足夠高的 SLA，A/B 故障不應(yīng)該影響正常業(yè)務(wù)運行

效率：降低試驗的實施和分析成本，通過標(biāo)準(zhǔn)化的試驗指標(biāo)計算快速發(fā)現(xiàn)、終止不符合預(yù)期的試驗

易用：降低試驗的實施門檻，幫助沒有 A/B 測試基礎(chǔ)的小白快速上手、避免踩坑

4

Q：A/B 測試怎么做？

A：神策數(shù)據(jù)結(jié)合數(shù)百場 A/B 測試的服務(wù)及交付經(jīng)驗，總結(jié)、沉淀出了建立假設(shè)、確定評價指標(biāo)、設(shè)計試驗、運行試驗并獲取數(shù)據(jù)、結(jié)果分析、最終決策六大環(huán)節(jié)，幫助企業(yè)順利落地 A/B 測試，為客戶帶來價值。

5

Q：A/B 測試如何實現(xiàn)流量復(fù)用？

A：A/B 測試需要基于一定樣本量才能有效體現(xiàn)結(jié)果，但對于業(yè)務(wù)流量較小的企業(yè)來說，很難確定多個試驗的效果是否會相互影響，因此無法同時上線多個試驗。神策數(shù)據(jù)的 A/B 測試功能采用正交分流，實現(xiàn)同一試驗層內(nèi)的流量互斥，不同試驗層內(nèi)的流量正交，達到流量復(fù)用的目的。

6

Q：如何降低 A/B 測試的延遲？

A：公網(wǎng)傳輸耗時是 App 使用過程中不可避免的，企業(yè)要想在 A/B 測試期間降低延遲，根本在于降低分流服務(wù)的處理耗時和規(guī)避試驗請求的公網(wǎng)傳輸耗時。

7

Q：A/B 測試如何建立假設(shè)？

A：A/B 測試最核心的原理是假設(shè)檢驗。我們在建立假設(shè)的過程中需要注意兩點：第一，A/B 測試屬于因果推斷，所以需要先確定原因和結(jié)果；第二，假設(shè)必須是可衡量的，需要有相應(yīng)的評價指標(biāo)來檢驗假設(shè)是否成立。

8

Q：如何通過置信區(qū)間法評估 A/B 測試的試驗結(jié)果？

A：置信區(qū)間法是企業(yè)評估 A/B 測試結(jié)果顯著性的常用方法。置信區(qū)間是一個范圍，最常見的是 95% 的置信區(qū)間。也就是說，對于一個隨機變量，95% 的概率包含總體均值的范圍，就叫做 95% 的置信區(qū)間。也可以簡單理解為總體數(shù)據(jù)有 95% 的可能性在這個范圍內(nèi)。

在 A/B 測試中，我們會計算兩組指標(biāo)的差異值，如果計算得出的差異值置信區(qū)間不含 0，那么就可以拒絕零假設(shè)，認(rèn)為兩組結(jié)果差異顯著；反之則接受零假設(shè)，認(rèn)為兩組結(jié)果差異不顯著。

9

Q：產(chǎn)品 A/B 測試怎么做？

A：以游戲產(chǎn)品為例。在游戲產(chǎn)品研發(fā)與運營過程中，企業(yè)可以通過 A/B 測試工具測試美術(shù)設(shè)計，如按鈕用什么顏色、什么形狀，NPC 用什么造型、技能特效、抽卡表現(xiàn)等；測試新手引導(dǎo)，調(diào)整新手階段的節(jié)奏、難度和特定的關(guān)卡設(shè)計；測試界面布局，如商城界面布局，包括順序、大小、顏色和邊框等；測試產(chǎn)品定價，確定哪些定價的硬通貨或者禮包對玩家更有吸引力；測試變現(xiàn)入口，確定合適的變現(xiàn)入口，使得既可以獲得可觀的收益又不影響玩家體驗；測試玩法機制，找到更吸引玩家的玩法，如調(diào)整 PVE 通關(guān)獎勵領(lǐng)取方式能否提升玩家體驗深度，副本增加隨機隱藏 BOSS 能否吸引玩家再次挑戰(zhàn)，PVP 不同匹配策略對玩家參與積極性有什么影響。

10

Q：神策數(shù)據(jù) A/B 測試有哪些優(yōu)勢？

A：在神策分析云中，迭代優(yōu)化后的?A/B?測試能夠為企業(yè)提供完整的試驗創(chuàng)建能力和試驗分流能力，可以滿足流量分層、試驗互斥等更高級測試需求，為產(chǎn)品迭代、運營策略的優(yōu)化提供決策依據(jù)。