作者：SvenBAT

數(shù)據(jù)打雜專家，做過用戶增長，目前負(fù)責(zé)數(shù)據(jù)全鏈路。

從互聯(lián)網(wǎng)發(fā)展至今，人口紅利逐漸消失殆盡。截至2020年底，中國的互聯(lián)網(wǎng)用戶已經(jīng)高達(dá)10億人，已經(jīng)在中國人口中占了很高的比例。每個賽道都出現(xiàn)了細(xì)分和垂類。產(chǎn)品也在不斷下沉，不斷的觸達(dá)四五線的用戶。人群也在不斷的被細(xì)分，新增用戶，活躍用戶，沉默回流用戶。這些，都是精細(xì)化的一個提現(xiàn)。

精細(xì)化的目標(biāo)，是為了增長；而想要更好的增長，就需要更好的服務(wù)好用戶；服務(wù)好用戶，就要做相應(yīng)的適配不同用戶需求的產(chǎn)品和下發(fā)不同的運營策略；而如何更好的量化產(chǎn)品迭代用戶是否喜愛，運營策略是否有效，都需要一個比較科學(xué)的方式。這些就會運用到AB測試。為了在眾多功能及策略的迭代過程中，通過數(shù)學(xué)的方法，告知業(yè)務(wù)方這些迭代是好是壞，繼續(xù)發(fā)展的方向是什么。

AB測試本身是起源于醫(yī)學(xué)。當(dāng)一個藥劑被研發(fā)后，醫(yī)學(xué)工作人員需要確認(rèn)其效果是否真的有效。就會需要實驗組和對照組的人群來“試藥”，通過“試藥”后的結(jié)果，評估藥劑的效果。

具體做法就是一群同質(zhì)化的用戶被隨機(jī)分組成兩組。在不知到是否是藥劑的情況下，拿到測試用藥和安慰劑。經(jīng)過一段時間的實驗后和觀測，比較兩組病人的一些實驗數(shù)據(jù)是否具有顯著的差異，從而決定測試用藥是否有效。這就是醫(yī)學(xué)的“雙盲實驗”。

同理，在互聯(lián)網(wǎng)行業(yè)，也是這么用的。

業(yè)務(wù)把將web或者app界面或者流程，拆分為多個版本。然后將流量分層（或者分流），不同的人群使用的某個功能或者觸發(fā)的策略不同。但是這里的人群一定要滿足同質(zhì)化的特性。所以無論分層還是分流，我們都需要將用戶隨機(jī)分配，且同一用戶不能處在兩個組內(nèi)。

實驗前期，我們需要對整體實驗進(jìn)行規(guī)劃計算（比如在最小可觀測變化下，計算最小樣本量，通過最小樣本量，計算實驗周期等），而在實驗流量達(dá)到統(tǒng)計最小樣本量后，收集相關(guān)的數(shù)據(jù)，通過數(shù)學(xué)檢驗的方法得到數(shù)據(jù)結(jié)論，再結(jié)合業(yè)務(wù)評估，該實驗是否有顯著差異，決定該次功能/策略迭代，是否要擴(kuò)量。

總結(jié)下來，AB測試就是運用數(shù)學(xué)的方式，結(jié)合業(yè)務(wù)評估目標(biāo)，通過流量分割的實驗方式，評估業(yè)務(wù)迭代是否有效果的方法。

分流：實驗和實驗之間用戶不交叉，直接切割一部分流量做實驗。

這種做法不推薦，除了一些會有交叉影響的策略（比如優(yōu)惠券的發(fā)放）。

因為一個產(chǎn)品的流量有限，如果我們直接切割了一部分流量去做某一個實驗，那如果實驗非常多呢？

且這種切分方式，一旦實驗量增多，樣本量就會減少，實驗周期就會增加。而在整個互聯(lián)網(wǎng)都快速迭代，瘋狂加班的同時，做一個實驗要一個月甚至更久，可能領(lǐng)導(dǎo)就會不樂意了吧。

分層：實驗和實驗之間交叉，用戶同時數(shù)據(jù)多個實驗

這種方法是將用戶同時處于多個式樣中，即縱向是實驗，橫向是實驗分桶。每一次都將用戶重新隨機(jī)打散。當(dāng)我們的實驗和實驗之間不會相互影響，推薦使用分層的流量切分方案。因為這種方法可以使得每次實驗都是全流量實驗，大大縮小了我們的實驗周期。

最小樣本量計算，是為了計算實驗周期。想知道在預(yù)期條件下，我們需要多少樣本，才能觀測出我們能接受的最小可觀測波動。這里的底層原理可以看一下統(tǒng)計學(xué)，樣本量計算都是根據(jù)統(tǒng)計學(xué)中的提升比例和置信比例計算得到。網(wǎng)上有大量的樣本量計算器。

附網(wǎng)址：https://www.eyeofcloud.com/124.html

先對實驗結(jié)論提出一個假設(shè)，然后利用實驗后的結(jié)果數(shù)據(jù)，判斷該假設(shè)是否成立。假設(shè)檢驗中還需要了解如何設(shè)立假設(shè)和如何檢驗。

原假設(shè)H0：實驗中想反對的假設(shè)。一般來說說，就是實驗沒有效果。

備擇假設(shè)H1：實驗中想支持的假設(shè)。一般來說，是指實驗有效果。

P值：P值即概率，反映某一事件發(fā)生的可能性大小。統(tǒng)計學(xué)上，5%是一個小概率事件，所以，實驗結(jié)果一般以P<0.05 認(rèn)為有統(tǒng)計學(xué)差異

分布檢驗：一般大于等于1.96就有差異

Z檢驗：Z檢驗常用于總體正態(tài)分布、方差已知或獨立大樣本的平均數(shù)的顯著性和差異的顯著性檢驗。通常來說，指標(biāo)是概率型指標(biāo)，可以用Z檢驗

T檢驗：t檢驗常用于總體正態(tài)分布、總體方差未知或獨立小樣本平均數(shù)的顯著性檢驗、平均數(shù)差異顯著性檢驗。通常來說，指標(biāo)是均值類指標(biāo)，可以用T檢驗

置信區(qū)間是對一個樣本的總體參數(shù)進(jìn)行區(qū)間估計的樣本均值范圍。它展現(xiàn)了這個均值范圍包含總體參數(shù)的概率，這個概率稱為置信水平。通常來說，同正或者同負(fù)，能判斷此次效果是否顯著。而置信區(qū)間中的置信水平代表了估計的可靠度，一般來說使用95%的置信水平進(jìn)行區(qū)間估計。

我們先來看看整體AB測試的流程：

? 實驗前：定目標(biāo)，確定實驗設(shè)計

實驗開始前，要先考量該實驗的目的，并將該目的映射到具體的可算指標(biāo)上。根據(jù)這個指標(biāo)，我們需要計算對應(yīng)的最小樣本量。再結(jié)合相應(yīng)的流量分桶數(shù)據(jù)，計算相應(yīng)的實驗周期。

? 實驗中：規(guī)則與人群校驗

對于用戶，必須保證一個用戶僅處于一個分桶。對于策略，我們需要校驗策略是否生生效，校驗流量比例是否符合預(yù)期。如果有問題還需要及時修改。

? 實驗后：效果評估與沉淀復(fù)盤

再實驗未完成前，不建議對數(shù)據(jù)進(jìn)行有效性檢驗，多次校驗導(dǎo)致錯誤概率上漲。

在實驗完成后，我們再來收集數(shù)據(jù)，校驗相關(guān)的顯著性。且不止要看數(shù)據(jù)顯著性，還要確認(rèn)業(yè)務(wù)顯著性。再來決定，當(dāng)前實驗策略是否要全量上線。

最后，我們還需要沉淀復(fù)盤此次實驗的過程中的問題和做的好的地方，為下次實驗積累經(jīng)驗，也為我們后期（如果要）搭建AB測試平臺沉淀相關(guān)的方法論。

? 網(wǎng)絡(luò)效應(yīng)

社交產(chǎn)品或者有C有B的產(chǎn)品，都需要注意網(wǎng)絡(luò)效應(yīng)。因為用戶是相互聯(lián)系的，會相互影響，我們這里可以將用戶以城市為單位進(jìn)行實驗。比如上海實行策略A，北京實行策略B，避免兩端互相影響。

? 新奇效應(yīng)

當(dāng)我們初期上線一個功能時，會有用戶比較好奇該功能，從而使得該功能的數(shù)據(jù)較號。但是可能只是用戶比較好奇而已。比如我們將之前的一個弱提示按鈕改成了強(qiáng)提示按鈕，數(shù)據(jù)肯定會漲。這種時候，可以僅查看NU用戶，因為NU不受歷史包袱的影響。

? 時間&樣本同質(zhì)性

保證同一時間周期內(nèi)觀測實驗結(jié)果。

保證樣本同質(zhì)化，不要出現(xiàn)分流不均勻的問題。

? 實驗時長要大于戶活躍間隔周期

做AB測試時，盡量設(shè)定一個實驗生效期，這個周期一般是用戶的一個活躍間隔期，保證整體用戶都被策略觸達(dá)。

還想了解更多數(shù)據(jù)分析資訊？

那就趕快來關(guān)注小數(shù)吧！