年薪30萬門檻最低的方式-AB測試
這是互聯(lián)網(wǎng)從業(yè)人員經(jīng)常面對來自于領(lǐng)導(dǎo)和面試官的靈魂拷問了。
如果你回答：
“把用戶分為兩撥兒，一撥兒依然使用舊版本產(chǎn)品，另一撥兒測試新版本產(chǎn)品，最后比較兩撥兒人的指標(biāo)，比如轉(zhuǎn)化率，人均利潤等等，看哪撥兒用戶的指標(biāo)結(jié)果好，就說明哪版產(chǎn)品更好，為后續(xù)產(chǎn)品更新迭代提供數(shù)據(jù)支持?！?/p>
那么，面試官一定會露出尷尬而不失禮貌的微笑。
這個答案吧，對倒是對的；
但是對于一個專業(yè)的互聯(lián)網(wǎng)從業(yè)人員而言，卻又太太太膚淺啦！
如何進行流量分桶和分層？
如何確定實驗的最小樣本量？
想做AB測試的組那么多，總不能讓大家排隊吧？
快跟著我，了解一下～
為什么要進行AB測試？
假如我們公司有一款交友軟件。
老版本中是多用戶展示，你喜歡誰就點進誰的頭像，看他的主頁，再添加好友聊天，很受產(chǎn)品小姐姐的喜歡。
我們現(xiàn)在有了一版新的設(shè)計，新版本加入了手勢元素，喜歡就右劃，立即可以添加為好友，極大地簡化了交友流程，很受研發(fā)小哥哥的喜愛。
這兩版設(shè)計，到底哪個會更受用戶歡迎呢？至于KPI嘛，哪版能讓DAU更高，ARPU更高，或者Retention更高呢？
那么問題就來了，到底選哪個版本呢？
總不能，聽產(chǎn)品經(jīng)理的吧？
AB測試的分桶
這個時候，我們就需要進行對比實驗啦。
設(shè)計一種Hash算法，把流量按照Hash值分成n個桶（bucket），每個桶中都包含1/n的流量。
Hash算法保證了每個桶中用戶都是在同一時間維度，且具有特征相似屬性。
時間的統(tǒng)一性有效的規(guī)避了因為時間、季節(jié)等因素帶來的影響，而屬性的相似性則使得地域、性別、年齡等等其他因素對效果統(tǒng)計的影響降至最低。
這樣一來，產(chǎn)品設(shè)計就變成了AB兩組用戶中的唯一變量，如果最后B版的用戶反饋比A版好，那我們就有很大的信心說，B比A好，上B！
AB測試的應(yīng)用場景除了產(chǎn)品改版外，還有很多。
比如：
市場營銷人員的話術(shù)文案對比；
用戶研究人員的人群特性對比；
運營人員線上產(chǎn)品功能點對比；
這些場景通過科學(xué)的AB測試都可以得出用戶更加偏愛的方案，幫你完成KPI，轉(zhuǎn)型CEO，贏取白富美，走上人生巔峰。
AB測試的分層實驗?zāi)Ｐ?/strong>
想做AB測試的組那么多，如何讓眾多的AB實驗同時進行，且互不影響？
在實際工作中，往往有很多部門的業(yè)務(wù)人員希望在同一時間進行AB測試，該怎么排期呢？
總不能讓大家排隊等著吧？畢竟互聯(lián)網(wǎng)行業(yè)瞬息萬變，等著UI算法文案設(shè)計挨個做完Test，公司估計都耗到倒閉了...
解決辦法當(dāng)然是有的，就是大家同時做AB測試咯！
只要保證各個實驗之間，具有正交性。
并行隨機分流，了解一下？
分層實驗?zāi)Ｐ涂梢赃_到采樣相似性，采樣代表性和流量共用性。
在并行實驗區(qū)域，不同的實驗屬于不同的層，每個實驗內(nèi)部又可以劃分為多層，每層之間互不干擾，并且每層流量被重新打散，從而實現(xiàn)每層之間流量的正交性。
第二層中每個實驗（experiment）的流量，是由第一層實驗中的流量均勻隨機分配而來的，這樣就能保證，第二層的用戶，都受到了來自第一層同樣的影響。
換言之，第二層的用戶依然都滿足了每個桶中用戶都是在同一時間維度，且具有特征相似屬性。
不論你想做多少個實驗，只要按照“并行隨機分流”的方式不斷向下延伸層數(shù)就可以了，互不干擾，效率感人。
UI算法和文案，終于可以一起上。
緊隨最I(lǐng)N的節(jié)奏，輕松完成KPI。
上項目 - 實統(tǒng)計戰(zhàn)
對于一個實驗來說，最理想的情況，就是在一個可接受的顯著性水平下，盡量使用較少的樣本，最大化統(tǒng)計檢驗的Power。
嗯... 說人話行嗎？
最大化AB實驗可靠性的概率，同時把研究成本，實驗時長，所用流量控制到最小。
于是，產(chǎn)品經(jīng)理和數(shù)據(jù)分析經(jīng)理確認(rèn)了如下幾個問題。
當(dāng)KPI（比如DAU）變化2%時，認(rèn)為AB兩組實驗有明顯差別；
在2%的提升度下，希望有90%的把握檢測到異常；
希望有95%的把握，不要誤報AB測試的差異顯著。
“沒問題，安排！”
將業(yè)務(wù)要求轉(zhuǎn)化為統(tǒng)計術(shù)語：
即靈敏度（提升度）E=0.02*歷史均值，
功效Power=0.9；
置信度為0.05。
根據(jù)最小樣本量的計算公式，可到得到這個業(yè)務(wù)的實驗要求每個實驗版本的最小樣本量。
如果業(yè)務(wù)方感覺實驗要求的樣本量太大，短時間難以實現(xiàn)，那么適當(dāng)?shù)慕档挽`敏度，置信度和功效，就可以Balanced解決這個問題哦！
至此，面試官的臉上終于露出了“真誠”的笑容，“同學(xué)，看你講的提綱挈領(lǐng)，從算法結(jié)構(gòu)到統(tǒng)計公式都深入淺出，資料給我一份，好吧？“
當(dāng)然沒問題！
來源：女朋友叫你寫代碼
作者：石小秀
想學(xué)習(xí)數(shù)據(jù)分析的小伙伴 添加微信：lovedata19 備注「B站」即可
