網(wǎng)易云音樂開源了曙光埋點(diǎn) dawn

K8s+gRPC云原生微服務(wù)開發(fā)與治理實(shí)戰(zhàn)

download：https://www.zxit666.com/5859/

一個跨多端的全鏈路埋點(diǎn)處理計劃，旨在結(jié)構(gòu)一個圓滿的數(shù)據(jù)理想國。曙光埋點(diǎn)發(fā)明性的提出了埋點(diǎn)虛擬樹（VTree），并在此根底上完成了諸多才能，處理大前端側(cè)埋點(diǎn)艱難、精度差、不穩(wěn)定、質(zhì)量不高的問題，并且設(shè)計一套完好的端側(cè)全鏈路追蹤才能，圓滿助力大數(shù)據(jù)用戶畫像、實(shí)時歸因/離線歸因剖析、漏斗剖析、大數(shù)據(jù)引薦場景。
曙光埋點(diǎn)從埋點(diǎn)設(shè)計、到大前端(iOS、Android、H5、RN等)開發(fā)、以及埋點(diǎn)校驗&稽查、再到埋點(diǎn)數(shù)據(jù)運(yùn)用的全鏈路效勞，讓客戶端的埋點(diǎn)變得真正的好用。目前曾經(jīng)普遍應(yīng)用于云音樂各個主要APP。
行業(yè)難點(diǎn)&痛點(diǎn)埋點(diǎn)開發(fā)本錢高：端側(cè)埋點(diǎn)開發(fā)，常常是逐一坑位停止，坑位上大量且反復(fù)的參數(shù)，開發(fā)本錢昂揚(yáng)；埋點(diǎn)精準(zhǔn)度低：資源曝光埋點(diǎn)，復(fù)雜度高且準(zhǔn)確低，短少全站統(tǒng)一的曝光戰(zhàn)略；埋點(diǎn)模型不穩(wěn)定：mspm以及x-path方式的埋點(diǎn)，單獨(dú)坑位以及自動坑位計劃，很難保證埋點(diǎn)模型的穩(wěn)定；鏈路追蹤才能弱：端側(cè)沒有鏈路追蹤才能，常常需求借助數(shù)據(jù)側(cè)對離線數(shù)據(jù)停止復(fù)雜剖析得來，本錢高；埋點(diǎn)質(zhì)量管控難：從設(shè)計、開發(fā)，再到考證、以及上線，QA人力來保證本錢大、收益小。特征高性能虛擬樹：曙光埋點(diǎn)提出了埋點(diǎn)對象和虛擬樹（后面稱VTree），view聲明成一個對象，原始view樹高性能的導(dǎo)出一顆VTree，VTree構(gòu)建了我們整個曙光埋點(diǎn)計劃的基石；埋點(diǎn)內(nèi)容構(gòu)造化：借助于VTree，我們的埋點(diǎn)內(nèi)容是構(gòu)造化的，是具備自我描繪才能的，自然具備了上下層級關(guān)系，繼而做到埋點(diǎn)內(nèi)容承載坑位、內(nèi)容、上下層級關(guān)系，從而得出有意義的、穩(wěn)定的spm（Super Position Model）以及scm（Super Content Model）；全站統(tǒng)一的曝光戰(zhàn)略：跨多端統(tǒng)一的資源曝光戰(zhàn)略，做到所見即曝光開端，不可見即曝光完畢，大大減輕了開發(fā)人員的開發(fā)本錢和出錯幾率；全鏈路追蹤才能： 端側(cè)強(qiáng)大的鏈路追蹤才能，100%可追蹤用戶日志的操作鏈路關(guān)系，圓滿助力大數(shù)據(jù)實(shí)時歸因剖析、離線歸因剖析、漏斗剖析、大數(shù)據(jù)引薦場景，做到不限深度，不限廣度的數(shù)據(jù)剖析才能；完好的埋點(diǎn)迭代管理：強(qiáng)大的埋點(diǎn)迭代管理平臺，特地承載互聯(lián)網(wǎng)app快速迭代場景，完好管理歷史記載和多版本并行；多機(jī)制的埋點(diǎn)質(zhì)量保證：線下埋點(diǎn)校驗做到開發(fā)埋點(diǎn)免去了QA人力，同時保證了埋點(diǎn)上線質(zhì)量；線上數(shù)據(jù)稽查保證以全自動的方式發(fā)現(xiàn)線上埋點(diǎn)問題；全平臺掩蓋：掩蓋iOS、Android、RN、以及站外內(nèi)H5，而且極易的可擴(kuò)展Flutter、weex等其他平臺。更多信息能夠參見文章 云音樂曙光埋點(diǎn)：復(fù)原數(shù)據(jù)理想國

運(yùn)用曙光曙光埋點(diǎn)掩蓋了iOS、Android、H5、RN，以及埋點(diǎn)管理平臺（easyinsight平臺），BI剖析師在埋點(diǎn)平臺設(shè)計埋點(diǎn)VTree，端側(cè)開發(fā)人員以極低的開發(fā)本錢、聲明式的開發(fā)方式導(dǎo)出VTree，分離easyinsight平臺的上線前埋點(diǎn)校驗以及線上數(shù)據(jù)稽查，即進(jìn)步了開發(fā)效率，又保證了埋點(diǎn)質(zhì)量。


愈加細(xì)致的曙光埋點(diǎn)運(yùn)用，參見 曙光埋點(diǎn)-文檔
行業(yè)比照曙光 與 x-path系列x-path系列方式的埋點(diǎn)，比擬有代表性的是Mixpanel(游戲)、GrowingIO、網(wǎng)易HubbleData、以及美團(tuán)，主要特性是強(qiáng)化無痕埋點(diǎn)，埋點(diǎn)坑位后關(guān)聯(lián)，數(shù)據(jù)后處置；適用的場景主要是一些UI復(fù)雜度低，比擬固定的場景，這樣能夠使得從view原始樹生成x-path，用來獨(dú)一標(biāo)識一個埋點(diǎn)坑位變得可行。比方典型運(yùn)用場景是按鈕的點(diǎn)擊、頁面的曝光等場景，對高精度的資源位曝光有些無力。其中美團(tuán)在自有動態(tài)化計劃業(yè)務(wù)場景做可視化埋點(diǎn)，曙光目前也在H5活動場景支持可視化埋點(diǎn)。
但是缺陷也很明顯，就是不適用復(fù)雜業(yè)務(wù)場景，埋點(diǎn)模型不穩(wěn)定，關(guān)于埋點(diǎn)質(zhì)量請求特別高的業(yè)務(wù)來說無法運(yùn)用該計劃。埋點(diǎn)坑位后關(guān)聯(lián)，數(shù)據(jù)后處置，本錢也很大，運(yùn)用也諸多不便。
功用 曙光 x-path系列VTree可視化 支持（貫串全流程） 無可視化埋點(diǎn) 支持H5 支持（美團(tuán)）埋點(diǎn)內(nèi)容構(gòu)造化 層級化 & 可高度定制 平鋪（參數(shù)冗余、信息量少）埋點(diǎn)模型穩(wěn)定(spm&scm) 高度穩(wěn)定 低（后關(guān)聯(lián)）端側(cè)開發(fā)本錢 普通（聲明式） 低全鏈路鏈路追蹤 強(qiáng)大（統(tǒng)一范式） 普通（依托大數(shù)據(jù)后處置）全平臺統(tǒng)一的曝光戰(zhàn)略 抹平列表&非列表；全平臺統(tǒng)一； 弱化曝光埋點(diǎn)埋點(diǎn)校驗&數(shù)據(jù)稽查 強(qiáng)大（可視化校驗 & 線上稽查） 弱曙光 與 坑位mspm系列坑位mspm系列的埋點(diǎn)計劃，是目前行業(yè)內(nèi)大多數(shù)公司采用的計劃，比方騰訊、字節(jié)、快手、美團(tuán)、以及早期的云音樂；該計劃埋點(diǎn)坑位獨(dú)立，常常經(jīng)過機(jī)器生成的 mspm 字符串來標(biāo)識埋點(diǎn)坑位，但是通常mspm都是無意義的字符串。這個計劃可靈敏順應(yīng)各種復(fù)雜業(yè)務(wù)場景，并且依托大公司強(qiáng)大的大數(shù)據(jù)才能，也能夠完成很不錯的漏斗剖析、數(shù)據(jù)歸因等才能。
但是客戶端開發(fā)/維護(hù)本錢高，特別是資源位曝光埋點(diǎn)，做不到端內(nèi)列表、非列表戰(zhàn)略統(tǒng)一，更做不到全平臺戰(zhàn)略統(tǒng)一，完成起來又比擬艱難，這也是最容易產(chǎn)生bug的中央。由于端側(cè)不參與鏈路追蹤，準(zhǔn)確歸因才能大數(shù)據(jù)側(cè)比擬艱難，沒有統(tǒng)一范式來統(tǒng)一處置。

功用 曙光 x-path系列VTree可視化 支持（貫串全流程） 無埋點(diǎn)內(nèi)容構(gòu)造化 層級化 & 可高度定制 平鋪（參數(shù)冗余、信息量少）端側(cè)開發(fā)本錢 普通（聲明式） 低全鏈路鏈路追蹤 強(qiáng)大（統(tǒng)一范式） 普通（依托大數(shù)據(jù)后處置）全平臺統(tǒng)一的曝光戰(zhàn)略 抹平列表&非列表；全平臺統(tǒng)一； 弱化曝光埋點(diǎn)曝光埋點(diǎn)高精度 高精度（處置遮擋） 弱埋點(diǎn)校驗&數(shù)據(jù)稽查 強(qiáng)大（可視化校驗 & 線上稽查） 弱曙光 與 四段式spm四段式spm是在坑位mspm系列的根底上，賦予spm層級關(guān)系（站點(diǎn).頁面.區(qū)塊.區(qū)塊內(nèi)）信息，阿里大量運(yùn)用該計劃，早期云音樂也做過這方面的嘗試；該計劃讓埋點(diǎn)坑位有一定的意義，在埋點(diǎn)管理過程中也愈加便當(dāng)一些。
但是四段式也就限定了方式，靈敏度降低，也短少端側(cè)明白的VTree構(gòu)造，關(guān)于埋點(diǎn)穩(wěn)定性、埋點(diǎn)校驗/數(shù)據(jù)稽查、埋點(diǎn)內(nèi)容構(gòu)造化，都有一些才能局限。
功用 曙光 x-path系列VTree可視化 支持（貫串全流程） 無埋點(diǎn)迭代管理 可視化、適用迭代并行 普通埋點(diǎn)內(nèi)容構(gòu)造化 層級化 & 可高度定制 平鋪（參數(shù)冗余、信息量少）端側(cè)開發(fā)本錢 普通（聲明式） 低全鏈路鏈路追蹤 強(qiáng)大（統(tǒng)一范式） 普通（依托大數(shù)據(jù)后處置）全平臺統(tǒng)一的曝光戰(zhàn)略 抹平列表&非列表；全平臺統(tǒng)一； 弱化曝光埋點(diǎn)曝光埋點(diǎn)高精度 高精度（處置遮擋） 弱埋點(diǎn)校驗&數(shù)據(jù)稽查 強(qiáng)大（可視化校驗 & 線上稽查） 弱云音樂落地由于曙光埋點(diǎn)能夠帶來的這些益處，截止到目前為止，云音樂APP曾經(jīng)全面擁抱曙光，掩蓋簡直全部的P0/P1業(yè)務(wù)場景，從雙端客戶端、H5、RN等，到數(shù)倉、大數(shù)據(jù)引薦等，曾經(jīng)全數(shù)切換到曙光。
依托于穩(wěn)定的VTree構(gòu)造，以及強(qiáng)大的埋點(diǎn)校驗&埋點(diǎn)數(shù)據(jù)稽查，QA人力已完整釋放，數(shù)據(jù)相關(guān)Bug也大幅降落，曾經(jīng)很長時間沒有呈現(xiàn)過由于資源曝光不準(zhǔn)確而招致的數(shù)據(jù)問題了。