網(wǎng)易云音樂開源了曙光埋點 dawn

K8s+gRPC云原生微服務開發(fā)與治理實戰(zhàn)

download：https://www.zxit666.com/5859/

一個跨多端的全鏈路埋點處理計劃，旨在結(jié)構(gòu)一個圓滿的數(shù)據(jù)理想國。曙光埋點發(fā)明性的提出了埋點虛擬樹（VTree），并在此根底上完成了諸多才能，處理大前端側(cè)埋點艱難、精度差、不穩(wěn)定、質(zhì)量不高的問題，并且設計一套完好的端側(cè)全鏈路追蹤才能，圓滿助力大數(shù)據(jù)用戶畫像、實時歸因/離線歸因剖析、漏斗剖析、大數(shù)據(jù)引薦場景。
曙光埋點從埋點設計、到大前端(iOS、Android、H5、RN等)開發(fā)、以及埋點校驗&稽查、再到埋點數(shù)據(jù)運用的全鏈路效勞，讓客戶端的埋點變得真正的好用。目前曾經(jīng)普遍應用于云音樂各個主要APP。
行業(yè)難點&痛點埋點開發(fā)本錢高：端側(cè)埋點開發(fā)，常常是逐一坑位停止，坑位上大量且反復的參數(shù)，開發(fā)本錢昂揚；埋點精準度低：資源曝光埋點，復雜度高且準確低，短少全站統(tǒng)一的曝光戰(zhàn)略；埋點模型不穩(wěn)定：mspm以及x-path方式的埋點，單獨坑位以及自動坑位計劃，很難保證埋點模型的穩(wěn)定；鏈路追蹤才能弱：端側(cè)沒有鏈路追蹤才能，常常需求借助數(shù)據(jù)側(cè)對離線數(shù)據(jù)停止復雜剖析得來，本錢高；埋點質(zhì)量管控難：從設計、開發(fā)，再到考證、以及上線，QA人力來保證本錢大、收益小。特征高性能虛擬樹：曙光埋點提出了埋點對象和虛擬樹（后面稱VTree），view聲明成一個對象，原始view樹高性能的導出一顆VTree，VTree構(gòu)建了我們整個曙光埋點計劃的基石；埋點內(nèi)容構(gòu)造化：借助于VTree，我們的埋點內(nèi)容是構(gòu)造化的，是具備自我描繪才能的，自然具備了上下層級關(guān)系，繼而做到埋點內(nèi)容承載坑位、內(nèi)容、上下層級關(guān)系，從而得出有意義的、穩(wěn)定的spm（Super Position Model）以及scm（Super Content Model）；全站統(tǒng)一的曝光戰(zhàn)略：跨多端統(tǒng)一的資源曝光戰(zhàn)略，做到所見即曝光開端，不可見即曝光完畢，大大減輕了開發(fā)人員的開發(fā)本錢和出錯幾率；全鏈路追蹤才能： 端側(cè)強大的鏈路追蹤才能，100%可追蹤用戶日志的操作鏈路關(guān)系，圓滿助力大數(shù)據(jù)實時歸因剖析、離線歸因剖析、漏斗剖析、大數(shù)據(jù)引薦場景，做到不限深度，不限廣度的數(shù)據(jù)剖析才能；完好的埋點迭代管理：強大的埋點迭代管理平臺，特地承載互聯(lián)網(wǎng)app快速迭代場景，完好管理歷史記載和多版本并行；多機制的埋點質(zhì)量保證：線下埋點校驗做到開發(fā)埋點免去了QA人力，同時保證了埋點上線質(zhì)量；線上數(shù)據(jù)稽查保證以全自動的方式發(fā)現(xiàn)線上埋點問題；全平臺掩蓋：掩蓋iOS、Android、RN、以及站外內(nèi)H5，而且極易的可擴展Flutter、weex等其他平臺。更多信息能夠參見文章 云音樂曙光埋點：復原數(shù)據(jù)理想國

運用曙光曙光埋點掩蓋了iOS、Android、H5、RN，以及埋點管理平臺（easyinsight平臺），BI剖析師在埋點平臺設計埋點VTree，端側(cè)開發(fā)人員以極低的開發(fā)本錢、聲明式的開發(fā)方式導出VTree，分離easyinsight平臺的上線前埋點校驗以及線上數(shù)據(jù)稽查，即進步了開發(fā)效率，又保證了埋點質(zhì)量。


愈加細致的曙光埋點運用，參見 曙光埋點-文檔
行業(yè)比照曙光 與 x-path系列x-path系列方式的埋點，比擬有代表性的是Mixpanel(游戲)、GrowingIO、網(wǎng)易HubbleData、以及美團，主要特性是強化無痕埋點，埋點坑位后關(guān)聯(lián)，數(shù)據(jù)后處置；適用的場景主要是一些UI復雜度低，比擬固定的場景，這樣能夠使得從view原始樹生成x-path，用來獨一標識一個埋點坑位變得可行。比方典型運用場景是按鈕的點擊、頁面的曝光等場景，對高精度的資源位曝光有些無力。其中美團在自有動態(tài)化計劃業(yè)務場景做可視化埋點，曙光目前也在H5活動場景支持可視化埋點。
但是缺陷也很明顯，就是不適用復雜業(yè)務場景，埋點模型不穩(wěn)定，關(guān)于埋點質(zhì)量請求特別高的業(yè)務來說無法運用該計劃。埋點坑位后關(guān)聯(lián)，數(shù)據(jù)后處置，本錢也很大，運用也諸多不便。
功用 曙光 x-path系列VTree可視化 支持（貫串全流程） 無可視化埋點 支持H5 支持（美團）埋點內(nèi)容構(gòu)造化 層級化 & 可高度定制 平鋪（參數(shù)冗余、信息量少）埋點模型穩(wěn)定(spm&scm) 高度穩(wěn)定 低（后關(guān)聯(lián)）端側(cè)開發(fā)本錢 普通（聲明式） 低全鏈路鏈路追蹤 強大（統(tǒng)一范式） 普通（依托大數(shù)據(jù)后處置）全平臺統(tǒng)一的曝光戰(zhàn)略 抹平列表&非列表；全平臺統(tǒng)一； 弱化曝光埋點埋點校驗&數(shù)據(jù)稽查 強大（可視化校驗 & 線上稽查） 弱曙光 與 坑位mspm系列坑位mspm系列的埋點計劃，是目前行業(yè)內(nèi)大多數(shù)公司采用的計劃，比方騰訊、字節(jié)、快手、美團、以及早期的云音樂；該計劃埋點坑位獨立，常常經(jīng)過機器生成的 mspm 字符串來標識埋點坑位，但是通常mspm都是無意義的字符串。這個計劃可靈敏順應各種復雜業(yè)務場景，并且依托大公司強大的大數(shù)據(jù)才能，也能夠完成很不錯的漏斗剖析、數(shù)據(jù)歸因等才能。
但是客戶端開發(fā)/維護本錢高，特別是資源位曝光埋點，做不到端內(nèi)列表、非列表戰(zhàn)略統(tǒng)一，更做不到全平臺戰(zhàn)略統(tǒng)一，完成起來又比擬艱難，這也是最容易產(chǎn)生bug的中央。由于端側(cè)不參與鏈路追蹤，準確歸因才能大數(shù)據(jù)側(cè)比擬艱難，沒有統(tǒng)一范式來統(tǒng)一處置。

功用 曙光 x-path系列VTree可視化 支持（貫串全流程） 無埋點內(nèi)容構(gòu)造化 層級化 & 可高度定制 平鋪（參數(shù)冗余、信息量少）端側(cè)開發(fā)本錢 普通（聲明式） 低全鏈路鏈路追蹤 強大（統(tǒng)一范式） 普通（依托大數(shù)據(jù)后處置）全平臺統(tǒng)一的曝光戰(zhàn)略 抹平列表&非列表；全平臺統(tǒng)一； 弱化曝光埋點曝光埋點高精度 高精度（處置遮擋） 弱埋點校驗&數(shù)據(jù)稽查 強大（可視化校驗 & 線上稽查） 弱曙光 與 四段式spm四段式spm是在坑位mspm系列的根底上，賦予spm層級關(guān)系（站點.頁面.區(qū)塊.區(qū)塊內(nèi)）信息，阿里大量運用該計劃，早期云音樂也做過這方面的嘗試；該計劃讓埋點坑位有一定的意義，在埋點管理過程中也愈加便當一些。
但是四段式也就限定了方式，靈敏度降低，也短少端側(cè)明白的VTree構(gòu)造，關(guān)于埋點穩(wěn)定性、埋點校驗/數(shù)據(jù)稽查、埋點內(nèi)容構(gòu)造化，都有一些才能局限。
功用 曙光 x-path系列VTree可視化 支持（貫串全流程） 無埋點迭代管理 可視化、適用迭代并行 普通埋點內(nèi)容構(gòu)造化 層級化 & 可高度定制 平鋪（參數(shù)冗余、信息量少）端側(cè)開發(fā)本錢 普通（聲明式） 低全鏈路鏈路追蹤 強大（統(tǒng)一范式） 普通（依托大數(shù)據(jù)后處置）全平臺統(tǒng)一的曝光戰(zhàn)略 抹平列表&非列表；全平臺統(tǒng)一； 弱化曝光埋點曝光埋點高精度 高精度（處置遮擋） 弱埋點校驗&數(shù)據(jù)稽查 強大（可視化校驗 & 線上稽查） 弱云音樂落地由于曙光埋點能夠帶來的這些益處，截止到目前為止，云音樂APP曾經(jīng)全面擁抱曙光，掩蓋簡直全部的P0/P1業(yè)務場景，從雙端客戶端、H5、RN等，到數(shù)倉、大數(shù)據(jù)引薦等，曾經(jīng)全數(shù)切換到曙光。
依托于穩(wěn)定的VTree構(gòu)造，以及強大的埋點校驗&埋點數(shù)據(jù)稽查，QA人力已完整釋放，數(shù)據(jù)相關(guān)Bug也大幅降落，曾經(jīng)很長時間沒有呈現(xiàn)過由于資源曝光不準確而招致的數(shù)據(jù)問題了。