全員內(nèi)卷時代，人們的知識學(xué)習(xí)需求也日益增長，而傳統(tǒng)的知識獲取方式已經(jīng)不能完全滿足需求，大量知識付費類 App 也隨之涌現(xiàn)，為用戶提供了一個更加便捷、高效的學(xué)習(xí)方式。

然而，知識付費行業(yè)同時也兼具快速變化和不確定性較高的特點，用戶對于內(nèi)容和服務(wù)的需求會隨著時代變遷和趨勢變化而不斷調(diào)整。因此，傳統(tǒng)的線性式、預(yù)測式的運營模式逐漸無法適應(yīng)行業(yè)的發(fā)展需要，亟需引入敏捷運營模式來適應(yīng)變化，靈活應(yīng)對這些“不確定”。

與傳統(tǒng)運營模式相比，敏捷運營更加注重數(shù)據(jù)驅(qū)動、用戶體驗、快速迭代和靈活決策，能夠更快速地獲取并響應(yīng)用戶反饋、調(diào)整運營策略和優(yōu)化產(chǎn)品功能，從而提高用戶滿意度和盈利能力。除此之外，還能有效激發(fā)團隊創(chuàng)新和激情，提高團隊凝聚力和執(zhí)行力，從而帶來長期的發(fā)展優(yōu)勢。這些，都是眼下諸多知識付費類 App 希望真正實現(xiàn)突破的問題。下面我們就跟隨某頭部知識付費類 App 的真實案例，來了解其是如何在保障內(nèi)容質(zhì)量和新功能穩(wěn)步迭代的服務(wù)競爭力前提下，一步步提升人效，促進敏捷運營，激發(fā)團隊潛能，集中資源創(chuàng)造業(yè)務(wù)增長點的。

一、創(chuàng)新與迭代的另一面：繁雜的業(yè)務(wù)系統(tǒng)，沉重的后端壓力

在不斷推陳出新，開創(chuàng)新的內(nèi)容板塊與功能模式的過程中，該知識付費類 App 的業(yè)務(wù)系統(tǒng)的數(shù)量也在不斷攀升，逐漸形成維護困難的意大利面架構(gòu)，數(shù)據(jù)同步的一致性和實時性都在面臨挑戰(zhàn)：

① 跨系統(tǒng)同步難

面對現(xiàn)存的大量不同的系統(tǒng)，尤其是其中一些彼此強關(guān)聯(lián)的組合，或是分存在不同數(shù)據(jù)庫中的某項業(yè)務(wù)數(shù)據(jù)，例如分散存放于不同系統(tǒng)中的財務(wù)數(shù)據(jù)，一部分在 MongoDB 中，一部分在 MySQL 中，需要依賴異構(gòu)數(shù)據(jù)同步能力來實現(xiàn)數(shù)據(jù)的跨系統(tǒng)同步，在同步過程中還會需要進行建模與計算，在這類場景下，數(shù)據(jù)的一致性要求當(dāng)屬重中之重。但歷史慣用的跨系統(tǒng)同步解決方案為數(shù)據(jù)庫雙寫，在數(shù)據(jù)一致性及數(shù)據(jù)質(zhì)量方面，難以提供穩(wěn)定保障。

② 后端維護壓力大

隨著后端團隊需要維護的服務(wù)不斷增加，無論是人員精簡還是人員更替，都會帶來新的問題，前者導(dǎo)致人均壓力激增，難度更加突出；后者則易由于新人對歷史代碼缺乏理解，以及代碼習(xí)慣的差異，導(dǎo)致維護復(fù)雜度再升級。因此，急需通過好用的工具來解決這一業(yè)務(wù)痛點，緩解人工壓力，實現(xiàn)降本增效。

③ 為用戶體驗造成負(fù)面影響

對于服務(wù)學(xué)習(xí)者的專業(yè) App 而言，后端系統(tǒng)的運營維護壓力，直接反饋在用戶的日常體驗之中。以推薦算法為例，該應(yīng)用最初依據(jù)定時更新的數(shù)據(jù)為用戶進行內(nèi)容推薦，但這樣操作的一個弊端就是兩次更新間隔內(nèi)的數(shù)據(jù)變化無法應(yīng)用在推薦算法中，一方面可能導(dǎo)致把已下架內(nèi)容推薦給用戶的烏龍事件；另一方面還會由于用戶瀏覽信息、行為記錄不能實時推送給算法引擎，從而錯過最佳推薦時機，導(dǎo)致商機流失。簡言之，由于算法的引擎數(shù)據(jù)庫和后端的數(shù)據(jù)脫離，導(dǎo)致數(shù)據(jù)延遲，嚴(yán)重影響了推薦結(jié)果的準(zhǔn)確性和及時性，使得用戶體驗下降。留言系統(tǒng)與審核系統(tǒng)也是如此，兩個系統(tǒng)相互獨立，但鑒于審核反饋的時效性要求，兩者間數(shù)據(jù)同步的一致性和實時性也都直接關(guān)系到用戶體驗。為了有效應(yīng)對此類問題，團隊內(nèi)部對數(shù)據(jù)實時性的要求也越來越高。加之隨著數(shù)據(jù)量的不斷膨脹，一天跑一次的全量更新方式耗時也在不斷增多，逐漸難以為繼，急需尋找用以替代的實時同步方案。

為了從后端快速打通各個系統(tǒng)，實現(xiàn)數(shù)據(jù)的實時、精準(zhǔn)同步，在有效節(jié)約人力成本的同時，優(yōu)化運營管理模式，為后續(xù)更多內(nèi)容及模式優(yōu)化積蓄能量，團隊決定尋找一個兼具異構(gòu)數(shù)據(jù)實時同步功能，及實時計算能力的工具，來搭建全新的數(shù)據(jù)底座解決方案——這也是促成該 App 與 Tapdata 最終牽手的原因。

二、Tapdata 助力搭建實時數(shù)據(jù)平臺：讓數(shù)據(jù)按需存儲、隨需流動

正式選擇 Tapdata 前，我們也對比分析了市面上常見的一些同類工具，很遺憾都未能滿足需求，特別是在數(shù)據(jù)源支持的廣泛度以及數(shù)據(jù)端到端的全鏈路實時能力方面，Tapdata 的優(yōu)勢尤其突出，可以以相對較高的性價比滿足我們的需求。與此同時，在合作的兩年期間，無論是對需求的及時響應(yīng)，還是其他售后服務(wù)上，我們也都獲得了非常不錯的體驗。

——某頭部知識付費類 App

作為一個以低延遲數(shù)據(jù)移動為核心優(yōu)勢構(gòu)建的實時數(shù)據(jù)集成和數(shù)據(jù)服務(wù)平臺，Tapdata 的典型用例包括數(shù)據(jù)庫到數(shù)據(jù)庫的復(fù)制、將數(shù)據(jù)引入數(shù)據(jù)倉庫或數(shù)據(jù)湖，以及通用 ETL 處理，無論是從功能模塊的角度，還是實時、易上手等特性層面來看，都與該應(yīng)用眼下的切實需求高度契合。

Tapdata 解決方案：量身打造實時數(shù)據(jù)平臺

• 鏡像層 Mongo：用于存放數(shù)據(jù)歷史變更記錄

• Kafka：統(tǒng)一為下游業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)接入

整體規(guī)劃

如上圖所示，Tapdata 實時數(shù)據(jù)解決方案助力數(shù)據(jù)資源按需存儲，隨需流動：

該應(yīng)用團隊方面希望通過精準(zhǔn)推送來降低用戶運營成本，挖掘用戶付費。而精準(zhǔn)推送講究時效性，根據(jù)內(nèi)部研判，當(dāng)用戶發(fā)生首次交易后的 1 小時內(nèi)，會有較高概率產(chǎn)生二次付費，這就需要推薦系統(tǒng)在短時間內(nèi)做出精準(zhǔn)分析，并推送匹配的知識內(nèi)容。基于對上述業(yè)務(wù)需求的分析與拆解，Tapdata 結(jié)合自身產(chǎn)品能力，將其落入可執(zhí)行的技術(shù)方案如下。

首先，通過 Tapdata 對源端業(yè)務(wù)系統(tǒng)庫數(shù)據(jù)進行實時同步，這里包含了訂單交易、商品狀態(tài)、客戶行為記錄、留言系統(tǒng)等核心業(yè)務(wù)數(shù)據(jù)。其后，數(shù)據(jù)落入鏡像層，用于用于記錄所有數(shù)據(jù)的歷史變化，再通過 Tapdata 將鏡像層數(shù)據(jù)實時推送到下游 Kafka。最后由推薦系統(tǒng)通過 Flink 消費 Kafka 數(shù)據(jù)后，完成實時計算、分析。

成果反饋

在 Tapdata 提供的實時數(shù)據(jù)平臺解決方案的加持下，該 App 成功打破瓶頸問題，從數(shù)據(jù)源頭入手，真正實現(xiàn)了降本增效，助力運營管理快速、輕松升級：

• 節(jié)省人力成本：2-3 名的數(shù)據(jù)開發(fā)、運維等人員精簡，推動人力向業(yè)務(wù)創(chuàng)新流動；提供可靠、可復(fù)用的數(shù)據(jù)結(jié)果，面對新需求無需寫新代碼，可直接配置使用，減少代碼維護壓力。

• 提升數(shù)據(jù)同步效率，保障數(shù)據(jù)同步質(zhì)量：基于 Tapdata 強大的實時數(shù)據(jù)集成能力，在提升數(shù)據(jù)同步效率的同時，也為數(shù)據(jù)質(zhì)量提供保障，成功解決數(shù)據(jù)一致性的歷史難題

• 優(yōu)化用戶體驗，推動用戶轉(zhuǎn)化：個性化推薦的實時性更強，根據(jù)瀏覽記錄閱讀習(xí)慣，精準(zhǔn)捕獲用戶需求，實現(xiàn)實時推薦，有效減少用戶流失。

為什么選擇 Tapdata？

在技術(shù)選型階段，該應(yīng)用團隊的標(biāo)準(zhǔn)和方向都非常清晰：一是在技術(shù)能力層面，需要完美解決傳統(tǒng)數(shù)據(jù)雙寫方案遺留下的數(shù)據(jù)不一致問題。與此同時，考慮到受歷史發(fā)展因素影響，該 App 內(nèi)部存在大量不同的數(shù)據(jù)庫類型，而很多同步工具支持的數(shù)據(jù)源卻又比較少，新方案在跨庫同步與數(shù)據(jù)源支持廣度方面，都需要有非常出色的表現(xiàn)。二是在后續(xù)維護方面，新工具需要支持批量管數(shù)據(jù)同步鏈路，且操作簡單，有助于減輕后端壓力，釋放人力資源。

面對上述需求，Tapdata 則展現(xiàn)出如下優(yōu)勢：

• 開箱即用與低代碼可視化操作

Tapdata 部署簡單，且支持無代碼和低代碼可視操作，可以在拖拉拽中快速創(chuàng)建任務(wù)，無需編碼甚至 SQL 來編寫轉(zhuǎn)換規(guī)則。

• 內(nèi)置 60+ 數(shù)據(jù)連接器，穩(wěn)定的實時采集和傳輸能力

以實時的方式從各個數(shù)據(jù)來源，包括數(shù)據(jù)庫、API、隊列、物聯(lián)網(wǎng)等數(shù)據(jù)提供者采集或同步最新的數(shù)據(jù)變化。支持多源異構(gòu)數(shù)據(jù)雙向同步，自動映射關(guān)系型到非關(guān)系型。基于自研的 CDC 日志解析技術(shù)，0入侵實時采集數(shù)據(jù)，對源庫幾乎無影響，一鍵實現(xiàn)實時捕獲，毫秒內(nèi)更新。已內(nèi)置 60+連接器且不斷拓展中，覆蓋大部分主流的數(shù)據(jù)庫和類型，并且支持自定義數(shù)據(jù)源，具有強可擴展性的 PDK 架構(gòu)，4 小時快速對接 SaaS API 系統(tǒng)；16 小時快速對接數(shù)據(jù)庫系統(tǒng)。

• 秒級響應(yīng)的數(shù)據(jù)實時計算能力

全鏈路實時，基于 Pipeline 流式數(shù)據(jù)處理，以應(yīng)對基于單條數(shù)據(jù)記錄的即時處理需求，如數(shù)據(jù)庫 CDC、消息、IoT 事件等。不同于傳統(tǒng) ETL，每一條新產(chǎn)生并進入到平臺的數(shù)據(jù)，會在秒級范圍被響應(yīng)，計算，處理并寫入到目標(biāo)表中。同時提供了基于時間窗的統(tǒng)計分析能力，適用于實時分析場景。

• 穩(wěn)定易用的數(shù)據(jù)實時服務(wù)能力

支持低代碼可視化方式開發(fā)和配置業(yè)務(wù)需要的 Data API，能夠提供毫秒級延遲、大并發(fā)的實時交互式數(shù)據(jù)訪問能力，做到真正意義上支持 TP 型業(yè)務(wù)。具備完善的、可配置的數(shù)據(jù)訪問權(quán)限，支持訪問監(jiān)控和分析能力，可為數(shù)據(jù)需求部門提供基于權(quán)限內(nèi)的自助式主數(shù)據(jù)訪問服務(wù)和機制。 兼具高可用、可擴展的架構(gòu)設(shè)計，足以應(yīng)對大并發(fā)和大流量的訪問。

• 數(shù)據(jù)、任務(wù)分類，讓數(shù)據(jù)跨部門流動起來

支持任務(wù)分類，可根據(jù)不同項目自定義標(biāo)簽，方便快速篩選查找，有助于對全部任務(wù)的協(xié)同管理與后續(xù)維護。

• 平臺級數(shù)據(jù)校驗

通過多種自研技術(shù)，保障目標(biāo)端數(shù)據(jù)與源數(shù)據(jù)的高一致性。支持通過條數(shù)校驗、主鍵校驗、行級校驗、高級數(shù)據(jù)校驗多種校驗方式，以定時校驗、輪詢校驗、分鐘級動態(tài)校驗等不同的校驗周期完成一致性校驗，保障生產(chǎn)要求。同時支持錯誤數(shù)據(jù)二次校驗，以及錯誤數(shù)據(jù)修復(fù)，共同為數(shù)據(jù)一致性提供保障。

• 可視化任務(wù)運行監(jiān)控和告警

包含 20+ 可觀測性指標(biāo)，包括全量同步進度、增量同步延遲等，能夠?qū)崟r監(jiān)控在運行任務(wù)的最新運行狀態(tài)、日志信息等，支持任務(wù)告警。進入 Tapdata 控制臺看板，任務(wù)運行情況一覽無余。

三、寬表構(gòu)建與主數(shù)據(jù)管理：知識付費應(yīng)用 x Tapdata 的更多可能

從上述內(nèi)容中我們不難發(fā)現(xiàn)，目前，該知識付費 App 與 Tapdata 在實時數(shù)據(jù)平臺層面的初步嘗試已經(jīng)取得了漂亮的成績與不錯的反饋，但這僅是 Tapdata 整體產(chǎn)品能力中的一部分。為了進一步優(yōu)化 App 體驗，為學(xué)習(xí)者設(shè)計并甄選更加優(yōu)質(zhì)的知識內(nèi)容，Tapdata 也在持續(xù)尋找知識類 App 與 Tapdata 其他功能的更多連接點，例如在計劃中的寬表構(gòu)建與主數(shù)據(jù)管理。

寬表構(gòu)建：提升數(shù)據(jù)處理效率和數(shù)據(jù)利用價值

知識付費類 App，特別是這樣的頭部產(chǎn)品，通常需要處理大量的用戶行為數(shù)據(jù)和內(nèi)容數(shù)據(jù)。為了更好地分析和利用這些數(shù)據(jù)，設(shè)計數(shù)據(jù)模型時需要考慮到數(shù)據(jù)表之間的關(guān)聯(lián)，以及如何最大程度地提高數(shù)據(jù)的讀取效率。Tapdata 寬表構(gòu)建能力作為一種數(shù)據(jù)表設(shè)計方式，支持將多個關(guān)聯(lián)的數(shù)據(jù)表中的數(shù)據(jù)合并到一個大表中，減少表之間的關(guān)聯(lián)查詢，從而有效提高查詢效率，可用于用戶 360、課程資源管理、訂單管理等場景。

寬表可以幫助運營人員更好地分析用戶行為和內(nèi)容數(shù)據(jù)之間的關(guān)系，例如用戶購買的課程、觀看的視頻、留言的內(nèi)容等等，通過這些數(shù)據(jù)的分析，知識付費應(yīng)用可以更好地了解用戶的需求和興趣，從而提供更好的內(nèi)容和服務(wù)，提高用戶的滿意度和留存率。同時，寬表還可以用于生成數(shù)據(jù)報表、推薦算法等方面，提高數(shù)據(jù)的利用價值。

主數(shù)據(jù)管理：提升數(shù)據(jù)質(zhì)量和服務(wù)質(zhì)量，優(yōu)化用戶體驗

主數(shù)據(jù)管理（MDM）作為一種數(shù)據(jù)管理方法，支持將數(shù)據(jù)中的關(guān)鍵信息進行集中管理，并以此確保數(shù)據(jù)的一致性、準(zhǔn)確性和可靠性。對于知識付費類 App 而言，有效的主數(shù)據(jù)管理意味著數(shù)據(jù)價值、數(shù)據(jù)質(zhì)量、服務(wù)質(zhì)量以及數(shù)據(jù)安全性的全面升級，有助于進一步提高用戶體驗：

• 數(shù)據(jù)一致性：知識付費類 App 通常會有多個數(shù)據(jù)源，如用戶信息、課程信息、付費記錄等，這些數(shù)據(jù)源可能存在重復(fù)或者不一致的情況，通過主數(shù)據(jù)管理可以保證數(shù)據(jù)的一致性，避免出現(xiàn)錯誤或者混亂的情況。

• 數(shù)據(jù)集成：主數(shù)據(jù)管理可以將不同數(shù)據(jù)源中的數(shù)據(jù)集成到一個單一的數(shù)據(jù)源中，方便知識付費類 App 進行數(shù)據(jù)分析和挖掘，提高數(shù)據(jù)價值。

• 數(shù)據(jù)質(zhì)量：主數(shù)據(jù)管理可以對數(shù)據(jù)進行規(guī)范化和清洗，提高數(shù)據(jù)的質(zhì)量和準(zhǔn)確性，從而提高知識付費類 App 的服務(wù)質(zhì)量和用戶滿意度。

• 數(shù)據(jù)安全：主數(shù)據(jù)管理可以對數(shù)據(jù)進行權(quán)限控制和安全管理，保護知識付費類 App 的核心數(shù)據(jù)不受非法訪問和竊取，避免數(shù)據(jù)泄露和損失。

Tapdata 作為一個自帶 ETL 的實時數(shù)據(jù)平臺，具備實時數(shù)據(jù)集成（ETL）和實時數(shù)據(jù)服務(wù)（DaaS）兩大核心技術(shù)能力，可以幫助企業(yè)無代碼快速連接孤島系統(tǒng)，構(gòu)建企業(yè)的主數(shù)據(jù)底座。借助 Tapdata 主數(shù)據(jù)管理，可以幫助知識付費應(yīng)用管理和維護數(shù)據(jù)，提高 App 的數(shù)據(jù)質(zhì)量和決策能力，更好地滿足用戶需求。適用于知識分類管理、用戶信息管理、付費信息管理以及內(nèi)容管理等多重場景。

期待 Tapdata 在未來與知識付費應(yīng)用展開更多深度合作，為學(xué)習(xí)者創(chuàng)造更多驚喜，激發(fā)知識。

【推薦閱讀】

• Tapdata 楊慶麟：實時數(shù)據(jù)如何賦能制造業(yè)，實現(xiàn)業(yè)務(wù)卓越與持續(xù)發(fā)展？

• Tapdata 在數(shù)字化防疫場景的最佳實踐

• Tapdata 在“疫”線：攜手張家港市衛(wèi)健委爭分奪秒實時抗疫

• Whats On Tap | Tapdata Cloud 如何助力大型家居連鎖商城推進數(shù)字化經(jīng)營？

• Whats On Tap | 坐標(biāo)PCB公司，想做實時數(shù)倉、推生產(chǎn)線看板，和Tapdata Cloud的偶遇來得就是這么湊巧

原文鏈接：https://tapdata.net/tapdata-enabling-agile-operations.html