【前言】作為中國(guó)的 “Fivetran/Airbyte”, Tapdata 是一個(gè)以低延遲數(shù)據(jù)移動(dòng)為核心優(yōu)勢(shì)構(gòu)建的現(xiàn)代數(shù)據(jù)平臺(tái)，內(nèi)置 60+ 數(shù)據(jù)連接器，擁有穩(wěn)定的實(shí)時(shí)采集和傳輸能力、秒級(jí)響應(yīng)的數(shù)據(jù)實(shí)時(shí)計(jì)算能力、穩(wěn)定易用的數(shù)據(jù)實(shí)時(shí)服務(wù)能力，以及低代碼可視化操作等。典型用例包括數(shù)據(jù)庫(kù)到數(shù)據(jù)庫(kù)的復(fù)制、將數(shù)據(jù)引入數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)湖，以及通用 ETL 處理等。

隨著 Tapdata Connector 的不斷增長(zhǎng)，我們最新推出《Tapdata Connector 實(shí)用指南》系列內(nèi)容，以文字解析輔以視頻演示，還原技術(shù)實(shí)現(xiàn)細(xì)節(jié)，模擬實(shí)際技術(shù)及應(yīng)用場(chǎng)景需求，提供可以“收藏跟練”的實(shí)用專(zhuān)欄。本期實(shí)用指南將以 Tapdata 新增數(shù)據(jù)源 Salesforce → MongoDB 為例，演示 Tapdata 能夠?yàn)?SaaS 類(lèi)數(shù)據(jù)源的數(shù)據(jù)同步需求提供怎樣的支持。

CRM（Customer Relationship Management，客戶(hù)關(guān)系管理）類(lèi)軟件的興起，源于企業(yè)對(duì)于客戶(hù)關(guān)系管理的理解與需求。起初是市場(chǎng)競(jìng)爭(zhēng)加劇，讓企業(yè)開(kāi)始意識(shí)到客戶(hù)滿(mǎn)意度和忠誠(chéng)度對(duì)企業(yè)成功至關(guān)重要。企業(yè)需要充分了解客戶(hù)偏好，并由此提供更好的產(chǎn)品和服務(wù)。而后隨著銷(xiāo)售流程的復(fù)雜化和業(yè)務(wù)數(shù)據(jù)的增長(zhǎng)，為了進(jìn)一步優(yōu)化銷(xiāo)售流程，提高銷(xiāo)售效率和生產(chǎn)力，實(shí)現(xiàn)更好的客戶(hù)溝通和協(xié)作，企業(yè)也開(kāi)始更加依賴(lài) CRM 軟件作為企業(yè)管理的重要工具。

作為 CRM 軟件的經(jīng)典代表之一，Salesforce 通過(guò)將營(yíng)銷(xiāo)、銷(xiāo)售、服務(wù)和 IT 團(tuán)隊(duì)整合到一個(gè)平臺(tái)，成功改變了企業(yè)的運(yùn)作方式。然而，在今天不斷變化的數(shù)據(jù)環(huán)境中，想要僅憑 Salesforce “一己之力”來(lái)為企業(yè)獲得最大價(jià)值已然遠(yuǎn)遠(yuǎn)不夠。往往需要將其與一個(gè)表現(xiàn)出色的數(shù)據(jù)庫(kù)或數(shù)倉(cāng)結(jié)合起來(lái)，才能激發(fā)更強(qiáng)大的分析洞察力，促進(jìn)企業(yè)效益持續(xù)增長(zhǎng)。

同樣密切關(guān)注數(shù)據(jù)價(jià)值與 SaaS 產(chǎn)品的 Tapdata，作為自帶 ETL 的實(shí)時(shí)數(shù)據(jù)平臺(tái)，也透過(guò)社區(qū)看到了大量相關(guān)的數(shù)據(jù)遷移需求，已于近日在產(chǎn)品層面實(shí)現(xiàn)了對(duì) Salesforce 作為“源”的支持。

一、為什需要從 Salesforce ?單兵作戰(zhàn)走向組合牌

誠(chéng)然，Salesforce CRM 已經(jīng)為企業(yè)提供了一套相當(dāng)全面的解決方案，包括銷(xiāo)售自動(dòng)化、客戶(hù)服務(wù)、營(yíng)銷(xiāo)自動(dòng)化和協(xié)作平臺(tái)等，并由此幫助企業(yè)優(yōu)化客戶(hù)關(guān)系管理、提高銷(xiāo)售效率、加強(qiáng)協(xié)作與溝通，以及提供數(shù)據(jù)分析等功能，從而提升企業(yè)的競(jìng)爭(zhēng)力和業(yè)務(wù)水平。但并不能適用于所有企業(yè)的數(shù)據(jù)存儲(chǔ)和處理需求，因而在單獨(dú)使用時(shí)常會(huì)在以下幾個(gè)方面受到掣肘：

• 數(shù)據(jù)量大時(shí)性能下降：當(dāng)數(shù)據(jù)量達(dá)到一定規(guī)模時(shí)，Salesforce 的性能可能會(huì)下降，導(dǎo)致響應(yīng)時(shí)間變慢，用戶(hù)體驗(yàn)不佳；

• 數(shù)據(jù)分析功能有限：Salesforce 的數(shù)據(jù)分析功能相對(duì)較弱，不支持大規(guī)模數(shù)據(jù)分析和數(shù)據(jù)挖掘，對(duì)于需要進(jìn)行深入分析的企業(yè)而言，會(huì)是個(gè)不小的麻煩；

• 限制開(kāi)發(fā)自定義應(yīng)用：Salesforce 的自定義應(yīng)用開(kāi)發(fā)受限，需要使用特定的開(kāi)發(fā)語(yǔ)言和框架，不夠靈活，開(kāi)發(fā)周期可能較長(zhǎng)；

• 訪(fǎng)問(wèn)量受定價(jià)模式限制：Salesforce 是按用戶(hù)收費(fèi)的，需要購(gòu)買(mǎi)年度許可證才能開(kāi)始使用。這樣的定價(jià)模型可能會(huì)對(duì)訪(fǎng)問(wèn)和使用數(shù)據(jù)產(chǎn)生限制，從而影響企業(yè)在數(shù)據(jù)分析和管理方面的能力。企業(yè)可能需要在控制成本和提高數(shù)據(jù)訪(fǎng)問(wèn)靈活性之間進(jìn)行權(quán)衡。

因此，為了充分利用企業(yè)數(shù)據(jù)，可以考慮將 Salesforce 和其他數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)聯(lián)合使用，像是 MongoDB、BigQuery 等等，不僅可以有效解決上述問(wèn)題，提高數(shù)據(jù)處理的效率和精度，通過(guò)將 Salesforce 中的數(shù)據(jù)整合到企業(yè)的數(shù)據(jù)生態(tài)系統(tǒng)中，還能實(shí)現(xiàn)更全面的數(shù)據(jù)分析、決策和應(yīng)用，達(dá)到組合優(yōu)勢(shì)。

以 MongoDB 為例

大多數(shù)情況下，企業(yè)需要處理不同種類(lèi)的數(shù)據(jù)，例如銷(xiāo)售、客戶(hù)關(guān)系、產(chǎn)品、員工和財(cái)務(wù)數(shù)據(jù)等。而 Salesforce 則主要用于管理客戶(hù)關(guān)系和銷(xiāo)售過(guò)程，因此并不能很好地滿(mǎn)足企業(yè)在其他方面的數(shù)據(jù)處理需求。而 MongoDB 作為一個(gè)面向文檔的 NoSQL 數(shù)據(jù)庫(kù)，適用于處理半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，且擁有更好的擴(kuò)展性和靈活性。二者結(jié)合可以為企業(yè)用戶(hù)創(chuàng)造價(jià)值如下：

• 更好地管理客戶(hù)數(shù)據(jù)：打破 Salesforce 限制，更好地了解客戶(hù)需求，提高銷(xiāo)售效率；

• 更強(qiáng)大的數(shù)據(jù)處理能力：MongoDB 擁有強(qiáng)大的數(shù)據(jù)存儲(chǔ)和查詢(xún)能力，能夠輕松處理大規(guī)模數(shù)據(jù)的存儲(chǔ)和查詢(xún)，且在大規(guī)模半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)處理方面表現(xiàn)出色，例如日志、社交媒體數(shù)據(jù)和傳感器數(shù)據(jù)等，企業(yè)由此獲得更好的洞察力，從而更好地了解其客戶(hù)和市場(chǎng)趨勢(shì)，發(fā)掘更多商業(yè)機(jī)會(huì)；

• 數(shù)據(jù)安全與靈活性保障：一方面，Salesforce 提供了嚴(yán)格的安全控制和訪(fǎng)問(wèn)權(quán)限控制，能夠保護(hù)企業(yè)數(shù)據(jù)的安全。另一方面，MongoDB 的數(shù)據(jù)模型和查詢(xún)語(yǔ)言非常靈活，可以適應(yīng)不同的數(shù)據(jù)結(jié)構(gòu)和查詢(xún)需求。

為了達(dá)到上述組合優(yōu)勢(shì)，我們需要首先實(shí)現(xiàn) Salesforce 數(shù)據(jù)向包括 MongoDB 在內(nèi)的數(shù)據(jù)目標(biāo)的同步。

二、Salesforce→ MongoDB 的數(shù)據(jù)同步任務(wù)

點(diǎn)擊查看演示視頻

（*本演示視頻版本為 Tapdata 本地部署版）

版本指路：

>>> 點(diǎn)擊登錄 Tapdata Cloud

>>> 申請(qǐng)?jiān)囉?Tapdata 本地部署版

操作流程詳解（Tapdata Cloud）

① 登錄 Tapdata Cloud

* 默認(rèn)已完成 Tapdata Cloud 賬號(hào)注冊(cè)及 Agent 部署，且已擁有 Salesforce 賬號(hào)并存有一定量的數(shù)據(jù)，預(yù)備將其向其他目標(biāo)庫(kù)同步。

② 創(chuàng)建數(shù)據(jù)源 Salesforce 的連接

• 在 Tapdata Cloud 連接管理頁(yè)面，點(diǎn)擊【創(chuàng)建連接】按鈕，并在 Alpha 數(shù)據(jù)源中選擇 Salesforce。

• 輸入連接名稱(chēng)，并點(diǎn)擊授予令牌。

• 自動(dòng)跳轉(zhuǎn)至 Salesforce 登錄界面并完成登錄

*注意：Salesforce 提供了很多不同版本供用戶(hù)選擇，目前 Tapdata 僅支持：企業(yè)版、無(wú)限版、開(kāi)發(fā)者版，以及專(zhuān)業(yè)版。詳情可參考 Salesforce 相關(guān)文檔：https://help.salesforce.com/s/articleView?id=000385436&type=1

• Salesforce 登錄成功后，自動(dòng)跳轉(zhuǎn)回 Tapdata Cloud 連接配置頁(yè)面，顯示【賬戶(hù)授權(quán)成功】（*注意：完成授權(quán)前，不可測(cè)試或保存連接）

• 點(diǎn)擊【連接測(cè)試】，測(cè)試通過(guò)后，即可【保存】連接

③ 創(chuàng)建數(shù)據(jù)目標(biāo) MongoDB 的連接

• 回到 Tapdata Cloud 連接管理頁(yè)面，點(diǎn)擊【創(chuàng)建連接】按鈕，并在 GA 數(shù)據(jù)源中選擇 MongoDB。

• 參考右側(cè)連接配置幫助，完成 MongoDB 的連接創(chuàng)建

④ 新建數(shù)據(jù)同步任務(wù)

*Tapdata Cloud 目前是主要支持【數(shù)據(jù)復(fù)制】和【數(shù)據(jù)開(kāi)發(fā)-Beta】能力，前者主要用于數(shù)據(jù)庫(kù)到數(shù)據(jù)庫(kù)的復(fù)制，后者主要用于表到表的數(shù)據(jù)復(fù)制和遷移，支持更多節(jié)點(diǎn)操作，可按需選用。本文將以數(shù)據(jù)開(kāi)發(fā)任務(wù)作為模板演示。

• 右側(cè)菜單欄點(diǎn)擊【數(shù)據(jù)開(kāi)發(fā)】，再點(diǎn)擊【創(chuàng)建】按鈕，進(jìn)入任務(wù)創(chuàng)建 DAG 頁(yè)

• 通過(guò)拖拉拽的方式，將剛創(chuàng)建的 Salesforce 源節(jié)點(diǎn)，與 MongoDB 目標(biāo)節(jié)點(diǎn)拖入畫(huà)布并連線(xiàn)

• 點(diǎn)擊源節(jié)點(diǎn)與目標(biāo)節(jié)點(diǎn)，分別選擇待同步表和目標(biāo)表后，即可啟動(dòng)任務(wù)

三、Why Tapdata

很多企業(yè)在面對(duì)類(lèi)似的數(shù)據(jù)同步需求時(shí)，習(xí)慣于從編寫(xiě)自定義 ETL 腳本開(kāi)始，但這不僅會(huì)影響項(xiàng)目推進(jìn)速度，通常還需要后續(xù)不短的人力和時(shí)間投入來(lái)維護(hù)這些腳本的穩(wěn)定運(yùn)行。但如果能將這部分工作交由一個(gè)優(yōu)秀的工具進(jìn)行自動(dòng)化處理，無(wú)疑可以省下大量投入數(shù)據(jù)處理與調(diào)度以及復(fù)雜硬編碼腳本的時(shí)間，讓整個(gè)團(tuán)隊(duì)更高效。而這正是 Tapdata 在做的事。

借助 Tapdata 出色的實(shí)時(shí)數(shù)據(jù)能力和廣泛的數(shù)據(jù)源支持，可以在幾分鐘內(nèi)完成從 Salesforce 到目標(biāo)庫(kù)包括全量、增量等在內(nèi)的多重?cái)?shù)據(jù)同步任務(wù)。

在 Salesforce → Any Destination 的數(shù)據(jù)同步任務(wù)中，Tapdata 展現(xiàn)出如下優(yōu)勢(shì)：

• 內(nèi)置 60+ 數(shù)據(jù)連接器，穩(wěn)定的實(shí)時(shí)采集和傳輸能力

以實(shí)時(shí)的方式從各個(gè)數(shù)據(jù)來(lái)源，包括數(shù)據(jù)庫(kù)、API、隊(duì)列、物聯(lián)網(wǎng)等數(shù)據(jù)提供者采集或同步最新的數(shù)據(jù)變化。支持多源異構(gòu)數(shù)據(jù)雙向同步，自動(dòng)映射關(guān)系型到非關(guān)系型。一鍵實(shí)現(xiàn)實(shí)時(shí)捕獲，毫秒內(nèi)更新。已內(nèi)置 60+連接器且不斷拓展中，覆蓋大部分主流的數(shù)據(jù)庫(kù)和類(lèi)型，并支持您自定義數(shù)據(jù)源。

• 具有強(qiáng)可擴(kuò)展性的 PDK 架構(gòu)

4 小時(shí)快速對(duì)接 SaaS API 系統(tǒng)；16 小時(shí)快速對(duì)接數(shù)據(jù)庫(kù)系統(tǒng)。

• 對(duì)源庫(kù)幾乎無(wú)影響

基于自研的 CDC 日志解析技術(shù)，0入侵實(shí)時(shí)采集數(shù)據(jù)，對(duì)源庫(kù)幾乎無(wú)影響。

• 全鏈路實(shí)時(shí)

基于 Pipeline 流式數(shù)據(jù)處理，以應(yīng)對(duì)基于單條數(shù)據(jù)記錄的即時(shí)處理需求，如數(shù)據(jù)庫(kù) CDC、消息、IoT 事件等。不同于傳統(tǒng) ETL，每一條新產(chǎn)生并進(jìn)入到平臺(tái)的數(shù)據(jù)，會(huì)在秒級(jí)范圍被響應(yīng)，計(jì)算，處理并寫(xiě)入到目標(biāo)表中。同時(shí)提供了基于時(shí)間窗的統(tǒng)計(jì)分析能力，適用于實(shí)時(shí)分析場(chǎng)景。

• 數(shù)據(jù)一致性保障

通過(guò)多種自研技術(shù)，保障目標(biāo)端數(shù)據(jù)與源數(shù)據(jù)的高一致性，并支持通過(guò)多種方式完成一致性校驗(yàn)，保障生產(chǎn)要求。

• 可視化任務(wù)運(yùn)行監(jiān)控和告警

包含 20+ 可觀測(cè)性指標(biāo)，包括全量同步進(jìn)度、增量同步延遲等，能夠?qū)崟r(shí)監(jiān)控在運(yùn)行任務(wù)的最新運(yùn)行狀態(tài)、日志信息等，支持任務(wù)告警。

【相關(guān)閱讀】

• Tapdata Connector 實(shí)用指南：云原生數(shù)倉(cāng)場(chǎng)景之?dāng)?shù)據(jù)實(shí)時(shí)同步到 Databend

• Tapdata Connector 實(shí)用指南：實(shí)時(shí)數(shù)倉(cāng)場(chǎng)景之?dāng)?shù)據(jù)實(shí)時(shí)同步至 ClickHouse

• Tapdata Connector 實(shí)用指南：數(shù)據(jù)入倉(cāng)場(chǎng)景之?dāng)?shù)據(jù)實(shí)時(shí)同步到 BigQuery

原文鏈接：https://tapdata.net/tapdata-connector-salesforce-mongodb.html