走好數(shù)據(jù)中臺(tái)最后一公里,為什么說數(shù)據(jù)服務(wù) API 是數(shù)據(jù)中臺(tái)的標(biāo)配丨數(shù)智賦能05期回顧
一、數(shù)據(jù)服務(wù) API 建設(shè)背景
在數(shù)字化轉(zhuǎn)型的時(shí)代背景下,新需求的大量增長、新技術(shù)的不斷迭代,“互聯(lián)網(wǎng)化、數(shù)字化” 進(jìn)程的不斷深入,越來越多的業(yè)務(wù)被遷移到互聯(lián)網(wǎng)上,產(chǎn)生大量的業(yè)務(wù)交互和對外服務(wù)需求,對 API 接口的需求與日俱增,如何快速提升企業(yè)數(shù)據(jù)開放共享能力,是企業(yè)面臨數(shù)字化轉(zhuǎn)型的關(guān)鍵命題。

傳統(tǒng)的方式如后端開發(fā)人員通過 Java 或 Python 等語言進(jìn)行編寫來生成 API 接口,開發(fā)周期過長,運(yùn)維成本太高,已經(jīng)不能滿足企業(yè)的需求。企業(yè)在數(shù)字化轉(zhuǎn)型過程往往面臨諸多難題:

為了更多的解決這些問題,我們在企業(yè)開放、共享數(shù)據(jù)過程中需要確定以下目標(biāo):
快速構(gòu)建 API
系統(tǒng)穩(wěn)定、數(shù)據(jù)安全
易于集成使用
授權(quán)交付
低成本運(yùn)維

二、數(shù)據(jù)服務(wù)平臺(tái)建設(shè)方法論
在分享數(shù)據(jù)服務(wù)平臺(tái)建設(shè)方法論之前,我們先了解一下常見的數(shù)據(jù)中臺(tái)應(yīng)用架構(gòu):

數(shù)據(jù)服務(wù)層作為數(shù)據(jù)中臺(tái)整體應(yīng)用架構(gòu)中處于中間地位,將數(shù)據(jù)計(jì)算層的結(jié)果通過數(shù)據(jù) API 的形式對外共享給數(shù)據(jù)應(yīng)用層。數(shù)據(jù)服務(wù)層主要有 3 個(gè)作用:
1、當(dāng)數(shù)據(jù)已被整合和計(jì)算好之后,需要提供給產(chǎn)品和應(yīng)用進(jìn)行數(shù)據(jù)消費(fèi);
2、為了有更好的性能和體驗(yàn),構(gòu)建數(shù)據(jù)服務(wù)層,通過接口服務(wù)化方式對外提供數(shù)據(jù)服務(wù);
3、滿足應(yīng)用各種復(fù)雜的數(shù)據(jù)服務(wù)需求(簡單數(shù)據(jù)查詢服務(wù)、復(fù)雜數(shù)據(jù)查詢服務(wù)、實(shí)時(shí)數(shù)據(jù)推送)
而在數(shù)據(jù)服務(wù)層對外提供服務(wù)的過程中,經(jīng)歷了從 **“DWSOA” 到 “OneService”** 的演變過程。

從 “OneService” 數(shù)據(jù)服務(wù)本身來說,主要是解決異構(gòu)數(shù)據(jù)源、重復(fù)建設(shè)、審計(jì)運(yùn)維困難、理解困難這 4 個(gè)問題,通過 “OneService” 服務(wù),實(shí)現(xiàn)主題式數(shù)據(jù)服務(wù)、統(tǒng)一且多樣化數(shù)據(jù)服務(wù)、跨源數(shù)據(jù)服務(wù)的服務(wù)目標(biāo)。
因此,若想構(gòu)建一個(gè)完整的數(shù)據(jù)服務(wù)平臺(tái),需要具備以下 6 個(gè)要素:
便捷開發(fā),具備低代碼化的開發(fā)能力
易于管理,API 管理操作可視化查詢 API
易于使用,具備規(guī)范化的文檔描述信息
安全穩(wěn)定,服務(wù)調(diào)用追蹤監(jiān)控、服務(wù)使用審計(jì)、鑒權(quán)等
易于運(yùn)維,測試、糾查、問題規(guī)則配置
性能,負(fù)載均衡、高并發(fā)
三、基于 OneService 構(gòu)建數(shù)據(jù)體系
了解完 “OneService” 理論,接下來為大家分享如何基于 OneService 構(gòu)建數(shù)據(jù)體系,主要遵循以下步驟:

● 第一步:API 定義
API 的定義包括:快速配置參數(shù)、選擇排序字段、API 類型多樣性、數(shù)據(jù)預(yù)覽、復(fù)制字段等方面。

API 的類型又包括生成 API、注冊 API、服務(wù)分組及服務(wù)編排這 4 個(gè)方面。


● 第二步:API 發(fā)布
API 的發(fā)布包括測試、提交至 API 網(wǎng)關(guān)、發(fā)布至 API 市場、版本管理這幾個(gè)方面。

● 第三步:API 調(diào)用
API 調(diào)用包括數(shù)據(jù)預(yù)覽、API 申請、審批、下載接口文檔、正式調(diào)用這幾個(gè)方面。

● 第四步:調(diào)用監(jiān)控
業(yè)務(wù)上:對 API 調(diào)用的統(tǒng)計(jì)數(shù)據(jù)進(jìn)行深入的分析,進(jìn)而得出關(guān)鍵信息;
技術(shù)上:通過 API 調(diào)用的統(tǒng)計(jì)圖表進(jìn)行分析可以發(fā)現(xiàn),哪些 API 最受歡迎;而哪些幾乎無人問津,應(yīng)該被淘汰;
安全上:對調(diào)用 IP、調(diào)用次數(shù)進(jìn)行監(jiān)控,對調(diào)用者進(jìn)行溯源。

● 第五步:數(shù)據(jù)安全
數(shù)據(jù)安全包括:統(tǒng)一認(rèn)證鑒權(quán)、傳輸加密、安全組、角色分配、行級權(quán)限、調(diào)用審批等。

上述的數(shù)據(jù)服務(wù) API 的建設(shè)過程,其實(shí)正是袋鼠云自研的數(shù)棧數(shù)據(jù)服務(wù) EasyAPI 產(chǎn)品的落地實(shí)踐過程。
數(shù)據(jù)服務(wù)(EasyAPI),高效的企業(yè)級數(shù)據(jù)服務(wù)產(chǎn)品,通過雙模式可視化配置生成與注冊 API,快速構(gòu)建 OneService 數(shù)據(jù)共享服務(wù),形成企業(yè)級的 API 市場和 API 服務(wù)管理平臺(tái),提高數(shù)據(jù)開放與共享效率。

同時(shí)產(chǎn)品具備以下特點(diǎn):
快速構(gòu)建
配置即開發(fā),支持 0 代碼、低代碼快速構(gòu)建 API
安全性高
用戶認(rèn)證、監(jiān)控、傳輸加密、API 級別安全策略、行級權(quán)限、角色分配、調(diào)用申請審批、調(diào)用周期次數(shù)的限制、黑白名單
靈活度高
“服務(wù)編排 “可對不同的 API 進(jìn)行組合,支持集成 python 進(jìn)行數(shù)據(jù)處理、支持 “條件判斷” 節(jié)點(diǎn),選擇符合條件的分支
配置靈活
橫向拓展 API 網(wǎng)關(guān)、緩存
低成本運(yùn)維
采用 Serverless 架構(gòu),只需關(guān)注 API 本身的業(yè)務(wù)邏輯,很少考慮運(yùn)行環(huán)境等基礎(chǔ)設(shè)施
四、API 實(shí)施落地案例
接下來我們分享三個(gè)使用客戶的實(shí)際案例,為大家介紹 EasyAPI 如何切實(shí)的幫助客戶解決問題。
● 金融:某證券公司應(yīng)用數(shù)據(jù)服務(wù)

● 學(xué)校:某大學(xué)應(yīng)用數(shù)據(jù)服務(wù)

● 零售:某網(wǎng)絡(luò)公司應(yīng)用數(shù)據(jù)服務(wù)

袋鼠云開源框架釘釘技術(shù)交流群(30537511),歡迎對大數(shù)據(jù)開源項(xiàng)目有興趣的同學(xué)加入交流最新技術(shù)信息,開源項(xiàng)目庫地址:https://github.com/DTStack