如何選擇金融級云數(shù)據(jù)平臺?
在用戶轉(zhuǎn)賬行為的同時,考慮到轉(zhuǎn)賬資金的安全性,銀行可能會需要存儲本次用戶轉(zhuǎn)賬的時間、金額、位置等數(shù)據(jù),通過反欺詐應(yīng)用系統(tǒng)進行風(fēng)險預(yù)警與交易阻斷,當大量用戶的轉(zhuǎn)賬行為同時發(fā)生時,會有大量并發(fā)的數(shù)據(jù)涌入。
轉(zhuǎn)賬完成后短暫時間里,交易雙方會有轉(zhuǎn)賬相關(guān)信息的查詢需求,確認資金正確的交易,銀行可能會需要按用戶需求提供部分時間段的交易流水信息。
在一些較長時間的間隔里,銀行還可能會對用戶的轉(zhuǎn)賬的數(shù)據(jù)進行分析統(tǒng)計、進行用戶畫像,以便于銀行相關(guān)的業(yè)務(wù)決策。
金融行業(yè)需要什么樣的數(shù)據(jù)庫?
信通院于2021年發(fā)布了《金融級分布式數(shù)據(jù)庫白皮書》,報告中指出金融行業(yè)普遍對數(shù)據(jù)庫的安全性、可靠性、穩(wěn)定性有著全行業(yè)最為嚴苛的要求,因此,滿足金融行業(yè)需求的金融級數(shù)據(jù)庫產(chǎn)品幾乎成為所有行業(yè)中的標桿。報告認為金融級分布式數(shù)據(jù)庫是能夠滿足金融級要求的高可用、高性能、低成本、線性水平擴展、企業(yè)級安全、便捷性運維的分布式數(shù)據(jù)庫。與普通數(shù)據(jù)庫的區(qū)別?
報告認為,雖然分布式數(shù)據(jù)庫起源于互聯(lián)網(wǎng)行業(yè),但是金融級業(yè)務(wù)數(shù)據(jù)的價值較高,對數(shù)據(jù)庫的高可用、強一致、低時延、可擴展性、高容災(zāi)性、供應(yīng)鏈安全性等要求更為嚴苛。這也是金融級分布式數(shù)據(jù)庫與普通分布式數(shù)據(jù)庫的主要不同點。數(shù)據(jù)強一致性的需求:金融級分布式數(shù)據(jù)庫通常用于存儲各行業(yè)的核心數(shù)據(jù),其任意一筆數(shù)據(jù)錯亂、丟失將帶來嚴重影響。因此即使在某些軟件故障、硬件異常的情況下,數(shù)據(jù)庫都應(yīng)保證數(shù)據(jù)的強一致性。
業(yè)務(wù)連續(xù)性和數(shù)據(jù)可靠性的需求:金融級分布式數(shù)據(jù)庫服務(wù)于涉及國計民生的重要業(yè)務(wù)系統(tǒng),其對運行連續(xù)性要求異常嚴格。此要求來自于金融業(yè),也來自于政務(wù)、大型企業(yè)本身需求、監(jiān)管機構(gòu)要求和用戶輿論壓力等。數(shù)據(jù)庫作為業(yè)務(wù)系統(tǒng)的基礎(chǔ),其通用的可用性要求在 99.999% 以上。為確保在異常情況下數(shù)據(jù)不丟失、不錯亂,即使極端異常情況仍需確保數(shù)據(jù)的留存,金融級分布式數(shù)據(jù)庫的可靠性通常要求在 99.999999% 以上。
快速擴展、敏捷迭代的需求:在金融級場景中,存在短時間用戶規(guī)模增大或業(yè)務(wù)迭代需求強勁的情況,金融級數(shù)據(jù)庫要求適配上述場景,即數(shù)據(jù)庫具有快速擴展的能力, 同時業(yè)務(wù)系統(tǒng)要具備快速匹配的敏捷迭代能力。而在傳統(tǒng)建設(shè)模型中,快速擴展、敏捷迭代幾乎是不可行的。因此分布式、微服務(wù)、標準開發(fā)框架等開始在金融級數(shù)據(jù)庫中得到普及與推廣。
低成本與云計算的需求:金融級業(yè)務(wù)種類繁多,隨著時間增長數(shù)據(jù)也會快速增加,帶來支撐性數(shù)據(jù)庫變得越來越龐大。這意味著如果每個系統(tǒng)都按照傳統(tǒng)商用數(shù)據(jù)庫建設(shè)標準來建設(shè),會帶來極高的成本。因此云計算環(huán)境的金融級數(shù)據(jù)庫的集約模式建設(shè)方案正逐步成為主流趨勢。
高端服務(wù)器等供應(yīng)鏈風(fēng)險:受國際政治格局影響,采購國外高端服務(wù)器(芯片)等存在諸多不確定性。一旦出現(xiàn)國外服務(wù)器(芯片)斷供,可能導(dǎo)致嚴重的后果。而短期內(nèi),國內(nèi)對于芯片的供應(yīng)可能僅在 28nm 或者更低的水平,單一服務(wù)器的算力不足會對金融業(yè)務(wù)建設(shè)系統(tǒng)帶來諸多問題。
OushuDB—云原生數(shù)據(jù)庫新銳準獨角獸
了解了金融行業(yè)的需求,以及金融級數(shù)據(jù)庫產(chǎn)品的定義,我們來看看云原生數(shù)據(jù)庫新銳準獨角獸偶數(shù)科技如何通過OushuDB逐條破解難題。什么是 OushuDB?
OushuDB是由偶數(shù)科技自主研發(fā)的新一代極速云原生架構(gòu)的分布式數(shù)據(jù)庫,支持高并發(fā),高吞吐,高性能的彈性計算。OushuDB兼容國產(chǎn)軟硬件平臺,符合國家信創(chuàng)標準,支持各大公有云和私有云。通過計算存儲分離架構(gòu)解決了傳統(tǒng)數(shù)據(jù)庫高成本、低性能、高門檻、難維護、難擴展的問題。OushuDB 具有哪些特點?
云原生:采用計算存儲分離架構(gòu),利用云服務(wù)器、分布式存儲,對數(shù)據(jù)基礎(chǔ)設(shè)施的可擴展性進行深度優(yōu)化,充分滿足云端應(yīng)用高度彈性、無限擴容的要求。支持騰訊云、阿里云、華為云、金山云、微軟Azure、AWS等主流云平臺。
高性能:面向PB級大數(shù)據(jù)的復(fù)雜查詢,相比MPP和SQL-on-Hadoop快一個數(shù)量級。全新設(shè)計的執(zhí)行器讓性能提升5~10倍,顯著降低批處理和即席查詢所需的時間。
強兼容:具備完善的SQL標準和ACID特性,支持HDFS和多種對象存儲的增刪改查、以及偶數(shù)自研的Magma存儲。兼容基于Oracle,PostgreSQL,Greenplum開發(fā)的數(shù)字應(yīng)用,用戶可以輕松實現(xiàn)不同數(shù)據(jù)基礎(chǔ)設(shè)施的平穩(wěn)遷移。
自主可控:OushuDB由國內(nèi)頂尖數(shù)據(jù)庫內(nèi)核研發(fā)團隊自主開發(fā),符合國家信創(chuàng)標準。偶數(shù)研發(fā)團隊曾主導(dǎo)國際頂級的數(shù)據(jù)庫開源項目。
應(yīng)用廣:OushuDB已在金融、電信、政府、制造、互聯(lián)網(wǎng)等行業(yè)的數(shù)百家頭部企業(yè)得到廣泛應(yīng)用,助力各類企業(yè)完成數(shù)字化轉(zhuǎn)型。
可以說,OushuDB數(shù)據(jù)庫所具有的高可用、高性能、低成本、易擴展、自主可控的特性,完全符合金融級分布式數(shù)據(jù)庫的定義,并滿足金融行業(yè)的業(yè)務(wù)需求。借助OushuDB作為底座,更可以快速搭建偶數(shù)科技的湖倉一體和實時湖倉方案。
基于OushuDB的實時湖倉一體方案
什么是湖倉一體方案呢?在企業(yè)進行湖倉一體化探索時,可能對原有的IT系統(tǒng)和平臺產(chǎn)生路徑依賴,從而選擇采用湖倉分體的技術(shù)模式,即湖是湖,倉是倉,而這個各自獨立部署,數(shù)據(jù)通過ETL的方式打通,即業(yè)內(nèi)常常提到的Hadoop+MPP模式。這種方式盡管在邏輯上可以為用戶提供統(tǒng)一的數(shù)據(jù)管理能力,但在物理層面數(shù)據(jù)湖和數(shù)據(jù)倉庫仍然是分離的,同一份數(shù)據(jù)可能分別存在于多個存儲集群中,從而不可避免的形成數(shù)據(jù)孤島。而在企業(yè)克服湖倉分體模式帶來的種種弊端的過程中,又可能進一步催生ETL邏輯復(fù)雜、數(shù)據(jù)變更困難、數(shù)據(jù)不一致等一系列實施與運維問題,最終不僅無法最大化湖倉性能,還極大增加了管理運維成本。偶數(shù)科技研發(fā)的OushuDB創(chuàng)新性的采用了存算分離的云原生架構(gòu),突破了傳統(tǒng)MPP和Hadoop的局限,將計算和存儲部署在不同的物理集群中,使得計算和存儲資源可以獨立的彈性伸縮;通過構(gòu)建虛擬計算集群,OushuDB可以在數(shù)十萬節(jié)點的超大規(guī)模集群上滿足高并發(fā)需求,形成了統(tǒng)一的數(shù)據(jù)體系,不僅使得湖倉更適應(yīng)云環(huán)境,還降低了用戶的成本;通過支持分布式表存儲Magma,OushuDB的計算引擎便于實現(xiàn)快照視圖,能夠高效實現(xiàn)實時查詢需求,從而在性能和事務(wù)方面的支持更加完善。結(jié)語
作為企業(yè)數(shù)字化轉(zhuǎn)型的先鋒行業(yè),銀行業(yè)自80-90年代起就已經(jīng)開始了信息化探索,在自手工統(tǒng)計到信息化再到數(shù)智化的較長技術(shù)發(fā)展過程中,大多數(shù)的銀行形成了較為復(fù)雜的技術(shù)體系。偶數(shù)科技率先洞察到了銀行面對大數(shù)據(jù)時代的高性能、安全性、可靠性、穩(wěn)定性需求,早在2020年就與建設(shè)銀行成立了高性能大數(shù)據(jù)聯(lián)合實驗室,共同探索金融級數(shù)據(jù)平臺的實施路徑。銀行業(yè)是所有行業(yè)中對應(yīng)用的自主可控、高可用、高可靠性的要求最高的領(lǐng)域之一,偶數(shù)科技解決方案在銀行業(yè)的落地正是其技術(shù)實力和對用戶痛點理解力的明證。除了銀行業(yè)以外,截至目前,偶數(shù)科技的產(chǎn)品和解決方案已在非銀金融、電信、政府、能源、制造和互聯(lián)網(wǎng)等行業(yè)中被廣泛的部署和應(yīng)用。同時,其商業(yè)模式的可行性與成長性也得到了資本的認可,連續(xù)獲得了國內(nèi)頂級投資機構(gòu)紅杉中國、騰訊、紅點中國與金山云的四輪投資。而隨著未來物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)的逐步建立,大數(shù)據(jù)領(lǐng)域?qū)⒚媾R越來越廣的數(shù)據(jù)來源、越來越大的數(shù)據(jù)量、越來越多的非結(jié)構(gòu)化數(shù)據(jù)、越來越豐富的應(yīng)用場景和越來越復(fù)雜的技術(shù)棧,大數(shù)據(jù)處理和分析的難度將進一步提升。集合了眾多組件的強大能力,OushuDB 已然成為企業(yè)打造金融級數(shù)據(jù)庫平臺的最佳選擇之一,將會持續(xù)的為包括金融在內(nèi)的等眾多行業(yè)用戶提供更加優(yōu)秀的數(shù)據(jù)服務(wù)。?