GeaFlow(品牌名TuGraph-Analytics) 已正式開源，歡迎大家關(guān)注?。?！歡迎給我們 Star 哦! Welcome to give us a Star!??GitHub?? https://github.com/TuGraph-family/tugraph-analytics

更多精彩內(nèi)容，關(guān)注我們的博客 https://tugraph-analytics.github.io/?

co-author: GPT 3.5

引言

都在說數(shù)據(jù)已經(jīng)成為新時代的生產(chǎn)資料。

但隨著大數(shù)據(jù)和人工智能等技術(shù)的發(fā)展，即便人們都知道數(shù)據(jù)的價值日益凸顯，卻無法憑借一己之力獲取和分析如此大規(guī)模的數(shù)據(jù)。

要想富，先修路。要想利用新時代的數(shù)據(jù)致富，也必須要有趁手的工具。只有合適的工具才能完成大規(guī)模數(shù)據(jù)的采集、清洗、存儲、處理和可視化等各個環(huán)節(jié)。只有具備這樣的工具，才能更好地利用數(shù)據(jù)來推動經(jīng)濟(jì)社會發(fā)展，并為人類創(chuàng)造更多的價值。

現(xiàn)如今，螞蟻集團(tuán)圖計算團(tuán)隊開源的超大規(guī)模流圖處理系統(tǒng)——TuGraph-Analytics正專注于圖計算領(lǐng)域。我們從一個簡單的問題開始，讓你體會TuGraph-Analytics的強(qiáng)大之處。

“誰在進(jìn)行金融循環(huán)交易？”

如何回答這個問題？

大數(shù)據(jù)領(lǐng)域的同學(xué)可能會立即舉手，Kafka給我上，F(xiàn)link給我上，實在不行Spark...?這些系統(tǒng)在處理大規(guī)模數(shù)據(jù)時，工作流程通常非常長，開發(fā)效率較低，無法迅速地響應(yīng)用戶的需求。各有各的長處，各有各的毛病。因此，我們需要尋找全新的數(shù)據(jù)分析工具，以提高大數(shù)據(jù)領(lǐng)域的工作效率，并更好地應(yīng)對日益復(fù)雜和多變的數(shù)據(jù)處理挑戰(zhàn)。

新的工具？那么試試GPT？

Q：誰在進(jìn)行金融循環(huán)交易？

GPT：這個問題需要進(jìn)行數(shù)據(jù)分析，涉及到大量的金融交易數(shù)據(jù)。如果要確定誰在進(jìn)行金融循環(huán)交易，可以通過以下步驟：

獲取金融的交易數(shù)據(jù)，包括交易哈希、發(fā)送方地址、接收方地址、交易類型和交易金額等信息。對交易數(shù)據(jù)進(jìn)行清洗和處理，去掉無效數(shù)據(jù)和重復(fù)數(shù)據(jù)等。利用圖計算等技術(shù)，構(gòu)建金融交易網(wǎng)絡(luò)，并對交易網(wǎng)絡(luò)進(jìn)行分析，識別出交易中的循環(huán)交易。進(jìn)一步分析循環(huán)交易的發(fā)送方地址和接收方地址，識別出誰在進(jìn)行金融循環(huán)交易。

需要注意的是，由于金融交易的去中心化特性，交易數(shù)據(jù)的獲取和分析可能存在一定的難度和挑戰(zhàn)。

姿勢不對，再來一次。

Q：誰在進(jìn)行金融循環(huán)交易？一句話回答

GPT：無法通過一句話回答，需要進(jìn)行數(shù)據(jù)分析。

可見，雖然GPT等人工智能在自然語言處理和圖像識別等方面已經(jīng)取得了顯著進(jìn)展，但在數(shù)據(jù)洞察方面仍然存在挑戰(zhàn)。因為數(shù)據(jù)洞察往往需要結(jié)合具體的業(yè)務(wù)背景和領(lǐng)域知識，而這些人類經(jīng)驗和智慧難以完全被機(jī)器模擬和替代。此外，在數(shù)據(jù)清洗、數(shù)據(jù)預(yù)處理、特征提取和建模等關(guān)鍵步驟上，仍需要人類專家進(jìn)行干預(yù)和優(yōu)化。

今天，我們使用開源的TuGraph-Analytics與流式消息系統(tǒng)Kafka，不僅能夠很好回答誰在進(jìn)行金融循環(huán)交易，而且能夠搭建秒級實時的金融級解決方案，客官且看----


何為循環(huán)交易？

來看這個例子

圖中有7個不同顏色的點(diǎn)代表交易賬戶，每個賬戶對應(yīng)鏈上的一個錢包地址。一個賬戶轉(zhuǎn)出到另一個賬戶的過程，表示為圖中有方向的邊，這個圖中共有8筆交易構(gòu)成一個交易網(wǎng)絡(luò)。

將交易頭尾相連，能夠找到返回起點(diǎn)的循環(huán)，就可以視為循環(huán)交易。

循環(huán)交易通常是指通過多個交易步驟，從而實現(xiàn)利用價格差異來獲取利潤的一種交易方式。其過程包括在不同的市場或不同的時間段內(nèi)進(jìn)行買賣行為，從而獲得利潤。在交易網(wǎng)絡(luò)圖中，可以使用環(huán)路檢測算法來發(fā)現(xiàn)潛在的循環(huán)交易路徑，并檢索這條路徑上的賬戶就能夠知道哪些賬戶可能參與了循環(huán)交易。

可是，當(dāng)一筆新的交易發(fā)生時——

可見，環(huán)路檢測并不是一勞永逸的靜態(tài)圖算法。隨著消息實時不斷到來，交易網(wǎng)絡(luò)圖中的最新環(huán)路不斷發(fā)生變化。如果關(guān)心每一筆交易產(chǎn)生的交易環(huán)路，這將成為一個極其復(fù)雜的問題。

基于金融技術(shù)的智能合約平臺，其交易速度取決于眾多的參與者。交易成交速度通常在15秒到1分鐘之間，交易吞吐量可以達(dá)到每秒數(shù)十到數(shù)百筆交易。但別忘了，同時還有海量的歷史交易數(shù)據(jù)，相當(dāng)于存在一個相當(dāng)復(fù)雜的”底圖“，循環(huán)交易問題不僅需要考慮新的交易，還必須綜合分析歷史上所有的交易！

這就是為什么強(qiáng)如GPT也無法一句話回答這個問題的原因。

TuGraph-Analytics

那么真的能夠在每筆交易發(fā)生時實時地檢測循環(huán)交易的產(chǎn)生嗎？

實際上，使用專業(yè)的圖計算系統(tǒng)TuGraph-Analytics，這個問題只需要幾十行代碼即可解決，還能夠迅速結(jié)合Kafka搭建起交易聽單->交易網(wǎng)絡(luò)生成->實時循環(huán)交易檢出->給下游發(fā)送消息完整的金融級實時解決方案。更關(guān)鍵的是，這一切都是免費(fèi)的~ 感謝開源！

我們在TuGraph-Analytics新建一個圖計算作業(yè)，只需大約40行代碼，即可完成整個端到端流程。

代碼描述如下，需要自取。

在這短短40行中，我們創(chuàng)建了金融交易的整個底圖，命名為ethereum_transaction_network。把來自Kafka的實時交易流table_new_trade不斷添加到命名為ethereum_transaction_network的圖中。

接下來，每當(dāng)有新的交易到達(dá)的時刻，都將觸發(fā)一次3跳循環(huán)交易模式的檢查，把更新的結(jié)果存入位于Kafka的外部表tbl_circular_trade，可以很方便地分發(fā)給下游組件。

實時交易數(shù)據(jù)我們采用了XBlock-ETH: Extracting and exploring blockchain data from Ethereum這篇論文整理的真實的金融區(qū)塊數(shù)據(jù)，在這個Demo中把地址隱去，以一個數(shù)字替代，即每個數(shù)字代表一個錢包地址，相同的數(shù)字表示相同的地址。生成的循環(huán)路徑結(jié)果我們拼接成一個字符串，方便觀察。

實機(jī)演示！

打開一個Kafka Producer，產(chǎn)生消息流，將交易不斷發(fā)送給Kafka，如左側(cè)終端窗口所示。
平均1秒左右，最新的圖中循環(huán)交易檢出結(jié)果就打印在右側(cè)的Kafka Consumer窗口中。

當(dāng)添加一些新的交易日志時，右側(cè)的Kafka Consumer窗口中也實時更新了新的循環(huán)交易檢出結(jié)果，響應(yīng)十分迅速。

以上便是開源圖計算平臺TuGraph Analytics結(jié)合Kafka，快速搭建的金融循環(huán)交易檢出解決方案。雖然這只是一個小小的demo，但實機(jī)演示中強(qiáng)大的圖計算語法和系統(tǒng)性能可見一斑，大大較低了我們普通人搭建圖計算應(yīng)用的難度和成本。

說多不如現(xiàn)在開始行動，TuGraph Analytics是你不容錯過的利器?，F(xiàn)在就親自體驗TuGraph Analytics的魅力吧！此外，我們歡迎各位參與到開源貢獻(xiàn)中來，為社區(qū)貢獻(xiàn)自己的智慧和代碼，共同促進(jìn)國產(chǎn)圖計算系統(tǒng)的發(fā)展。

GeaFlow(品牌名TuGraph-Analytics) 已正式開源，歡迎大家關(guān)注?。?！

歡迎給我們 Star 哦!

Welcome to give us a Star!

GitHub?? https://github.com/TuGraph-family/tugraph-analytics

更多精彩內(nèi)容，關(guān)注我們的博客 https://tugraph-analytics.github.io/?