大宗商品行業(yè)市場(chǎng)規(guī)模巨大、關(guān)系國(guó)計(jì)民生，它的三個(gè)核心類別——能源商品、基礎(chǔ)原材料、農(nóng)副產(chǎn)品均在我國(guó)經(jīng)濟(jì)發(fā)展進(jìn)程中起著舉足輕重的作用。這其中，大宗商品供應(yīng)鏈的順暢運(yùn)行和穩(wěn)定發(fā)展對(duì)整個(gè)產(chǎn)業(yè)鏈的運(yùn)作至關(guān)重要。

然而傳統(tǒng)大宗商品供應(yīng)鏈普遍存在交易環(huán)節(jié)不透明、業(yè)務(wù)流程不標(biāo)準(zhǔn)兩大問(wèn)題：貿(mào)易鏈條中各個(gè)節(jié)點(diǎn)的信息互不相通，各自形成了信息孤島；貿(mào)易流程中的合同、發(fā)票、貨物質(zhì)量、資金流轉(zhuǎn)、稅務(wù)等環(huán)節(jié)往往難以嚴(yán)格按照相關(guān)標(biāo)準(zhǔn)和規(guī)定執(zhí)行，且普遍依賴人工處理交易信息。這兩大問(wèn)題導(dǎo)致了各環(huán)節(jié)信息無(wú)法交叉驗(yàn)證、信息流通效率低下，不僅制約了大宗商品供應(yīng)鏈升級(jí)提效，而且行業(yè)造假、欺詐事件頻頻發(fā)生，嚴(yán)重影響行業(yè)發(fā)展。

數(shù)鏈科技，一家致力于用人工智能等先進(jìn)科技手段實(shí)現(xiàn)大宗商品實(shí)時(shí)交易數(shù)字化的公司，基于飛槳文字識(shí)別開(kāi)發(fā)套件 PaddleOCR、自然語(yǔ)言處理模型庫(kù) PaddleNLP，開(kāi)發(fā)了大宗商品數(shù)字供應(yīng)鏈智能識(shí)別與管理系統(tǒng)。聚焦線下單據(jù)識(shí)別場(chǎng)景難題，基于 PaddleNLP 的通用信息抽取模型 UIE-X （以文檔智能大模型文心 ERNIE-Layout 為模型底座， ERNIE-Layout 創(chuàng)新性引入布局知識(shí)增強(qiáng)，在多個(gè)文檔問(wèn)答榜單登頂，為各類上層應(yīng)用提供了 SOTA 模型底座），通過(guò)實(shí)現(xiàn)非標(biāo)單據(jù)的識(shí)別及關(guān)鍵字段提取，破除大宗商品供應(yīng)鏈環(huán)節(jié)信息壁壘，完善系統(tǒng)數(shù)據(jù)質(zhì)量的同時(shí)顯著提高了交易效率。

以非標(biāo)單據(jù)數(shù)字化為切入點(diǎn)

破除“不透明、不標(biāo)準(zhǔn)”信息壁壘

基于對(duì)大宗商品行業(yè)的深刻認(rèn)知及對(duì)行業(yè)供應(yīng)鏈的痛點(diǎn)洞察，數(shù)鏈科技團(tuán)隊(duì)敏銳地認(rèn)識(shí)到，要讓大宗商品交易實(shí)現(xiàn)升級(jí)提效，首先要讓所有交易信息實(shí)現(xiàn)高效精準(zhǔn)的數(shù)字化。

“傳統(tǒng)的大宗商品供應(yīng)鏈中，比如物流票據(jù)、合同之類的交易信息，都以實(shí)物形式存在，需要人工拍照、存檔，然后人工進(jìn)行信息錄入。一旦出現(xiàn)問(wèn)題，也需要人工審查、回溯圖片信息?！睌?shù)鏈科技總裁助理張?jiān)浇榻B，“而各個(gè)企業(yè)的單據(jù)標(biāo)準(zhǔn)常常不一樣，也就是存在大量線下非標(biāo)單據(jù)，這就導(dǎo)致人工錄入單據(jù)和追溯復(fù)查的難度極大。于是我們希望能夠找到一種方式，先提升非標(biāo)單據(jù)數(shù)字化的效率，然后以此為切入點(diǎn)，推動(dòng)行業(yè)的整體數(shù)字化升級(jí)。人工智能技術(shù)，就是我們的最優(yōu)選?！?/p>

結(jié)合業(yè)務(wù)流程，數(shù)鏈科技技術(shù)團(tuán)隊(duì)將實(shí)現(xiàn)非標(biāo)單據(jù)數(shù)字化的目光鎖定在文字識(shí)別與信息抽取領(lǐng)域。然而團(tuán)隊(duì)調(diào)研后發(fā)現(xiàn)，雖然市場(chǎng)上已經(jīng)存在文字識(shí)別技術(shù)供應(yīng)商，但鮮少有針對(duì)于大宗商品供應(yīng)鏈開(kāi)發(fā)的解決方案。大宗供應(yīng)鏈各環(huán)節(jié)都需要大量的線下表單來(lái)記錄商品及其運(yùn)輸、交易信息。但是，企業(yè)與企業(yè)之間的單據(jù)樣式存在較大差異，沒(méi)有行業(yè)統(tǒng)一標(biāo)準(zhǔn)，而且往往機(jī)打單據(jù)與手寫單據(jù)并存。不僅如此，大宗商品與其他普通商品不同，商品記錄中存在大量日常生產(chǎn)生活中不常用的特殊字符。市場(chǎng)上的方案模型普遍缺乏針對(duì)特殊字符等行業(yè)數(shù)據(jù)的訓(xùn)練，且難以支持多種非標(biāo)表單的準(zhǔn)確識(shí)別和信息抽取歸類，導(dǎo)致信息識(shí)別效率低，無(wú)法滿足當(dāng)前業(yè)務(wù)的需求。

另一方面，采購(gòu)?fù)獠抗?yīng)商的產(chǎn)品也缺乏靈活性，系統(tǒng)升級(jí)改造需要花費(fèi)大量時(shí)間與供應(yīng)商對(duì)接調(diào)校，遇到供應(yīng)商人力無(wú)法支持時(shí)，更會(huì)嚴(yán)重影響投入使用的進(jìn)度。因此，自研一種高效靈活的產(chǎn)品，成為團(tuán)隊(duì)當(dāng)務(wù)之急。

飛槳技術(shù)+生態(tài)

助力非標(biāo)單據(jù)識(shí)別效率提升20倍

最終，團(tuán)隊(duì)選擇基于飛槳文字識(shí)別開(kāi)發(fā)套件 PaddleOCR 和自然語(yǔ)言處理模型庫(kù) PaddleNLP 和通用信息抽取模型 UIE-X 開(kāi)展自研項(xiàng)目。通過(guò) PaddleOCR 提供的豐富實(shí)用的工具庫(kù)，訓(xùn)練針對(duì)大宗供應(yīng)鏈非標(biāo)單據(jù)識(shí)別模型，并通過(guò) PaddleNLP 調(diào)用 UIE-X 的基礎(chǔ)上，使用自己的數(shù)據(jù)集進(jìn)行微調(diào)，極大降低訓(xùn)練開(kāi)發(fā)成本。整體技術(shù)方案可以歸納為如下步驟：

• 充分調(diào)研業(yè)務(wù)單據(jù)的類型，根據(jù)已有的海量的樣本，明確需要提取的關(guān)鍵信息，設(shè)定提取的關(guān)鍵字規(guī)則；

• 基于 PaddleOCR、PaddleNLP、UIE-X 進(jìn)行模型分析，開(kāi)發(fā)相應(yīng)的關(guān)鍵字抽取規(guī)則；

• 通過(guò)數(shù)據(jù)標(biāo)注、模型評(píng)估進(jìn)行模型訓(xùn)練，通過(guò)業(yè)務(wù)反饋進(jìn)行規(guī)則優(yōu)化。

在文字識(shí)別過(guò)程中，傳統(tǒng)的光學(xué)字符識(shí)別過(guò)程為：圖像預(yù)處理（彩色圖像灰度化、二值化處理、圖像變化角度檢測(cè)、矯正處理等）、版面劃分（直線檢測(cè)、傾斜檢測(cè)）、字符定位切分、字符識(shí)別、版面恢復(fù)、后處理、校對(duì)等。使用飛槳文字識(shí)別開(kāi)發(fā)套件 PaddleOCR ，首先降低了入門門檻，不需要最基礎(chǔ)的光學(xué)字符識(shí)別理論，其次 PaddleOCR 擁有豐富的組件和公開(kāi)的文字檢測(cè)、文字識(shí)別等一系列基礎(chǔ)預(yù)訓(xùn)練模型，大大降低了 AI 入門難度。對(duì)于開(kāi)發(fā)者來(lái)說(shuō)，只需具備一定的 Python 開(kāi)發(fā)能力即可在開(kāi)源模型基礎(chǔ)上進(jìn)行測(cè)試、調(diào)優(yōu)，最終短時(shí)間內(nèi)完成部署上線。

自然語(yǔ)言處理模型庫(kù) PaddleNLP 內(nèi)的跨模態(tài)文檔通用信息抽取模型 UIE-X ，以文心大模型為基礎(chǔ)，在沒(méi)有專業(yè)標(biāo)注團(tuán)隊(duì)的情況下，使用小樣本訓(xùn)練，進(jìn)行定制化開(kāi)發(fā)，大量節(jié)省了標(biāo)注成本。在此基礎(chǔ)上，數(shù)鏈只需準(zhǔn)備幾十份合同樣本，使用飛槳智能標(biāo)注 PaddleLabel 進(jìn)行標(biāo)注、訓(xùn)練，最終關(guān)鍵信息抽取精度達(dá)到87.5%。

在部署過(guò)程中，PaddleOCR 支持 HubServing 服務(wù)，PaddleNLP 支持 SimpleServing 服務(wù)，并且支持半精度推理方式，加快推理速度，可進(jìn)行一鍵部署。還支持 CPU、GPU 多種服務(wù)器部署，在測(cè)試過(guò)程中降低了調(diào)試難度。部署過(guò)程使用 Docker 一鍵安裝方式，降低了運(yùn)維部署負(fù)擔(dān)。

最終，項(xiàng)目團(tuán)隊(duì)成功自研出大宗商品數(shù)字供應(yīng)鏈智能識(shí)別與管理系統(tǒng)，在大宗商品供應(yīng)鏈線下單據(jù)的識(shí)別場(chǎng)景下，實(shí)現(xiàn)了線下非標(biāo)單據(jù)的識(shí)別及關(guān)鍵字段提取，極大提高了人工補(bǔ)錄相關(guān)單據(jù)的效率。原本人工補(bǔ)錄線下合同需要5分鐘，現(xiàn)在只需人工確認(rèn)結(jié)果及部分糾正即可，時(shí)間提升至15秒以內(nèi)，識(shí)別效率達(dá)到原先的20倍。據(jù)數(shù)鏈科技介紹，使用該系統(tǒng)的某企業(yè)信息錄入人員反饋，每月業(yè)務(wù)最密集的時(shí)候，往往會(huì)有集中性的大量非標(biāo)單據(jù)需要錄入，通常部門中3位同事需要每天全員加班4個(gè)小時(shí)以上?，F(xiàn)在通過(guò)使用大宗商品數(shù)字供應(yīng)鏈智能識(shí)別與管理系統(tǒng)，即使是在業(yè)務(wù)最繁忙的時(shí)候，也可以告別加班，釋放出了更多的人力完成更具專業(yè)性的運(yùn)營(yíng)工作。同時(shí)，由原先的人工錄入改為機(jī)器識(shí)別，也極大增加了數(shù)據(jù)準(zhǔn)確度。原先每季度平均會(huì)遇到10-15次信息錄入錯(cuò)誤，嚴(yán)重的甚至?xí)斐筛犊罱痤~錯(cuò)誤，現(xiàn)在則再也沒(méi)有出現(xiàn)過(guò)。整體提升了業(yè)務(wù)水平，讓公司發(fā)展更健康。

項(xiàng)目在大宗供應(yīng)鏈典型的表格識(shí)別場(chǎng)景下表現(xiàn)優(yōu)秀。團(tuán)隊(duì)重新訓(xùn)練標(biāo)注表格識(shí)別模型，將單行數(shù)據(jù)提取以單元格為維度進(jìn)行矯正輸出，最終使表格識(shí)別精度從87%上升到98%，大大提升合同中表格識(shí)別的準(zhǔn)確率，對(duì)大宗商品業(yè)務(wù)場(chǎng)景中大量的表格式單據(jù)（如財(cái)報(bào)、鐵路大票、發(fā)票、磅單、化驗(yàn)憑證等）的信息提取有重大意義。

張?jiān)奖硎?，飛槳生態(tài)社區(qū)的存在也是團(tuán)隊(duì)當(dāng)初選擇飛槳進(jìn)行開(kāi)發(fā)的一個(gè)重要原因：“飛槳社區(qū)提供了比較多的產(chǎn)業(yè)范例，例如在圖片反欺詐、簽名比對(duì)等場(chǎng)景帶給我們很多靈感和技術(shù)指導(dǎo)，同時(shí)還能幫助我們及時(shí)獲取技術(shù)在產(chǎn)業(yè)應(yīng)用的最新動(dòng)態(tài)。不僅如此，我們?cè)谘邪l(fā)過(guò)程中遇到技術(shù)上的問(wèn)題，也總能及時(shí)得到飛槳專業(yè)的研發(fā)團(tuán)隊(duì)和運(yùn)營(yíng)團(tuán)隊(duì)的相應(yīng)支持?！?/p>

目前，數(shù)鏈科技大宗商品數(shù)字供應(yīng)鏈智能識(shí)別與管理系統(tǒng)，已經(jīng)實(shí)現(xiàn)線下合同、鐵路大票、汽運(yùn)磅單等非標(biāo)單據(jù)的自動(dòng)識(shí)別與信息提取，為1000余家煤炭、糧食等大宗商品領(lǐng)域不同規(guī)模的供應(yīng)鏈企業(yè)提供商業(yè)化服務(wù)。

持續(xù)提升改進(jìn)

賦能更多中小企業(yè)

談到發(fā)展計(jì)劃，張?jiān)奖硎荆瑪?shù)鏈科技大宗商品數(shù)字供應(yīng)鏈智能識(shí)別與管理系統(tǒng)將持續(xù)在兩個(gè)主要方面進(jìn)行升級(jí)拓展。

一是不斷提升系統(tǒng)本身的產(chǎn)品力和技術(shù)力。一方面持續(xù)優(yōu)化用戶使用體驗(yàn)，讓系統(tǒng)不僅“有用”而且“好用”，讓更多客戶愿意使用，共同推進(jìn)行業(yè)數(shù)字化轉(zhuǎn)型。另一方面擴(kuò)展系統(tǒng)邊界，盡可能多地覆蓋不同類目大宗商品、不同場(chǎng)景業(yè)務(wù)需求，提供通用化服務(wù)。

二是結(jié)合物聯(lián)網(wǎng)、區(qū)塊鏈等技術(shù)，構(gòu)建智慧倉(cāng)儲(chǔ)物聯(lián)網(wǎng)平臺(tái)，為大宗產(chǎn)品貿(mào)易中多方參與的交易流程提供防篡改、可溯源、具有公信力的存證記錄。從而將供應(yīng)鏈數(shù)據(jù)與金融服務(wù)打通，為廣泛的中小型大宗商品供應(yīng)鏈企業(yè)獲得銀行貸款等金融服務(wù)提供必要幫助，解決其“融資難、融資貴”的痛點(diǎn)。

“數(shù)鏈科技由具有資深大宗商品行業(yè)背景、金融背景、科技背景的高級(jí)管理人員發(fā)起成立。我們通過(guò)科技應(yīng)用賦能大宗商品供應(yīng)鏈，讓大宗商品交易更透明，讓中小企業(yè)融資更高效、成本更低。”張?jiān)浇榻B，“未來(lái)我們也希望能夠和百度飛槳、文心大模型產(chǎn)生更多的合作，進(jìn)一步提升大宗物流供應(yīng)鏈流程自動(dòng)化和智能監(jiān)控的水平，并通過(guò)AI技術(shù)構(gòu)建數(shù)據(jù)挖掘和風(fēng)險(xiǎn)評(píng)估模型，幫助更多中小企業(yè)獲得金融支持機(jī)會(huì)?！?/p>

引入先進(jìn)AI技術(shù)，為行業(yè)帶來(lái)數(shù)字智能化轉(zhuǎn)型，破除大宗商品行業(yè)“不透明、不標(biāo)準(zhǔn)”的壁壘已成為行業(yè)趨勢(shì)。飛槳和文心大模型也將攜手更多供應(yīng)鏈服務(wù)企業(yè)持續(xù)助力行業(yè)轉(zhuǎn)型升級(jí)，探索人工智能在大宗商品行業(yè)的落地路徑，創(chuàng)造經(jīng)濟(jì)與社會(huì)價(jià)值。文章參考

• PaddleNLP UIE-X

https://github.com/PaddlePaddle/PaddleNLP/tree/develop/applications/information_extraction/document

• PaddleOCR

https://github.com/PaddlePaddle/Paddleocr