Adevinta，位于挪威奧斯陸的跨國在線分類廣告公司，以其全球市場的圖像處理API為特色。Adevinta的主要使命是構(gòu)建全球買家和賣家之間的橋梁，其在線市場運(yùn)營覆蓋11個(gè)國家，擁有眾多備受信任的品牌，如荷蘭的marktplaats、德國的Mobile.de和法國的leboncoin等。其核心業(yè)務(wù)是在線分類廣告領(lǐng)域，為用戶提供發(fā)布和搜索各類商品和服務(wù)的平臺(tái)，包括二手物品、住宅、汽車和招聘職位等。 該公司技術(shù)團(tuán)隊(duì)由數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)（ML）工程師組成，專注于深度學(xué)習(xí)技術(shù)在圖像領(lǐng)域的應(yīng)用，致力于研發(fā)大規(guī)?；趫D像的機(jī)器學(xué)習(xí)解決方案，以協(xié)助Adevinta公司構(gòu)建卓越的產(chǎn)品和提升客戶體驗(yàn)。Adevinta的全球在線市場運(yùn)營與其強(qiáng)大的技術(shù)團(tuán)隊(duì)為其打造出一流的在線分類廣告平臺(tái)，然而，與此同時(shí)，Adevinta公司面臨著海外分類廣告行業(yè)共性挑戰(zhàn)，這需要?jiǎng)?chuàng)新性的技術(shù)解決方案來克服，而飛槳PaddleOCR的引入推動(dòng)了該公司在項(xiàng)目領(lǐng)域的顯著技術(shù)進(jìn)步。

海外分類廣告行業(yè)的技術(shù)痛點(diǎn)

在廣告分類領(lǐng)域，Adevinta和其同行在采用傳統(tǒng)的光學(xué)字符識(shí)別（OCR）解決方案時(shí)，共同面臨一系列引發(fā)技術(shù)挑戰(zhàn)的問題，包括：

多語言支持：

全球市場涉及多種語言，因此客戶可能需要處理不同語言的廣告內(nèi)容。實(shí)現(xiàn)多語言支持是一個(gè)挑戰(zhàn)，需要確保圖像處理API能夠準(zhǔn)確地處理不同語言的文本，包括文本識(shí)別和翻譯。

文本識(shí)別準(zhǔn)確性：

分類廣告通常包含大量文本信息，如商品描述、價(jià)格等?？蛻粜枰_保圖像處理API能夠高度準(zhǔn)確地識(shí)別文本，以避免錯(cuò)誤或誤導(dǎo)性的廣告信息，Adevinta的技術(shù)負(fù)責(zé)人提到在使用其他OCR框架時(shí)，盡管圖像已被平鋪顯示，但檢測效果并不理想，很難準(zhǔn)確識(shí)別圖像中的內(nèi)容。其次，特殊符號(hào)通常無法被正確識(shí)別，這導(dǎo)致在文本識(shí)別過程中丟失了一些重要信息。最重要的是，有時(shí)字符在文本的開頭或末尾會(huì)丟失，因此無法與預(yù)定的搜索模式匹配，從而導(dǎo)致搜索或匹配文本時(shí)出現(xiàn)問題。

處理大規(guī)模數(shù)據(jù)：

分類廣告網(wǎng)站通常擁有龐大的廣告庫，需要高效處理大規(guī)模的圖像和文本數(shù)據(jù)。例如，Adevinta目前每月處理3.3億個(gè)請(qǐng)求，因此，圖像處理API需要具備良好的擴(kuò)展性和性能，以應(yīng)對(duì)高流量和大規(guī)模數(shù)據(jù)處理的需求。

欺詐檢測：

廣告平臺(tái)需要確保發(fā)布的廣告內(nèi)容合規(guī)且沒有欺詐性質(zhì)。因此，圖像處理API可能需要集成欺詐檢測功能，以幫助客戶自動(dòng)識(shí)別和標(biāo)記潛在的欺詐廣告。

實(shí)時(shí)性要求：

一些國外廣告網(wǎng)站對(duì)實(shí)時(shí)性有較高要求，例如在線競價(jià)廣告平臺(tái)。圖像處理API需要能夠在極短的時(shí)間內(nèi)處理圖像和文本，以滿足實(shí)時(shí)廣告發(fā)布的需求。

數(shù)據(jù)隱私和安全：

處理廣告數(shù)據(jù)需要高度的數(shù)據(jù)隱私和安全性。圖像處理API需要滿足數(shù)據(jù)隱私法規(guī)，并提供安全的數(shù)據(jù)傳輸和存儲(chǔ)方式，以保護(hù)客戶和用戶的數(shù)據(jù)安全。

成本效益：

Adevinta的技術(shù)團(tuán)隊(duì)認(rèn)為使用商業(yè)OCR（典型的閉源或?qū)Ｓ蠴CR解決方案）可能會(huì)帶來一些成本效益上的痛點(diǎn)，而開源項(xiàng)目相對(duì)性價(jià)比更高。

飛槳對(duì)于Adevinta項(xiàng)目的技術(shù)加持

在Adevinta的技術(shù)團(tuán)隊(duì)評(píng)估了各種開源OCR項(xiàng)目，包括基于Pytorch的MMOCR、EASY OCR、和基于飛槳的PaddleOCR，基于其內(nèi)部基準(zhǔn)測試和邊緣案例中考慮不同組合，

Adevinta技術(shù)團(tuán)隊(duì)在一番學(xué)習(xí)和了解后，決定引入飛槳

，因其提供了一套豐富的工具和模型庫，支持構(gòu)建和訓(xùn)練深度學(xué)習(xí)模型，而且飛槳提供的開發(fā)套件PaddleOCR不僅僅是一個(gè)算法，它包括一系列預(yù)訓(xùn)練模型和用于識(shí)別圖像和文檔中的文本，以及訓(xùn)練自定義OCR模型的工具。具備了強(qiáng)大的圖像文字識(shí)別功能，可應(yīng)用于廣告分類領(lǐng)域，也是一款出色的多語言O(shè)CR工具包，支持80多種語言的識(shí)別，提供數(shù)據(jù)標(biāo)注和合成工具，支持在服務(wù)器、移動(dòng)設(shè)備、嵌入式系統(tǒng)和物聯(lián)網(wǎng)設(shè)備之間進(jìn)行訓(xùn)練和部署。利用飛槳PaddleOCR提供的模型訓(xùn)練、推理部署能力，Adevinta實(shí)現(xiàn)了廣告平臺(tái)的欺詐檢測業(yè)務(wù)落地，幫助他們有效地識(shí)別潛在的欺詐行為，確保廣告平臺(tái)上的內(nèi)容質(zhì)量和合規(guī)性。飛槳不僅幫助該公司提高了廣告平臺(tái)的整體安全性，還為用戶提供了更可信賴的廣告體驗(yàn)。由于其支持多種語言，包括中文、英文以及其他主要語言，對(duì)于占據(jù)多國市場的跨國公司來說，多語種數(shù)據(jù)處理非常有價(jià)值。

PaddleOCR項(xiàng)目概覽

Adevinta國際團(tuán)隊(duì)使用飛槳帶來的業(yè)務(wù)增益

作為一家國際公司，每天為數(shù)百萬用戶提供服務(wù)，Adevinta的計(jì)算機(jī)視覺團(tuán)隊(duì)致力于改進(jìn)OCR API。在經(jīng)過多次框架測試后，他們創(chuàng)建了一個(gè)圖像模擬器，用于找到與目標(biāo)用戶需求相匹配的算法。在仔細(xì)內(nèi)部審核和改進(jìn)后，他們選擇了飛槳?，F(xiàn)在，新API相對(duì)于基于FOTS的解決方案，延遲改進(jìn)了7.5倍，同時(shí)服務(wù)成本減少了7%。此外，由于新API的價(jià)格比典型的外部解決方案（如GCP OCR）便宜12倍，因此他們也收到了用戶對(duì)其“圖像中的文本2.0”速度和準(zhǔn)確性的積極反饋。除此之外，有以下幾個(gè)顯著的業(yè)績方面改善：

基準(zhǔn)改進(jìn)：

PaddleOCR在每張圖片的平均召回率方面表現(xiàn)出色，達(dá)到了0.65，相比使用傳統(tǒng)OCR的0.43平均召回率，有了顯著提高，召回率提高了51%。這意味著可以更準(zhǔn)確地提取和解釋廣告數(shù)據(jù)。

廣告自動(dòng)標(biāo)記：

通過使用PaddleOCR，Adevinta能夠標(biāo)記出7%的廣告，使其更加安全和可信賴，提高了廣告平臺(tái)的內(nèi)容質(zhì)量。

市場擴(kuò)展：

引入了一個(gè)新的市場平臺(tái)，使用飛槳實(shí)現(xiàn)的Cognition API得到了廣泛采用，用戶數(shù)量大幅增加了154%，這顯示出飛槳幫助Adevinta擴(kuò)大其服務(wù)范圍和容量，以滿足不斷增長的需求。

成本節(jié)省：

采用飛槳也在經(jīng)濟(jì)上帶來了好處，相對(duì)于使用付費(fèi)OCR解決方案，Adevinta通過使用Cognition API實(shí)現(xiàn)了可觀的成本節(jié)省。

在技術(shù)方案中，Adevinta首先通過數(shù)據(jù)準(zhǔn)備，Adevinta擁有來自市場的精選數(shù)據(jù)集，這些數(shù)據(jù)集包含了各種具有挑戰(zhàn)性的例子，有助于驗(yàn)證模型在實(shí)際場景中的性能。其次是建模，其采用了預(yù)訓(xùn)練的飛槳模型，然后是訓(xùn)練，Adevinta編寫了一個(gè)自定義的Python代碼，用于創(chuàng)建模擬數(shù)據(jù)生成器，以訓(xùn)練不同情景下的PP-OCR模型，從而確保性能和準(zhǔn)確性。最后是部署，使用飛槳提供的推理部署代碼將PP-OCR模型部署到云端，以便該公司應(yīng)用程序可以訪問和使用該模型。這一系列步驟構(gòu)成了Adevinta項(xiàng)目的關(guān)鍵環(huán)節(jié)，提供了一個(gè)更準(zhǔn)確、更快速且更經(jīng)濟(jì)的AI解決方案，并且提高了其在線廣告平臺(tái)的質(zhì)量和用戶體驗(yàn)。

如何創(chuàng)建PP-OCR模型產(chǎn)線

為了更好的方便開發(fā)者，聚合了飛槳豐富模型（包括但不限于PP-OCR）的飛槳AI套件PaddleX已上線飛槳AI Studio星河社區(qū)，大家可通過項(xiàng)目大廳進(jìn)入到PaddleX官網(wǎng)，在精選模型庫中選擇PP-OCRv4，創(chuàng)建屬于你自己的PP-OCRv4模型產(chǎn)線。