?????♀? 編者按：本文是支付寶體驗(yàn)科技沙龍第 3 期-走進(jìn)螞蟻端智能技術(shù)回顧系列文章，螞蟻集團(tuán)客戶端工程師問(wèn)墨介紹了端智能的優(yōu)勢(shì)，在螞蟻的發(fā)展歷史、應(yīng)用場(chǎng)景、技術(shù)能力以及未來(lái)展望。

1.端智能背景

什么是端智能

拋開(kāi)復(fù)雜的技術(shù)概念，用一句話簡(jiǎn)單表達(dá)，我覺(jué)得就是讓端具備思考決策能力。移動(dòng)互聯(lián)網(wǎng)時(shí)代，常見(jiàn)的業(yè)務(wù)模式是端負(fù)責(zé)內(nèi)容呈現(xiàn)，云端進(jìn)行推薦決策，作為客戶端開(kāi)發(fā)，更專(zhuān)注于渲染互動(dòng)、跨平臺(tái)、動(dòng)態(tài)化等移動(dòng)端技術(shù)。而端智能則是利用端側(cè)的硬件資源，進(jìn)行實(shí)時(shí)感知、計(jì)算、決策和干預(yù)，通過(guò)讓端具備機(jī)器學(xué)習(xí)能力，帶來(lái)用戶體驗(yàn)與業(yè)務(wù)效果的提升。涉及到的技術(shù)包括端側(cè)數(shù)據(jù)挖掘，端側(cè)特征計(jì)算，端側(cè)樣本計(jì)算，端側(cè)推理計(jì)算，端側(cè)學(xué)習(xí)訓(xùn)練，端云協(xié)同提效等。

為啥要用端智能

涉及到端智能相關(guān)的文章都避免不了要說(shuō)一說(shuō)這塊，不免俗，這里還是要提一下的。從端的特點(diǎn)來(lái)看，由于其具有天然的分布式且能實(shí)時(shí)感知用戶的操作和時(shí)空行為，在端上進(jìn)行 AI 方案的部署執(zhí)行，在實(shí)時(shí)性、個(gè)性化、云端資源消耗和安全隱私上有明顯的優(yōu)勢(shì)。比如，在端上進(jìn)行實(shí)時(shí)決策，我們能對(duì)用戶的操作進(jìn)行 ms 級(jí)的響應(yīng)，同時(shí)不受網(wǎng)絡(luò)環(huán)境的影響，這就能很好的提升弱網(wǎng)環(huán)境下的用戶體驗(yàn)。對(duì)于很多 app，在大促活動(dòng)中受限于服務(wù)器資源容量，會(huì)對(duì)部分功能進(jìn)行降級(jí)，而把這部分功能涉及到的計(jì)算資源放到端側(cè)，就能很好的解決此類(lèi)問(wèn)題。

端智能應(yīng)用挑戰(zhàn)

這么看端智能還是一個(gè)不錯(cuò)的技術(shù)領(lǐng)域，那為啥它沒(méi)像云側(cè)智能那樣快速普及和發(fā)展呢？拋開(kāi)應(yīng)用場(chǎng)景、人員投入等因素，單看技術(shù)落地本身，端智能技術(shù)相對(duì)于云智能技術(shù)還面臨著特定的挑戰(zhàn)：

• 包大小挑戰(zhàn)，在端上進(jìn)行 AI 工程技術(shù)，就涉及占用 APP 的安裝包大小、存儲(chǔ)資源，這對(duì)端計(jì)算引擎瘦身、端模型大小、端模型壓縮、動(dòng)態(tài)發(fā)布等能力都提出了較高的要求。

• 性能挑戰(zhàn)，由于使用移動(dòng)設(shè)備的計(jì)算資源，要兼顧用戶體驗(yàn)與計(jì)算效率的平衡，需要針對(duì)移動(dòng)端設(shè)備 CPU/GPU、內(nèi)存、耗電、指令集、線程調(diào)度等進(jìn)行持續(xù)優(yōu)化。

• 適配挑戰(zhàn)，面對(duì)設(shè)備、系統(tǒng)版本的碎片化，端智能技術(shù)需要進(jìn)行大量適配，確保運(yùn)行時(shí)的穩(wěn)定性與可用性。

此外，端智能與云智能本身就不是割裂的技術(shù)體系，不是非此即彼，而是相輔相成、互為補(bǔ)充。隨著 AI 技術(shù)的深入發(fā)展，如何讓兩者更好的協(xié)同，將是未來(lái)更大的挑戰(zhàn)。

2.螞蟻端智能發(fā)展與應(yīng)用

螞蟻端智能在業(yè)界發(fā)展較早，在 2017 年“掃?！被顒?dòng)中，就提出了在端側(cè)進(jìn)行 CV 能力的訴求，當(dāng)年 8 月我們上線了端側(cè)深度學(xué)習(xí)推理引擎 xNN，隨后在新春掃五福、證件夾、生物識(shí)別、保險(xiǎn)、掃一掃&AR 等 CV 類(lèi)場(chǎng)景取得了不錯(cuò)的進(jìn)展，同時(shí)推動(dòng)了掃一掃、生物識(shí)別引擎、多媒體引擎的落地。

時(shí)間來(lái)到 2019 年，隨著搜索推薦、安全風(fēng)控、體驗(yàn)優(yōu)化等場(chǎng)景對(duì)端側(cè)智能新的訴求，即基于端側(cè)實(shí)時(shí)、豐富的數(shù)據(jù)進(jìn)行智能的決策，這一階段對(duì)于端側(cè)計(jì)算調(diào)度、模型訓(xùn)練以及端到端工程能力提出了新的挑戰(zhàn)，在技術(shù)能力上我們重點(diǎn)建設(shè)了端數(shù)據(jù)實(shí)時(shí)計(jì)算、端特征引擎、端決策引擎、端訓(xùn)練組件等，并通過(guò)端智能容器與研發(fā)平臺(tái)，給算法提供完善的工程支撐。

從技術(shù)的發(fā)展脈絡(luò)來(lái)看，螞蟻端智能的應(yīng)用場(chǎng)景主要有 2 個(gè)方向：認(rèn)知智能與數(shù)據(jù)智能。

認(rèn)知智能，比如傳統(tǒng)的身份證、銀行卡、人臉識(shí)別以及近些年短視頻領(lǐng)域興起的視覺(jué)互動(dòng)技術(shù)，這個(gè)方向主要涉及圖像視覺(jué)類(lèi)算法，通過(guò)端視覺(jué)技術(shù)在準(zhǔn)確性、時(shí)效性與穩(wěn)定性上的優(yōu)勢(shì)，能很好的提升產(chǎn)品體驗(yàn)同時(shí)降低業(yè)務(wù)成本。

數(shù)據(jù)智能方向，基于業(yè)務(wù)的特點(diǎn)往往有不同的落地形式，比如 feeds 流場(chǎng)景的交互式推薦，云端對(duì)推薦內(nèi)容進(jìn)行召回，而端側(cè)基于實(shí)時(shí)行為進(jìn)行重排，抓住用戶即時(shí)的興趣愛(ài)好；再比如一些體驗(yàn)優(yōu)化的場(chǎng)景，基于網(wǎng)絡(luò)、設(shè)備和用戶操作進(jìn)行小程序資源的預(yù)加載，提升操作體驗(yàn)等。

3.螞蟻端智能技術(shù)體系

我們?cè)谖浵伇姸嗟臉I(yè)務(wù)場(chǎng)景，作了端智能大量的探索與實(shí)踐，包括營(yíng)銷(xiāo)互動(dòng)、搜推廣、安全風(fēng)控、IoT 等，而在技術(shù)能力上，我們需要有一套完善的基礎(chǔ)設(shè)施去支撐算法和工程同學(xué)快速進(jìn)行方案研發(fā)與場(chǎng)景實(shí)驗(yàn)。

計(jì)算框架層，對(duì)于端智能研發(fā)的基礎(chǔ)，我們首先要解決端上算法模型運(yùn)行的問(wèn)題并兼顧其在移動(dòng)端性能、尺寸、功耗上的訴求，適配底層不同的操作系統(tǒng)與硬件芯片，因此我們建設(shè)了螞蟻移動(dòng)端的深度學(xué)習(xí)推理引擎 xNN?及其配套的算法研發(fā)框架。而在數(shù)據(jù)計(jì)算領(lǐng)域，數(shù)據(jù)特征作為關(guān)鍵輸入決定了算法模型的上限，為了充分發(fā)揮端智能實(shí)效性高的優(yōu)勢(shì)，提升端計(jì)算的性能，我們自研了移動(dòng)端的流式計(jì)算框架，在此基礎(chǔ)上支持端數(shù)據(jù)的實(shí)時(shí)聚合、實(shí)時(shí)匹配、實(shí)時(shí)串聯(lián)，給上層的端特征、端決策模塊提供了豐富的計(jì)算能力，并確保高效的數(shù)據(jù)處理性能。此外，考慮到算法同學(xué)的研發(fā)語(yǔ)言以及算法方案的快速迭代部署，我們開(kāi)發(fā)了一個(gè)小型的端側(cè)?Python 虛擬機(jī)，在支持核心功能的同時(shí)，重點(diǎn)在性能、內(nèi)存和包大小方面進(jìn)行優(yōu)化。

智能框架層，為端智能的算法與工程提供包裝好的研發(fā)組件，屏蔽其對(duì)底層運(yùn)行環(huán)境與原子計(jì)算能力的直接感知調(diào)用，提升研發(fā)效率與體驗(yàn)。在認(rèn)知智能方向，基于應(yīng)用范圍和垂類(lèi)場(chǎng)景的特性，我們建設(shè)了多媒體引擎、生物識(shí)別引擎，沉淀了 OCR 文字識(shí)別、人機(jī)交互等算法組件。數(shù)據(jù)智能方向，深耕端云實(shí)時(shí)用戶理解，沉淀端特征中心，場(chǎng)景應(yīng)用上，端實(shí)時(shí)決策框架支持重排、預(yù)測(cè)、打分等模版方案，研發(fā)時(shí)通過(guò) IDE、仿真/評(píng)測(cè)、灰度/AB 等對(duì)齊云側(cè) AI 的研發(fā)配套。

端智能研發(fā)平臺(tái)，為端智能算法同學(xué)提供一站式的研發(fā)支撐，其核心功能包括特征開(kāi)發(fā)部署，模型訓(xùn)練部署以及監(jiān)控與質(zhì)量保障。特征方面，平臺(tái)提供可視化特征配置與開(kāi)發(fā)組件，重點(diǎn)建設(shè)低代碼研發(fā)模式，并通過(guò)特征元數(shù)據(jù)與血緣保證準(zhǔn)確性；模型方面，從輕量化建模到可伸縮性建模演進(jìn)，充分挖掘碎片化的算力，同時(shí)沉淀可復(fù)用的算法模型，提升業(yè)務(wù)的接入效率；監(jiān)控與質(zhì)量保障方面，自動(dòng)化的真機(jī)評(píng)測(cè)能力保證發(fā)布到用戶手機(jī)側(cè)的穩(wěn)定與性能指標(biāo)，同時(shí)提供多維度的任務(wù)監(jiān)控，包括任務(wù)的功耗、內(nèi)存、成功率等關(guān)鍵指標(biāo)。

場(chǎng)景應(yīng)用時(shí)，在研發(fā)流程上算法通過(guò)端特征進(jìn)行模型訓(xùn)練，并通過(guò)移動(dòng)端發(fā)部工程體系部署到端上；在用戶手機(jī)運(yùn)行時(shí)，端計(jì)算容器則提供特征、模型的運(yùn)行環(huán)境，同時(shí)通過(guò)決策框架串聯(lián)整個(gè)業(yè)務(wù)流程，實(shí)現(xiàn)端上的實(shí)時(shí)決策響應(yīng)。

4.思考與展望

面向未來(lái)，端智能這個(gè)領(lǐng)域還有很多問(wèn)題值得我們?nèi)ニ伎己徒鉀Q，簡(jiǎn)單拋一些想法：

算力挖掘方向：端智能的本質(zhì)實(shí)際上是將云端的部分算力分散到端側(cè)執(zhí)行，但是端側(cè)的資源就是有限的，在低端機(jī)和端側(cè)大模型部署上會(huì)受到限制，這一點(diǎn)有沒(méi)有辦法突破。

端云協(xié)同方向：雖然我們?nèi)岬亩际嵌酥悄?，但是端智能與云智能本身就不是割裂的技術(shù)體系，而是相輔相成，就像章魚(yú)的大腦和觸角，腦部和觸角都有大量的神經(jīng)元，彼此要協(xié)同合作才能更好的生存，目前業(yè)界主流的端云協(xié)同范式，是云側(cè)訓(xùn)練+端側(cè)推理，雖然我們也在部分場(chǎng)景探索過(guò)端訓(xùn)練，但整體來(lái)看端云協(xié)同還處于較初級(jí)的階段，在協(xié)同訓(xùn)練和推理上，我們還要繼續(xù)探索。