一、理念名詞

1.1-【人性化的專業(yè)影像】

vivo希望把各種復(fù)雜的影像技術(shù)和經(jīng)驗(yàn)都放進(jìn)手機(jī)，只需要簡(jiǎn)單地按下快門，就能創(chuàng)作出屬于你的作品。專業(yè)創(chuàng)作者可以用它滿足極限環(huán)境下的創(chuàng)作需求，普通人也可以通過(guò)簡(jiǎn)單操作收獲令人動(dòng)容的影像。這就是vivo所一直追求的“人性化的專業(yè)影像”。

1.2-【還原眼之所見(jiàn)，超越眼之所見(jiàn)】

還原，是對(duì)客觀世界的記錄；超越，則是把主觀情感投射到影像中，是vivo的影像理念。

二、影像技術(shù)矩陣名詞

2.0-【vivo影像技術(shù)矩陣】

vivo影像技術(shù)矩陣具體分為七個(gè)部分：光學(xué)感知系統(tǒng)、臻彩還原引擎、超清畫質(zhì)引擎、算力加速引擎、環(huán)境理解技術(shù)、超感人像系統(tǒng)、蒼穹夜景系統(tǒng)；目標(biāo)達(dá)到“三個(gè)比肩”：比肩專業(yè)影像設(shè)備，比肩專業(yè)攝影團(tuán)隊(duì)，比肩專業(yè)后期能力。

2.1-【光學(xué)感知系統(tǒng)】

光學(xué)感知系統(tǒng)包括光學(xué)模組和鍍膜等技術(shù)。比如VCS仿生光譜技術(shù)，通過(guò)改善Sensor QE光譜，提升信噪比和色彩還原能力，讓傳感器接收的原始信息不斷接近人眼，打造良好的成像基礎(chǔ)。

2.2-【臻彩還原引擎】

主要支撐技術(shù)為智能AWB和智能白加黑減，能夠提升白平衡準(zhǔn)確性和大面積“白”“黑”場(chǎng)景的曝光準(zhǔn)確性，將vivo的色彩表現(xiàn)和影調(diào)觀感優(yōu)化到極致。

2.3-【超清畫質(zhì)引擎】

超清畫質(zhì)引擎的典型技術(shù)為光學(xué)超分算法，通過(guò)對(duì)鏡頭的缺陷建模分析，恢復(fù)了約35%的損失信息。光學(xué)超分算法是實(shí)現(xiàn)超清畫質(zhì)的起點(diǎn)，引擎中還有Denoise、Demosaic、Deblur等模塊，進(jìn)行耦合訓(xùn)練，形成了系統(tǒng)性的AI畫質(zhì)方案——超清畫質(zhì)引擎。可以實(shí)現(xiàn)多幀畫質(zhì)重建，達(dá)到更好的畫質(zhì)和更廣的動(dòng)態(tài)范圍。

2.4-【算力加速引擎】

算力加速引擎，是一套軟硬結(jié)合的加速方案，vivo基于自研芯片和平臺(tái)SOC設(shè)計(jì)研發(fā)了CV異構(gòu)加速引擎和vDNN深度學(xué)習(xí)加速引擎，是分別針對(duì)傳統(tǒng)CV算法和AI算法的加速引擎，可支撐多芯結(jié)合的異構(gòu)加速，實(shí)現(xiàn)多信息協(xié)同并高速處理。

2.5-【環(huán)境理解】

環(huán)境理解會(huì)對(duì)場(chǎng)景進(jìn)行識(shí)別，比如色溫和亮度檢測(cè)的技術(shù)、運(yùn)動(dòng)檢測(cè)的技術(shù)，基于環(huán)境的進(jìn)行信息提取，協(xié)助3A等模塊，作出最佳的拍攝判斷。

備注：3A技術(shù)即自動(dòng)對(duì)焦(AF)、自動(dòng)曝光(AE)和自動(dòng)白平衡(AWB)

2.6-【超感人像系統(tǒng)】

超感人像系統(tǒng)三大核心技術(shù)模塊：人像理解、人像美化、人像氛圍。

第一步，人像理解——像攝影師一樣讀懂人像信息

vivo“人像理解技術(shù)”會(huì)像專業(yè)修圖師一般進(jìn)行分區(qū)檢測(cè)，對(duì)人臉進(jìn)行語(yǔ)義重點(diǎn)和輪廓細(xì)節(jié)的提取，建立多達(dá)103個(gè)特征點(diǎn)的關(guān)鍵人臉坐標(biāo)，點(diǎn)位精度誤差小于2像素。同時(shí)，會(huì)對(duì)畫面中的皮膚、手勢(shì)、肢體關(guān)鍵點(diǎn)進(jìn)行檢測(cè)，主體分割I(lǐng)OU達(dá)到了96.15%的精確度，為靜態(tài)人像重塑和動(dòng)態(tài)人像抓拍提供了精細(xì)化的處理能力。

第二步，人像美化——微米級(jí)人像細(xì)節(jié)美化

vivo以不同年齡、性別、場(chǎng)景的數(shù)以百萬(wàn)計(jì)的素材，經(jīng)過(guò)反復(fù)的機(jī)器學(xué)習(xí)成長(zhǎng)，推出vivo全新升級(jí)的微米級(jí)煥膚塑顏技術(shù)，使皮膚觀感更加自然、健康，也更好地保留了五官的立體感。

第三步，人像氛圍——營(yíng)造獨(dú)特的氛圍感

vivo對(duì)于人像的思考不止于人，人與景的關(guān)系是人像的另一個(gè)重要的維度。vivo“人像氛圍融合”技術(shù)，基于人像語(yǔ)義理解，在影調(diào)、色彩、亮度、虛化等層面上進(jìn)行人與場(chǎng)景的融合處理，實(shí)現(xiàn)人與景和諧、自然的效果。

2.7-【蒼穹夜景系統(tǒng)】

蒼穹夜景系統(tǒng)進(jìn)行全面AI升級(jí)，基于百萬(wàn)夜景照片訓(xùn)練出三個(gè)全新模型：超感光模型、全分割語(yǔ)義模型和臻彩影調(diào)模型。超感光模型：將感光能力最大提升了100%，ISO最高可支持102400；全分割語(yǔ)義模型和臻彩影調(diào)模型聯(lián)合，實(shí)現(xiàn)了自適應(yīng)的影調(diào)和色彩調(diào)整能力。

三、影像芯片名詞

3.1-【AI-ISP】

在下一代自研芯片的設(shè)計(jì)中，vivo升級(jí)了全新的架構(gòu)，從傳統(tǒng)ISP架構(gòu)升級(jí)到了AI-ISP架構(gòu)，實(shí)現(xiàn)了跨越式的技術(shù)革新。傳統(tǒng)ISP能以極低延時(shí)處理大量的數(shù)據(jù)流水，但是只能解決已知的、特定的問(wèn)題。AI擅長(zhǎng)處理復(fù)雜的、未知的問(wèn)題，但是延時(shí)較大。

AI-ISP結(jié)合兩者的優(yōu)勢(shì)，相當(dāng)于給傳統(tǒng)ISP芯片加一個(gè)新的AI大腦，這個(gè)AI大腦的神經(jīng)元分布是網(wǎng)狀結(jié)構(gòu)的，更適合海量的發(fā)散式信息處理。相比于傳統(tǒng)的架構(gòu)，AI-ISP能夠通過(guò)硬件直連的方式將AI計(jì)算直接融入ISP Pipeline中，完成數(shù)據(jù)的無(wú)縫緩沖和處理，處理能力、處理能效都有大幅提升。

基于AI-ISP這個(gè)架構(gòu)革新，vivo在下一代自研芯片上實(shí)現(xiàn)了三大突破: 片上內(nèi)存單元的突破、AI計(jì)算單元的突破、圖像處理單元的突破。

3.2-【vivo自研片上內(nèi)存單元】

作用：提升數(shù)據(jù)吞吐速率。

行業(yè)常用的DDR架構(gòu)的內(nèi)存單元，采用片外存儲(chǔ)的形式，存在延遲高、功耗高的弊端，限制了數(shù)據(jù)吞吐速率，限制了視頻類數(shù)據(jù)推理運(yùn)算的效率。

為了解決這個(gè)問(wèn)題，vivo在內(nèi)存單元的設(shè)計(jì)中，堅(jiān)持使用昂貴的DDR-Less片內(nèi)近存運(yùn)算架構(gòu)，配合硬化在片上的超大SRAM，實(shí)現(xiàn)了運(yùn)算快、延時(shí)低的特征，使數(shù)據(jù)吞吐速率達(dá)到了不可思議的1.3萬(wàn)億比特（bit/s）。

3.3-【vivo自研AI計(jì)算單元】

作用：帶來(lái)超高的能效比。

vivo選擇了更適合做復(fù)雜計(jì)算成像運(yùn)算的DLA加速器。AI算法是數(shù)據(jù)驅(qū)動(dòng)的。在運(yùn)算過(guò)程中，需要大量的數(shù)據(jù)比較、擬合。要想進(jìn)一步突破能效比，就要解決延遲和功耗兩方面的問(wèn)題。

延遲方面，DLA加速器中內(nèi)嵌了專用的片上SRAM，并且可以與其他模塊共享自研內(nèi)存單元上的系統(tǒng)緩存，大幅減少了數(shù)據(jù)訪問(wèn)延遲。

功耗方面，vivo將算法和DLA聯(lián)合定制設(shè)計(jì)，實(shí)現(xiàn)了軟硬協(xié)同優(yōu)化。DLA加速器的峰值能效比達(dá)到每瓦16.3萬(wàn)億次運(yùn)算（Tops/w），妥妥的天花板水平。

【備注】DLA是Deep Learning Accelerator深度學(xué)習(xí)加速器的縮寫

3.4-【vivo自研圖像處理單元】

作用：帶來(lái)了全新的算法效果。

比如AI-NR降噪算法。結(jié)合新的硬件能力，vivo把V1+的NR算法做了AI化的升級(jí)，通過(guò)AI運(yùn)算，帶來(lái)了更好的夜景畫面細(xì)節(jié)，夜景降噪效果提升了20%（vivo實(shí)驗(yàn)室）。

再比如HDR影調(diào)融合（Tone mapping）算法，配合電影級(jí)的3D LUTs色彩風(fēng)格，可以滿足專業(yè)用戶的一級(jí)整體調(diào)色、二級(jí)局部調(diào)色的需求。在城市夜景下，動(dòng)態(tài)范圍較之前，理論最大提升4EV。

還有大家熟悉的MEMC插幀算法，也進(jìn)一步改善了延遲問(wèn)題，提升了效果。

四、風(fēng)光/夜景相關(guān)技術(shù)名詞

4.1-【“智能白加黑減”技術(shù)】-影調(diào)技術(shù)

有經(jīng)驗(yàn)的攝影師，會(huì)根據(jù)主體與所處環(huán)境的關(guān)系調(diào)整曝光，手動(dòng)增加或者減少曝光，這就是攝影中的“白加黑減”。在X80上，vivo推出了“智能白加黑減”技術(shù)。現(xiàn)在vivo又將AE訓(xùn)練集拓展至原來(lái)的5.5倍。將用戶痛點(diǎn)場(chǎng)景進(jìn)行了影調(diào)優(yōu)化，曝光準(zhǔn)確性提升了14%，觀感上更加通透立體。

備注：白加黑減的原理

白加黑減不是適合所有的場(chǎng)景拍攝，只有在拍攝物體是純白色或純黑色的情況下，相機(jī)的智能系統(tǒng)會(huì)認(rèn)為物體過(guò)曝或欠曝，會(huì)自動(dòng)降低白色的曝光和拉高黑色的曝光，本身白色和黑色的物體就成了灰白和灰黑的狀態(tài)（也就是18度灰），所以要加曝光補(bǔ)償和減曝光補(bǔ)償去還原白色與黑色的純度。

4.2-【SuperRAW】-畫質(zhì)技術(shù)

vivo為專業(yè)人士提供更為強(qiáng)大的RAW輸出功能，可以輸出14bit高位深的多幀算法融合SuperRAW文件，其色彩信息量是單幀RAW的16倍。理論上可最多承載4.39萬(wàn)億色的色彩信息，實(shí)現(xiàn)高達(dá)15EV的動(dòng)態(tài)范圍。技術(shù)首發(fā)vivo X70系列。

備注：RAW格式

有高寬容度的特點(diǎn)，這是源于它記錄了大量的原始數(shù)據(jù)，因此用戶可以在原始數(shù)據(jù)所記錄的范圍內(nèi)做自由調(diào)整，實(shí)現(xiàn)照片的美化及校正處理。

4.3-【光學(xué)超分算法】-畫質(zhì)技術(shù)

手機(jī)因?yàn)轶w積限制，導(dǎo)致在光學(xué)上做了一些妥協(xié)。以潛望攝像頭為例，原始圖像經(jīng)過(guò)鏡頭之后會(huì)損失50%的信息。為了改善這種現(xiàn)象，vivo研發(fā)了“光學(xué)超分算法”，通過(guò)對(duì)鏡頭的缺陷做建模分析，恢復(fù)了約35%的損失信息。

“光學(xué)超分算法”只是實(shí)現(xiàn)超清畫質(zhì)的起點(diǎn)，vivo耦合了Denoise、Demosaic、Deblur等模塊，經(jīng)過(guò)1億多次的場(chǎng)景訓(xùn)練，將上一代算法深度運(yùn)算能力提升10倍，構(gòu)建了全新的超清畫質(zhì)引擎， 將畫質(zhì)處理從單點(diǎn)方案，升級(jí)為系統(tǒng)性的AI解決方案。

4.4-【VCS仿生光譜技術(shù)】-畫質(zhì)技術(shù)

VCS仿生光譜技術(shù)（vivo Camera-Bionic Spectrum）

光線在進(jìn)入感光元件時(shí)，會(huì)先通過(guò)color filter，而普通圖像傳感器的color filter光譜與人眼差異很大，需要經(jīng)過(guò)復(fù)雜處理后，才能還原人眼所感知的信息，這個(gè)處理過(guò)程會(huì)導(dǎo)致畫質(zhì)變差。VCS技術(shù)，就是通過(guò)改進(jìn)color filter，讓傳感器接收的原始信息不斷接近人眼，從而實(shí)現(xiàn)更好的噪聲表現(xiàn)和色彩還原，信噪比提升20%, 色彩還原提升15%。

【備注】VCS仿生光譜技術(shù)，在光學(xué)感知環(huán)節(jié)。和華為計(jì)算光學(xué)不同，華為的計(jì)算光學(xué)更像我們的光學(xué)超分算法，是感知后的補(bǔ)償動(dòng)作。

4.5-【RGBW技術(shù)】-畫質(zhì)技術(shù)

RGBW技術(shù)是在原有的RGB三原色上增加了W白色子像素，成為四色型像素設(shè)計(jì)，是sub pixel rendering技術(shù)方式。在新的像素排布方式下實(shí)現(xiàn)色彩表現(xiàn)的一致性。同時(shí)大幅度提升了液晶面板的透光率，在顯示相同亮度的畫面時(shí)，其耗電量更低;而相同功耗的情況下，亮度大幅提高，這使得畫面層次更加分明，畫面更通透。

【備注】X80上已發(fā)布技術(shù)，作為補(bǔ)充輸入

五、人像相關(guān)技術(shù)名詞

5.1-【人像理解技術(shù)】

vivo“人像理解技術(shù)”會(huì)像(click)專業(yè)修圖師一樣進(jìn)行分區(qū)檢測(cè)，分析人臉的語(yǔ)義重點(diǎn)和輪廓細(xì)節(jié)，建立多達(dá)103個(gè)特征點(diǎn)的關(guān)鍵人臉坐標(biāo)，平均點(diǎn)位精度誤差小于2像素。同時(shí)，會(huì)對(duì)畫面中的皮膚、手勢(shì)、肢體關(guān)鍵點(diǎn)進(jìn)行檢測(cè)，主體分割 IOU達(dá)到了96.15%的精確度，為靜態(tài)人像重塑和動(dòng)態(tài)人像抓拍提供了精細(xì)化的處理能力。

5.2-【微米級(jí)煥膚塑顏技術(shù)】

利用類似人工智能訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)技術(shù)，不斷地通過(guò)修圖器跟修圖評(píng)估器的博弈來(lái)找到修圖最好的方向。訓(xùn)練過(guò)程簡(jiǎn)言之就是，給AI一張圖片讓算法修圖，然后去判斷，同樣一張圖跟修圖師精修出來(lái)的圖片相似程度如何，根據(jù)判斷結(jié)果實(shí)現(xiàn)AI算法的不斷進(jìn)化。vivo通過(guò)對(duì)不同年齡、性別、場(chǎng)景的數(shù)以百萬(wàn)計(jì)的素材的反復(fù)的機(jī)器學(xué)習(xí)，打造了全新升級(jí)的“微米級(jí)煥膚塑顏技術(shù)”，使皮膚觀感更加自然、健康，也更好地保留了五官立 體感。

5.3-【人像氛圍融合技術(shù)】

基于人像語(yǔ)義理解，vivo“人像氛圍融合”技術(shù)在影調(diào)、色彩、亮度、虛化等層面上，進(jìn)行人與場(chǎng)景的融合處理，實(shí)現(xiàn)人與景和諧、自然的效果。

5.4-【深度感知虛化】

深度感知虛化，是一項(xiàng)vivo的算法技術(shù)。想要還原鏡頭的成像，一定要通過(guò)深度計(jì)算獲得圖片的深度信息，并給予圖像合理的虛化效果。vivo的虛化算法結(jié)合了雙目深度圖和人像、手勢(shì)分割，采用了深度卷積網(wǎng)絡(luò)，保證焦內(nèi)主體清晰。焦外物體的虛化程度也是有講究的，前景到焦平面，焦平面到遠(yuǎn)景，每個(gè)鏡頭各不相同，但vivo都建立了虛化模型，通過(guò)函數(shù)計(jì)算虛化的程度和光斑大小，最終呈現(xiàn)出景深范圍內(nèi)清晰，景深范圍外深度漸進(jìn)的3D-pop虛化效果。

六、視頻相關(guān)技術(shù)名詞

6.1-【HDR影調(diào)融合算法】

HDR影調(diào)融合技術(shù)主要是與視頻相關(guān)的技術(shù)，包括一級(jí)整體調(diào)色和二級(jí)局部調(diào)色，同時(shí)動(dòng)態(tài)范圍也會(huì)較之前理論最大提升4EV。

【備注】跟XDR技術(shù)、Super HDR有什么不同

• XDR技術(shù)為顯示技術(shù)；

• Super HDR為拍照技術(shù)，目前已經(jīng)升級(jí)到RAWHDR技術(shù)。

6.2-【專業(yè)LOG模式】

在電影工業(yè)中，為了最大限度保證視頻的動(dòng)態(tài)范圍，常常用LOG方式進(jìn)行拍攝，以便用戶在視頻后期中進(jìn)行精細(xì)化的色彩調(diào)節(jié)，形成一整套的電影創(chuàng)作流程。vivo將LOG模式以及復(fù)雜的后期的調(diào)色流程進(jìn)行了前移和簡(jiǎn)化，基于10bit的LOG文件，在拍攝端提供了多款電影級(jí)的3D LUTs色彩風(fēng)格，通過(guò)10bit LOG+3D LUTs的視頻解決方案，讓普通用戶也能通過(guò)vivo一鍵拍出電影感。

備注：Log模式原理

簡(jiǎn)單地說(shuō)，相機(jī)的圖像傳感器所記錄的曝光信息為線性曝光，但是利用log曲線可以對(duì)原始數(shù)據(jù)的影調(diào)進(jìn)行非線性地調(diào)節(jié)，使我們能夠在有限的數(shù)據(jù)中保持較多的明暗信息，從而達(dá)到更大的動(dòng)態(tài)范圍。