查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)Nweon

顏色校正管道

（映維網(wǎng)Nweon?2023年08月29日）對(duì)于AR，來(lái)自物理環(huán)境的光的亮度或色度會(huì)干擾計(jì)算機(jī)生成內(nèi)容，從而減損用戶體驗(yàn)。蘋(píng)果認(rèn)為，傳統(tǒng)的顏色校正方法不能有效地解釋來(lái)自物理環(huán)境的光。所以在名為“Color correction pipeline”的專利申請(qǐng)中，這家公司提出了一種顏色校正管道。

圖2是示例性顏色校正管道200。顏色校正管道200可以集成在包括透明顯示器270的電子設(shè)備中，例如AR設(shè)備。

顏色校正管道200包括用于感測(cè)環(huán)境光202并輸出相應(yīng)的傳感器數(shù)據(jù)的感器子系統(tǒng)206。傳感器子系統(tǒng)206包括環(huán)境傳感器的組合，并包括具有深度傳感器的單色或彩色攝像頭。

顏色校正管道200包括光疊加特征值發(fā)生器208，以基于相應(yīng)的傳感器數(shù)據(jù)確定多個(gè)光疊加特征值。多個(gè)光疊加特征值與來(lái)自物理環(huán)境的環(huán)境光202相關(guān)聯(lián)。所述多個(gè)光疊加特征值量化所述環(huán)境光202。例如，多個(gè)光疊加特征值包括表征環(huán)境光202的亮度值和色度值的組合。

顏色校正管道200包括圖像數(shù)據(jù)修正器240，圖像數(shù)據(jù)修正器240基于多個(gè)光疊加特征值和參考感知色域的函數(shù)修改圖像數(shù)據(jù)以生成修改的圖像數(shù)據(jù)。

修改后的圖像數(shù)據(jù)滿足相對(duì)于多個(gè)光疊加特征值的顏色對(duì)比度閾值。作為一個(gè)示例，圖像數(shù)據(jù)表示白色幽靈，并且多個(gè)光疊加特征值包括與環(huán)境光202相關(guān)聯(lián)的綠色色度值。

當(dāng)電子設(shè)備的透明顯示器指向森林中的樹(shù)木時(shí)，圖像數(shù)據(jù)修改器240修改白色幽靈，使得白色幽靈在透明顯示器270顯示時(shí)呈現(xiàn)白色并且基本上沒(méi)有綠色色調(diào)。

相應(yīng)地，圖像數(shù)據(jù)修改器240改變白色幽靈的顏色，以抵消與環(huán)境光202相關(guān)聯(lián)的綠色色度。在一個(gè)實(shí)施例中，圖像數(shù)據(jù)修飾器240包括色調(diào)映射器245，其相對(duì)于圖像數(shù)據(jù)執(zhí)行色調(diào)映射操作。

在一個(gè)實(shí)施例中，修改后的圖像數(shù)據(jù)滿足相對(duì)于多個(gè)光疊加特征值的亮度對(duì)比度閾值。例如，圖像數(shù)據(jù)表示白色幽靈，并且多個(gè)光疊加特征值包括相對(duì)較高的亮度水平。

當(dāng)電子設(shè)備指向太陽(yáng)時(shí)，圖像數(shù)據(jù)修改器240修改白幽靈，使得代表白色幽靈的圖像數(shù)據(jù)的一部分變暗或著色，以抵消相對(duì)較高的太陽(yáng)亮度。

顏色校正管道200包括第一色域映射器220，第一色域映射器220將參考物理色域映射到參考感知色域。參考物理色域與透明顯示器270相關(guān)聯(lián)。

例如，參考物理色域指示可由透明顯示器270顯示的亮度范圍或顏色范圍。作為另一示例，參考物理色域?qū)⑼该黠@示器270表征為進(jìn)入透明顯示器270的標(biāo)稱量的環(huán)境光202。第一色域映射器220基于參考物理色域和顏色外觀模型的函數(shù)確定參考感知色域。

顏色校正管道200進(jìn)一步包括第二色域映射器260。第二色域映射器260從圖像數(shù)據(jù)修改器240接收修改后的圖像數(shù)據(jù)。第二色域映射器260基于多個(gè)光疊加特征值的一部分和參考物理色域的函數(shù)將修改后的圖像數(shù)據(jù)轉(zhuǎn)換為顯示數(shù)據(jù)。

例如，第二色域映射器260基于所修改的圖像數(shù)據(jù)的顏色特征函數(shù)和所述多個(gè)光疊加特征值中所包括的色度值和亮度值的組合對(duì)所修改的圖像數(shù)據(jù)進(jìn)行變換。因此，第二色域映射器260在四個(gè)或更多維度中執(zhí)行色域映射。第二色域映射器260可提供用于在透明顯示器270顯示的顯示數(shù)據(jù)。

圖3是顏色校正管道300的框圖的另一示例。顏色校正管道300類似于并改編自圖2所示的顏色校正管道200。

顏色校正管道300包括基于多個(gè)光疊加特征值的一個(gè)或多個(gè)修改部分修改圖像數(shù)據(jù)的圖像數(shù)據(jù)修改器320。為此，顏色校正管道300包括光疊加特征值標(biāo)識(shí)符302，而標(biāo)識(shí)符基于圖像數(shù)據(jù)的相應(yīng)部分，并識(shí)別跨透明顯示器270的多個(gè)光疊加特征值的相應(yīng)部分。

光疊加特征值標(biāo)識(shí)符302從光疊加特征值發(fā)生器208獲得多個(gè)光疊加特征值。例如，所述光疊加特征值標(biāo)識(shí)符302標(biāo)識(shí)與所述透明顯示器270第一區(qū)域相關(guān)聯(lián)的多個(gè)光疊加特征值的第一部分。

在一個(gè)實(shí)施例中，顏色校正管道300包括深度傳感器150，并且光疊加特征值標(biāo)識(shí)符302使用來(lái)自深度傳感器150的深度傳感器數(shù)據(jù)，以便識(shí)別多個(gè)光疊加特征值的相應(yīng)部分。例如，如深度傳感器數(shù)據(jù)所示，所述光疊加特征值標(biāo)識(shí)符302識(shí)別與物理環(huán)境的前景相關(guān)聯(lián)的多個(gè)光疊加特征值的第二部分。

顏色校正管道300包括光疊加特征值修飾器310，其從光疊加特征值標(biāo)識(shí)符302獲得多個(gè)光疊加特征值的部分。所述光疊加特征值修改器310基于與所述圖像數(shù)據(jù)相關(guān)聯(lián)的預(yù)定顯示特征的函數(shù)修改所述多個(gè)光疊加特征值的一個(gè)或多個(gè)相應(yīng)部分，以生成所述多個(gè)光疊加特征值的一個(gè)或多個(gè)修改部分。例如，預(yù)定的顯示特性包括與所述圖像數(shù)據(jù)相關(guān)聯(lián)的優(yōu)選色度和亮度值的組合。

所述光疊加特征值修飾器310將均勻亮度函數(shù)312應(yīng)用于所述多個(gè)光疊加特征值的一個(gè)或多個(gè)相應(yīng)部分。例如，當(dāng)圖像數(shù)據(jù)的一部分表示人臉時(shí)，將以基本均勻的膚色再現(xiàn)相應(yīng)的區(qū)域。

所述光疊加特征值修飾器310將亮度平滑函數(shù)314應(yīng)用于所述多個(gè)光疊加特征值的一個(gè)或多個(gè)相應(yīng)部分。例如，亮度平滑函數(shù)314實(shí)現(xiàn)高斯平滑、均勻移動(dòng)平均平滑等。所述光疊加特征值修飾器310將所述多個(gè)光疊加特征值的一個(gè)或多個(gè)修飾部分提供給圖像數(shù)據(jù)修飾器320。

圖像數(shù)據(jù)修改器320基于多個(gè)光疊加特征值和參考感知色域的一個(gè)或多個(gè)修改部分的函數(shù)修改圖像數(shù)據(jù)，如參照?qǐng)D2中的圖像數(shù)據(jù)修改器240所述。圖像數(shù)據(jù)修改器320向第二色域映射器260提供修改后的圖像數(shù)據(jù)。第二色域映射器260將修改后的圖像數(shù)據(jù)轉(zhuǎn)換為顯示數(shù)據(jù)，以便在透明顯示器270顯示。

圖4是基于語(yǔ)義的顏色校正管道400?；谡Z(yǔ)義的顏色校正管道400根據(jù)相應(yīng)語(yǔ)義值的函數(shù)選擇性地修改圖像數(shù)據(jù)。

例如，基于語(yǔ)義的顏色校正管道400修改與滿足標(biāo)準(zhǔn)的第一語(yǔ)義值相關(guān)聯(lián)的圖像數(shù)據(jù)的第一部分。為此，基于語(yǔ)義的顏色校正管道400包括語(yǔ)義值生成器410，而語(yǔ)義值生成器410獲取或生成分別與圖像數(shù)據(jù)的多個(gè)部分相關(guān)聯(lián)的多個(gè)語(yǔ)義值。

在一個(gè)實(shí)施例中，語(yǔ)義值生成器410從另一系統(tǒng)獲取多個(gè)語(yǔ)義值。作為另一示例，語(yǔ)義值生成器410通過(guò)相對(duì)于圖像數(shù)據(jù)執(zhí)行語(yǔ)義分割來(lái)生成多個(gè)語(yǔ)義值。語(yǔ)義值生成器410借助集成在基于語(yǔ)義的顏色校正管道400內(nèi)的神經(jīng)網(wǎng)絡(luò)生成多個(gè)語(yǔ)義值。

另外，基于語(yǔ)義的顏色校正管道400包括語(yǔ)義值標(biāo)識(shí)符420，標(biāo)識(shí)符420從語(yǔ)義值生成器410獲得多個(gè)語(yǔ)義值?；谡Z(yǔ)義的顏色校正管道400從多個(gè)語(yǔ)義值中識(shí)別出滿足準(zhǔn)則的第一個(gè)語(yǔ)義值。語(yǔ)義值標(biāo)識(shí)符420向圖像數(shù)據(jù)修飾器430提供第一語(yǔ)義值。

所述圖像數(shù)據(jù)修改器430修改所述圖像數(shù)據(jù)以生成修改后的圖像數(shù)據(jù)，類似于圖2或圖3所述。在一個(gè)實(shí)施例中，圖像數(shù)據(jù)修飾器430將場(chǎng)景對(duì)象修飾器432應(yīng)用于圖像數(shù)據(jù)的第一部分，以便強(qiáng)調(diào)所識(shí)別的感興趣對(duì)象，比如增加圖像數(shù)據(jù)的第一部分與多個(gè)光疊加特征值之間的顏色對(duì)比度或亮度對(duì)比度。

圖5是顏色校正的圖形表示500。圖形表示500表示亮度504（在x軸）和亮度502（在y軸）之間的關(guān)系。亮度504與來(lái)自物理環(huán)境的環(huán)境光相關(guān)聯(lián)。亮度502和與用戶對(duì)光的感知相關(guān)聯(lián)的感知空間相關(guān)聯(lián)。圖形表示500對(duì)應(yīng)于說(shuō)明物理亮度值（x軸）和感知亮度值（y軸）之間的感知顏色空間映射的對(duì)數(shù)曲線506。

換句話說(shuō)，圖形表示500表示顏色校正作為與物理環(huán)境相關(guān)的亮度值的函數(shù)。顏色校正可以是與圖像數(shù)據(jù)相關(guān)聯(lián)的色度的函數(shù)，并且色度值包括在與環(huán)境光相關(guān)聯(lián)的多個(gè)光疊加特征值中。

為了恢復(fù)最初預(yù)期的對(duì)比度關(guān)系，發(fā)明描述的實(shí)施例提供顏色校正520。顏色校正520從圖像數(shù)據(jù)生成基于光疊加特性的顯示數(shù)據(jù)，即參考感知色域和參考物理色域。

根據(jù)各種實(shí)施例，顏色校正520由圖2中的顏色校正管道200、圖3中的顏色校正管道300或圖4中基于語(yǔ)義的顏色校正管道400中的一種來(lái)實(shí)現(xiàn)。

在一個(gè)實(shí)施例中，顏色校正520包括基于與來(lái)自物理環(huán)境的環(huán)境光相關(guān)聯(lián)的確定的光疊加特征值，相對(duì)于圖像數(shù)據(jù)執(zhí)行對(duì)比度恢復(fù)色調(diào)映射。為此，顏色校正520恢復(fù)參考感知色域和參考物理色域之間的動(dòng)態(tài)損失。

在一個(gè)實(shí)施例中，顏色校正520包括4+維色域變換。例如，顏色校正520包括7維色域映射，包括與映射圖像數(shù)據(jù)到透明顯示器相關(guān)聯(lián)的三維、與環(huán)境光相關(guān)聯(lián)的色度值相關(guān)聯(lián)的三維，以及與環(huán)境光相關(guān)聯(lián)的亮度值相關(guān)聯(lián)的另一個(gè)維度。

基于顏色校正520，將亮度值從第一范圍510擴(kuò)展到第二范圍512，如圖5所示。相應(yīng)地，x軸上的亮度值從初始范圍(0 – lref,Max 508)擴(kuò)展到擴(kuò)展范圍(Lb 514- Lt,Max 516)。例如，Lb 514對(duì)應(yīng)于由亮度值表示的背景亮度。Lt,Max 516對(duì)應(yīng)于與顏色校正520產(chǎn)生的物理色域相關(guān)的最大亮度。相應(yīng)地，顏色校正520將最大亮度范圍從LRef,Max 508增加到Lt,Max 516。

圖6是基于光疊加特征值和參考色域修改圖像數(shù)據(jù)的方法600。

如602所示，確定與來(lái)自物理環(huán)境的環(huán)境光相關(guān)的多個(gè)光疊加特征值。多個(gè)光疊加特征值對(duì)環(huán)境光進(jìn)行量化。

在604，獲取與透明顯示相關(guān)聯(lián)的參考物理色域。

在606，基于顏色外觀模型的函數(shù)將參考物理色域轉(zhuǎn)換為參考感知色域。

在608，修改圖像數(shù)據(jù)，以便基于多個(gè)光疊加特征值和參考感知色域的函數(shù)生成修改的圖像數(shù)據(jù)。

在610，修改圖像數(shù)據(jù)包括對(duì)圖像數(shù)據(jù)應(yīng)用色調(diào)映射操作。例如，色調(diào)映射操作恢復(fù)在具有非零亮度值的物理環(huán)境中丟失的對(duì)比度。

在612，基于多個(gè)光疊加特征值的一部分與參考物理色域的函數(shù)將修改后的圖像數(shù)據(jù)轉(zhuǎn)換為顯示數(shù)據(jù)。顯示數(shù)據(jù)顯示在透明顯示器270。

在614，對(duì)修改的圖像數(shù)據(jù)的轉(zhuǎn)換包括對(duì)修改的圖像數(shù)據(jù)應(yīng)用色域映射操作。

在618，在透視顯示器顯示所述顯示數(shù)據(jù)，如在圖2中的透視顯示器270顯示顯示數(shù)據(jù)。

圖7是基于光疊加特征值和參考色域選擇性地修改部分圖像數(shù)據(jù)的方法700。

如702所示，確定與來(lái)自物理環(huán)境的環(huán)境光相關(guān)的多個(gè)光疊加特征值。多個(gè)光疊加特征值對(duì)環(huán)境光進(jìn)行量化。

在704，基于圖像數(shù)據(jù)的相應(yīng)部分識(shí)別跨透明顯示的多個(gè)光疊加特征值的相應(yīng)部分。

在706，基于與圖像數(shù)據(jù)相關(guān)聯(lián)的預(yù)定顯示特征的函數(shù)修改多個(gè)光疊加特征值的一個(gè)或多個(gè)相應(yīng)部分，以便生成多個(gè)光疊加特征值的一個(gè)或多個(gè)修改部分。所述預(yù)定顯示特性可包括與所述圖像數(shù)據(jù)相關(guān)聯(lián)的色度值和亮度值的組合。

在708，從圖像數(shù)據(jù)生成基于多個(gè)光疊加特征值和參考感知色域的一個(gè)或多個(gè)修改部分的修改圖像數(shù)據(jù)。

在710，生成修改的圖像數(shù)據(jù)包括修改圖像數(shù)據(jù)的語(yǔ)義識(shí)別的第一部分。為此，方法700包括獲得分別與所述圖像數(shù)據(jù)中的多個(gè)部分相關(guān)聯(lián)的多個(gè)語(yǔ)義值。所述多個(gè)部分包括所述圖像數(shù)據(jù)的第一部分和所述圖像數(shù)據(jù)的第二部分。

在712，方基于多個(gè)光疊加特征值的一部分與參考物理色域的函數(shù)將修改后的圖像數(shù)據(jù)轉(zhuǎn)換為顯示數(shù)據(jù)。

在714，在透明顯示器上顯示所述顯示數(shù)據(jù)，如圖3或圖4中的透明顯示器270。

相關(guān)專利：Apple Patent | Color correction pipeline

https://patent.nweon.com/30035

名為“Color correction pipeline”的專利申請(qǐng)最初在2022年12月提交，并在日前由美國(guó)專利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/112041