查看引用/信息源請點擊：映維網(wǎng)Nweon

用于處理掃描對象的系統(tǒng)和方法

（映維網(wǎng)Nweon?2023年07月31日）對于AR，掃描對象以生成相應的3D模型是一個重要的過程。所以在名為”Systems and methods for processing scanned objects“的專利申請中，蘋果就介紹了一種用于處理掃描對象的系統(tǒng)和方法。

圖1示出了一名用戶正在利用諸如平板電腦這樣的設備掃描位于桌面的花瓶。

圖3示出了電子設備300掃描真實世界對象的示例性方法。在圖3中，設備300正在捕獲真實環(huán)境310的圖像。設備300包括一個或多個捕獲組件，并將其用于捕獲真實世界環(huán)境310的圖像。

在一個實施例中，設備300使用飛行時間傳感器來確定對象的形狀和大小，并使用攝像頭來確定對象的視覺特征，例如，顏色、紋理等。使用來自這兩個捕獲組件的數(shù)據(jù)，設備300能夠確定對象的大小和形狀以及對象的外觀，例如顏色，紋理等。

參考圖3，現(xiàn)實環(huán)境310包括表320和位于表320頂部的花瓶。一個或多個傳感器捕獲花瓶和表320的一部分，因此用戶界面310顯示由一個或多個傳感器捕獲的花瓶的表示330和桌子320一部分的表示。

在一個實施例中，標線302向用戶提供指南和/或目標，并允許用戶向設備300指示用戶希望掃描的對象。當將標線302放置在現(xiàn)實世界的對象上時，設備300將識別感興趣對象與現(xiàn)實世界環(huán)境中的其他對象分開，并啟動掃描對象的過程。

掃描對象的過程涉及從多個角度和/或透視圖對相應對象執(zhí)行多次捕獲。在一個實施例中，使用來自多個捕獲的數(shù)據(jù)，設備300構建相應對象的部分或完整三維掃描。設備300處理三維掃描并生成對象的三維模型。然后，設備300將三維掃描數(shù)據(jù)發(fā)送到服務器以生成對象的三維模型。

處理三維掃描和生成對象的三維模型包括執(zhí)行一個或多個攝影測量處理。三維模型可用于XR設置創(chuàng)建應用程序。

如圖4A所示，用戶已將標線402放置在對象上或附近。為了確定用戶已將標線402放置在對象上或附近，設備400將對象識別為用戶打算掃描的對象。例如在圖4A中，已將標線402放置在花瓶的表示430上，并且設備400確定用戶對掃描花瓶感興趣。

因此，設備400啟動用于掃描所述花瓶的過程。在一個實施例中，設備確定用戶是否已將標線放置在對象上一段閾值時間，例如，0.5秒，1秒，2秒，5秒，10秒，以確定用戶正在請求掃描對象。

作為確定用戶希望掃描對象的一部分，設備400執(zhí)行圖像分割以確定對象在整個環(huán)境中的邊界。圖像分割包括識別物理環(huán)境中與其他對象分離的對象?？梢允褂脧囊粋€或多個初始捕獲獲得的數(shù)據(jù)和/或信息執(zhí)行圖像分割。

在一個實施例中，設備400使用一個或多個捕獲組件對花瓶執(zhí)行一個或多個捕獲。一個或多個捕獲組件捕獲顯示在用戶界面401的總環(huán)境的子集。

如果和/或當捕獲滿足一個或多個捕獲標準時，接受對象的一部分的捕獲。例如，一個或多個捕獲標準包括一個或多個捕獲組件相對于被捕獲對象的部分處于特定位置的要求。

一個或多個捕獲標準包括要求捕獲的對象部分與先前捕獲的對象部分以閾值量重疊。如果新捕獲與前一個捕獲的重疊程度低于閾值，則不滿足一個或多個捕獲標準。重疊捕獲允許設備400將新的捕獲與以前的捕獲對齊。

設備400接受滿足一個或多個捕獲條件的對象的一部分的捕獲。不滿足一個或多個標準的對象部分的捕獲被設備400拒絕，并且可能要求用戶執(zhí)行該對象部分的另一個捕獲。

設備400接受的捕獲被保存和/或與先前捕獲的對象合并。不滿足一個或多個捕獲標準的捕獲將被丟棄。如果不滿足一個或多個捕獲條件，用戶界面401可以顯示一個或多個指示以指示和引導用戶。例如，用戶界面401可以顯示文本指示，指示用戶減速、靠近、進一步移動、移動到新位置等。

參照圖4A，設備400顯示用戶界面401，其包括花瓶的表示430和表420的一部分的表示。為了響應成功地執(zhí)行對象的一部分捕獲，設備400在用戶界面401顯示掃描進度指示。

圖4A示出了顯示第一組體素442的設備400，體素442對應于在花瓶的第一次捕獲期間捕獲的花瓶的部分。如圖4A所示，第一組體素442顯示在花瓶的表示430上，并位于被捕獲的花瓶的部分。在一個示例中，在對象本身的表示上顯示捕獲進度的指示，允許用戶接收到捕獲成功并被接受的反饋，從而幫助用戶直觀地識別已捕獲的對象部分和尚未捕獲的對象部分。

當用戶圍繞花瓶改變相對于花瓶的角度和/或位置時，設備400連續(xù)地執(zhí)行花瓶的額外捕獲。響應于花瓶的額外捕獲，并根據(jù)額外捕獲滿足一個或多個捕獲標準的確定，設備400顯示與額外捕獲的花瓶部分相對應的附加體素集。例如對于每個捕獲，設備400確定捕獲是否滿足捕獲標準，如果滿足，則接受捕獲。

例如，用戶可以移動設備400，使得標線402位于花瓶430的第二部分之上。為了確定用戶已移動設備400，使得標線402位于花瓶的第二部分上方(例如，為了確定標線402位于花瓶的第二部分上方)，設備400執(zhí)行捕獲花瓶的第二部分。在一些示例中，如果第二捕獲滿足一個或多個捕獲標準，則接受第二捕獲，并且設備40在與被捕獲的花瓶的第二部分相對應的花瓶的表示430上顯示第二組體素。

圖4B示出在被掃描對象的表示上顯示對象掃描進度指示的可選示例。如圖4B所示，為了成功地執(zhí)行對象的一部分捕獲，設備400在用戶界面401上顯示對象表示上的對象掃描進度指示。

在圖4A中，對象掃描進度的指示包括改變與成功捕獲花瓶430部分相對應的對象表示部分的一個或多個視覺特征。改變視覺特征包括改變對象表示部分的顏色、色調(diào)、亮度、陰影、飽和度等。

當設備400確定用戶對掃描花瓶感興趣時，花瓶的表示430以修改的視覺特征顯示。如圖4B所示，設備400使花瓶的表示430變暗。在一個實施例中，當捕獲花瓶的部分時，對捕獲的部分進行修改以顯示原始的未修改的視覺特征。如圖4B所示，已捕獲的表示430的部分444更新為更亮。通過這種方式，當設備400捕捉到花瓶的更多部分時，表示430看起來就好像它正在顯示花瓶的部分。

圖5A-5C舉例說明電子設備500顯示目標的示例性方法。當設備500確定用戶對掃描花瓶感興趣時，設備500確定花瓶周圍的形狀550。形狀550的生成是基于對花瓶形狀和/或大小的初步確定。

當設備500確定用戶對掃描花瓶感興趣時，設備500執(zhí)行一個或多個初始捕獲以確定花瓶的大致形狀和/或大小?？梢允褂蒙疃葌鞲衅骱鸵曈X光圖像傳感器執(zhí)行初始捕獲，然耨設備500確定花瓶的形狀和/或大小。一旦確定，形狀550可以作為一個邊界volume，以限制要捕獲的對象。

在一個實施例中，形狀550不顯示在用戶界面501中。形狀550是圍繞花瓶的表示物530的一個三維形狀。如圖5A所示，形狀550為球體。

在一個實施例中，目標552放置在形狀550的表面上，使得目標552漂浮在花瓶的代表530周圍的三維空間中。每個目標都是放置在花瓶表示530周圍的離散位置的離散視覺元素。

每個目標與對象之間的距離在可接受的距離范圍內(nèi)，目標相對于對象所面對的角度在可接受的角度范圍內(nèi)，并且每個目標之間的距離在可接受的距離內(nèi)。

當將標線502放置在目標上時，并非所有的一個或多個捕獲標準都自動滿足。例如，攝像頭必須保持與目標對齊超過閾值的時間。當設備500圍繞花瓶移動時，目標在三維空間中保持在相同的位置，允許用戶在用戶圍繞花瓶移動設備500時將標線502與目標對齊。

參照圖5A，設備500的定位使得標線502不與任何目標對齊。因此，如圖5A所示，沒有拍攝和/或接受花瓶的照片。

在圖5B中，用戶已移動設備500，使得標線502現(xiàn)在至少部分地與目標552-1對齊。為了響應與目標552-1至少部分對齊的標線502，設備500啟動用于捕獲與目標552-1對應的花瓶部分的過程。

如圖5B所示，當設備500執(zhí)行捕獲時，目標552-1顯示進度指示器554。進度指示器554可以是一個矩形進度條。除了顯示進度指示器554之外，目標552-1改變一個或多個視覺特征以指示捕獲進度。例如，目標552-1可以在捕獲發(fā)生時改變顏色。

捕獲成功完成后，目標552-1在用戶界面501中不再顯示，如圖5C所示。因此，僅接受并保存當標線502與目標對齊時拍攝的捕獲。

如圖5C所示，設備500顯示捕獲對象的預覽560。預覽560包括從與當前由一個或多個捕獲設備捕獲的對象相同的角度捕獲的對象的三維呈現(xiàn)。例如，如果設備500正面對被捕獲對象的正面，則預覽560將顯示被捕獲對象的正面。因此，當用戶圍繞花瓶移動以捕捉花瓶的不同部分時，預覽560將相應地旋轉和/或轉動花瓶的預覽。

在一個實施例中，縮放預覽560，使得被掃描的對象完全適合于預覽560。如圖5C所示，花瓶562的整體適合于預覽560。

在圖5C中，預覽560顯示了迄今為止已捕獲的花瓶部分對應的捕獲564。捕獲564根據(jù)花瓶562的大小進行縮放。如果被掃描的對象的大小較大，則由于第一次捕獲可能捕獲該對象的一小部分，因此可以以較小的尺寸顯示捕獲564。另一方面，如果被掃描對象的大小較小，則由于第一次捕獲可能捕獲該對象的很大比例，因此可以顯示大尺寸的捕獲564。

如果設備500確定特定捕獲不滿足一個或多個捕獲標準，則目標552-1繼續(xù)顯示，以向用戶指示需要在目標552-1上進行另一次捕獲嘗試。

在一個實施例中，當設備500確定用戶對掃描花瓶感興趣時，設備500可以根據(jù)花瓶的初始捕獲確定對象的特定部分需要額外捕獲。為了響應于確定需要額外捕獲，設備500可以將一個或多個附加目標放置在邊界volume的表面上或邊界volume表面的內(nèi)部或外部。

以這種方式，設備500可以在開始時確定需要額外的目標，并在用戶界面中以對象表示周圍的適當位置和/或角度顯示它們。

圖6A示出了在第一次捕獲被捕獲并接受之后的設備600的示例。

在圖6A中，在執(zhí)行與特定目標相關聯(lián)的成功捕獲之后和/或作為對執(zhí)行與特定目標相關聯(lián)的成功捕獲的響應，設備500確定用于捕獲的建議目標。

建議的捕獲目標是最接近標線602的目標。其中，建議的捕獲目標是需要最少移動量來對齊設備的目標。如果所有剩余目標與標線602和/或剛剛捕獲的目標的距離相同，則建議的目標從最近的目標中隨機選擇。

當用戶移動設備600時，建議的目標可能會發(fā)生變化。如果用戶移動設備600，使得標線602現(xiàn)在更靠近建議目標以外的目標，則設備600可以選擇一個新的，更靠近標線602的新位置的建議目標。

設備600改變用于捕獲的建議目標的視覺特征，以便在視覺上突出顯示建議目標并將其與其他目標區(qū)分開來。改變視覺特征包括改變一種或多種顏色、明暗、亮度、圖案、大小和/或形狀。

圖6B示出用戶移動設備600以使標線602與目標652-3對齊后的用戶界面601。

在圖6B中，為響應用戶將標線602與目標652-3對齊，設備600改變目標652-3的視覺特征，以表明用戶已正確地與目標652-3對齊，并且用于捕獲與目標652-3相關的花瓶部分的過程已啟動。

改變的視覺特征與選擇目標652-3作為建議目標時改變的視覺特征相同。例如，當目標652-3選擇為建議目標時，設備600改變目標652-3的顏色，則當用戶將602與目標652-3對齊時，設備600將目標652-3的顏色改變?yōu)椴煌念伾?/p>

圖6C示出用戶成功捕獲花瓶對應于目標652-3的部分后的用戶界面601。如圖6C所示，為了成功捕獲與目標652-3相對應的花瓶部分，表示630包括在表示630上與所捕獲的部分相對應的位置的體素。

如圖6C所示，為了成功捕獲與目標652-3相對應的花瓶部分，更新預覽660，使得捕獲664顯示被捕獲的花瓶部分。

設備600將目標652-3的視覺特征改變?yōu)榫哂械谌曈X特征。改變的視覺特征與FIGS中改變的視覺特征是相同的。如果當目標652-3選擇為建議目標和/或當用戶將602與目標652-3對齊時，設備600改變目標652-3的顏色，則當捕獲成功時，設備600可以將目標652-3的顏色更改為第三種顏色。在

如圖6C所示，為了成功捕獲目標652-3對應的花瓶部分，設備600選擇下一個建議目標(例如目標652-6)，并根據(jù)圖6A改變上述下一個建議目標的視覺特征。

在一個實施例中，用戶能夠物理地改變被掃描對象的方向，并且設備600能夠檢測方向的變化并相應地進行調(diào)整。

例如，用戶可以將花瓶倒過來，這樣花瓶的底部朝上。設備600能夠確定花瓶的方向已經(jīng)改變，特別是花瓶的底部現(xiàn)在朝上。為了響應這種確定，更新預覽660。

由于用戶界面601的主要部分正在顯示真實世界環(huán)境的實時視圖，因此表示630顛倒顯示。捕獲進度的指示顯示在表示630上的適當位。

在另一個示例中，用戶能夠側轉花瓶，并且更新預覽660，使捕獲664側轉，并且表示630及其伴隨體素同樣側轉顯示。所以，用戶可以在對象周圍走動并從不同角度掃描對象，然后將對象轉向掃描隱藏的區(qū)域，例如底部。

蘋果指出，掃描/捕獲現(xiàn)實世界對象以生成對象的三維模型的過程是響應在擴展現(xiàn)實XR設置中插入虛擬對象的請求而啟動。

當在XR設置創(chuàng)建應用程序中操作、生成和/或修改XR設置時，用戶可能希望插入一個三維對象模型不存在的對象。用戶能夠請求插入所述對象，并且作為對該請求的響應，設備啟動掃描/捕獲適當?shù)恼鎸嵤澜鐚ο蟮倪^程，并顯示用于掃描/捕獲真實世界對象的用戶界面。

在完成掃描/捕獲現(xiàn)實世界對象的過程后，可以使用XR設置創(chuàng)建應用程序生成占位符模型并將其插入XR設置中。在一個實施例中，占位符模型基于捕獲過程中捕獲的對象的一般大小和形狀。

在捕獲對象的過程完成后，對捕獲數(shù)據(jù)進行處理以生成完整的三維模型。處理數(shù)據(jù)包括將數(shù)據(jù)傳輸?shù)椒掌?，并且在服務器上?zhí)行模型的生成。當對象的三維對象模型完成時，XR設置創(chuàng)建應用程序會自動將占位符對象替換為已完成的對象三維模型。在一個實施例中，完成的三維模型是比占位符對象更高的分辨率對象。

相關專利：Apple Patent | Systems and methods for processing scanned objects

https://patent.nweon.com/27996

名為”Systems and methods for processing scanned objects“的蘋果專利申請最初在2022年9月提交，并在日前由美國專利商標局公布。

---
原文鏈接：https://news.nweon.com/110994