蘋果的Measure應(yīng)用程序可能會(huì)通過AR獲得即時(shí)自動(dòng)的測(cè)量

Apple正在尋求將Apple AR技術(shù)添加到 iPhone 上的 Measure 應(yīng)用程序中，使其更準(zhǔn)確，并使用測(cè)量值自動(dòng)注釋對(duì)象。

引入 LiDAR 后，iPhone上的 Measure 應(yīng)用程序變得有用且更加準(zhǔn)確?，F(xiàn)在，Apple 一直在研究引入其 Apple AR 技術(shù)，以使其更快、更準(zhǔn)確。

將來，將 iPhone 相機(jī)對(duì)準(zhǔn)某個(gè)物體可以自動(dòng)在屏幕上顯示其測(cè)量值通知。它將通過 AR 來實(shí)現(xiàn)，并且部分地通過機(jī)器學(xué)習(xí)對(duì)不同類型的對(duì)象來實(shí)現(xiàn)。

“基于對(duì)象分類的自動(dòng)測(cè)量”是一項(xiàng)新公開的專利申請(qǐng)。它涉及如何確定您對(duì)哪個(gè)對(duì)象感興趣，然后如何準(zhǔn)確地測(cè)量它。

該專利申請(qǐng)?zhí)貏e廣泛，包括“獲得物理環(huán)境三維(3D)表示的設(shè)備、系統(tǒng)和方法”。生成的細(xì)節(jié)基于一系列不同的傳感器和測(cè)量值，與“深度數(shù)據(jù)和光強(qiáng)度圖像數(shù)據(jù)”有關(guān)。

“[這些] 根據(jù) 3D 表示生成與物理環(huán)境中的對(duì)象對(duì)應(yīng)的 3D 邊界框，”Apple 說，“根據(jù) 3D 邊界框和 3D 語義數(shù)據(jù)對(duì)對(duì)象進(jìn)行分類，并顯示對(duì)象的測(cè)量值，其中對(duì)象的測(cè)量是使用根據(jù)對(duì)象的分類選擇的多個(gè)特定于類的神經(jīng)網(wǎng)絡(luò)之一來確定的。”

首先，AR 將確定您對(duì)什么對(duì)象感興趣。專利申請(qǐng)并沒有詳細(xì)說明該確定是如何進(jìn)行的。不過，您可以推斷它類似于人像模式識(shí)別您正在關(guān)注前景中的人的方式。

“在某些使用物理環(huán)境的語義標(biāo)記的 3D 表示的實(shí)現(xiàn)中，對(duì)象檢測(cè)和對(duì)象測(cè)量的生成得到了促進(jìn)，”專利申請(qǐng)說。“一些實(shí)現(xiàn)對(duì)物理環(huán)境的 3D 點(diǎn)云進(jìn)行語義分割和標(biāo)記。”

然而，它決定了你對(duì)測(cè)量感興趣和不感興趣，這個(gè)未來的測(cè)量應(yīng)用程序可能會(huì)使用“多種不同的技術(shù)”。

“在某些實(shí)現(xiàn)中，通過首先根據(jù)深度數(shù)據(jù)為對(duì)象生成 3D 邊界框來測(cè)量對(duì)象，”Apple 說，“使用各種神經(jīng)網(wǎng)絡(luò)和此處描述的改進(jìn)算法改進(jìn)邊界框。”

邊界框可以從確定對(duì)象的基本寬度、高度和深度開始。然后，Measure 應(yīng)用程序進(jìn)一步嘗試對(duì)物體進(jìn)行分類，例如，它是椅子還是電視機(jī)。

“[例如，一個(gè)] 對(duì)象是使用機(jī)器學(xué)習(xí)技術(shù)(例如，神經(jīng)網(wǎng)絡(luò))對(duì)不同對(duì)象類型進(jìn)行不同類型的測(cè)量，”Apple 說。“[不同] 類型的測(cè)量可能包括椅子的座位高度、電視的顯示直徑、圓桌的桌子直徑、矩形桌子的桌子長(zhǎng)度等等。”

機(jī)器學(xué)習(xí)已經(jīng)能夠識(shí)別和分類對(duì)象，甚至可以從平面圖像中識(shí)別。例如，Pixelmator Pro 等 Mac 圖像編輯器使用它來自動(dòng)標(biāo)記圖層。

蘋果希望“訓(xùn)練”機(jī)器學(xué)習(xí)以適合測(cè)量特定對(duì)象。

“例如，可以訓(xùn)練一個(gè)模型并使用它來確定椅子類型對(duì)象的測(cè)量值(例如，確定座椅高度、手臂長(zhǎng)度等)，”Apple 說，“而另一個(gè)模型可能會(huì)被訓(xùn)練