新穎的軟件可以識(shí)別日常情況下的眼神接觸

人眼接觸是重要的信息來(lái)源。然而，計(jì)算機(jī)系統(tǒng)在日常情況下識(shí)別眼神接觸的能力非常有限。薩爾大學(xué)和馬克斯普朗克信息學(xué)研究所的計(jì)算機(jī)科學(xué)家現(xiàn)已開發(fā)出一種方法，通過(guò)該方法可以檢測(cè)目光接觸，與目標(biāo)物體的類型和大小，攝像機(jī)的位置或環(huán)境無(wú)關(guān)。

“直到現(xiàn)在，如果你要在行人專區(qū)掛一張廣告海報(bào)，你就無(wú)法確定有多少人真正看過(guò)它，”薩爾蘭大學(xué)和馬克斯普朗克信息學(xué)研究所的Andreas Bulling解釋道。以前系統(tǒng)試圖通過(guò)測(cè)量凝視方向來(lái)捕獲該信息。這需要特殊的眼動(dòng)追蹤設(shè)備，需要長(zhǎng)達(dá)數(shù)分鐘的校準(zhǔn)，并且受試者必須佩戴跟蹤器?，F(xiàn)實(shí)世界的研究，例如在步行區(qū)，甚至只是與多人一起，在最好的情況下是非常復(fù)雜的，在最壞的情況下，是不可能的。

即使使用放置在目標(biāo)海報(bào)上的相機(jī)進(jìn)行機(jī)器學(xué)習(xí)，也只能識(shí)別相機(jī)本身。通常，訓(xùn)練數(shù)據(jù)與目標(biāo)環(huán)境中的數(shù)據(jù)之間的差異太大。在固定和移動(dòng)情況下，跟蹤一個(gè)用戶或整個(gè)組，或在變化的照明條件下，開發(fā)適用于小型和大型目標(biāo)物體的通用眼接觸探測(cè)器是非常困難的。

與研究人員Xucong Zhang和Yusuke Sugano一起，Bulling開發(fā)了一種基于新一代算法的方法來(lái)估計(jì)注視方向。它們使用特殊類型的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，處于工業(yè)和商業(yè)的許多領(lǐng)域的最前沿。Bulling和他的同事已經(jīng)在這種方法上工作了兩年，并逐步推進(jìn)了這一方法。在他們現(xiàn)在呈現(xiàn)的方法中，進(jìn)行所謂的凝視方向的所謂聚類。通過(guò)這種策略，可以根據(jù)各種特征區(qū)分蘋果和梨，而無(wú)需明確說(shuō)明兩者的不同之處。

在第二步驟中，系統(tǒng)識(shí)別最可能的聚類，并且所得到的凝視方向估計(jì)用于訓(xùn)練目標(biāo)對(duì)象特定的眼睛接觸檢測(cè)器。該過(guò)程的決定性優(yōu)點(diǎn)在于它可以在沒(méi)有用戶參與的情況下執(zhí)行，并且該方法得到改進(jìn)，相機(jī)保持在目標(biāo)對(duì)象旁邊并記錄數(shù)據(jù)的時(shí)間越長(zhǎng)。“通過(guò)這種方式，我們的方法將普通相機(jī)變成了眼睛接觸探測(cè)器，而不必事先知道或指定目標(biāo)物體的大小或位置，”Bulling解釋說(shuō)。

研究人員在兩種情況下測(cè)試了他們的方法：在工作空間中，攝像機(jī)安裝在目標(biāo)物體上; 在日常情況下，用戶佩戴體上相機(jī)。由于該方法為自身提供了知識(shí)，因此即使涉及的人數(shù)，照明條件，相機(jī)位置以及目標(biāo)對(duì)象的類型和大小不同，它也是健壯的。

然而，Bulling說(shuō)，“原則上，我們可以只用一臺(tái)攝像機(jī)識(shí)別多個(gè)目標(biāo)物體上的目光接觸星團(tuán)，但是這些星團(tuán)的分配還不可能。我們的方法目前假設(shè)最近的星團(tuán)屬于目標(biāo)對(duì)象，并忽略其他集群。這個(gè)限制是我們接下來(lái)要解決的問(wèn)題。“ 然而，他說(shuō)，“我們提出的方法是向前邁出的一大步。它不僅為自動(dòng)識(shí)別眼神接觸并對(duì)其作出反應(yīng)的新用戶界面鋪平了道路，而且還為日常情況下的眼神接觸測(cè)量鋪平了道路，例如室外廣告，以前不可能。“