索尼IMX500和IMX501是索尼首款具有AI處理功能的圖像傳感器

智能手機(jī)提供相機(jī)圖像傳感器方面，索尼是最大的播放器。流行傳感器的例子包括48MP IMX586，該款手機(jī)于2019年在各種價(jià)格范圍內(nèi)的各種手機(jī)中使用。IMX586是64MP IMX686的繼任者。當(dāng)然，該公司不僅僅處理智能手機(jī)圖像傳感器。它擁有非常成功的高級(jí)無(wú)反光鏡相機(jī)陣容，通常被認(rèn)為是黃金標(biāo)準(zhǔn)。它不懈的創(chuàng)新步伐絲毫沒(méi)有絲毫放松的跡象，因?yàn)樗F(xiàn)已宣布即將發(fā)布其首款具有AI處理功能的圖像傳感器，分別為IMX500和IMX501。

索尼IMX500和IMX501是即將推出的兩種智能視覺(jué)傳感器型號(hào)。索尼聲稱(chēng)它們是世界上第一個(gè)配備AI處理功能的圖像傳感器。該公司表示，在圖像傳感器本身上包含AI處理功能可實(shí)現(xiàn)高速邊緣AI處理和僅提取必要的數(shù)據(jù)。與使用云服務(wù)相比，這減少了數(shù)據(jù)傳輸延遲，解決了隱私問(wèn)題并降低了功耗和通信成本。

需要特別注意的是，這兩個(gè)傳感器并非用于手機(jī)攝像頭。相反，這些應(yīng)用程序用于零售和工業(yè)設(shè)備行業(yè)，并且有助于構(gòu)建與云鏈接的“最佳系統(tǒng)”。

為什么將AI處理與傳感器本身集成在一起?索尼解釋說(shuō)，物聯(lián)網(wǎng)的普及已導(dǎo)致所有類(lèi)型的設(shè)備都連接到云，這使得信息處理系統(tǒng)司空見(jiàn)慣，從此類(lèi)設(shè)備獲得的信息將通過(guò)云上的AI進(jìn)行處理。與這種方法相關(guān)的問(wèn)題是增加了數(shù)據(jù)傳輸?shù)却龝r(shí)間，從而阻礙了實(shí)時(shí)信息處理。與將個(gè)人身份數(shù)據(jù)存儲(chǔ)在云中相關(guān)的用戶(hù)的安全問(wèn)題;以及其他問(wèn)題，例如云服務(wù)附帶的功耗和通信成本增加。

IMX500和IMX501具有堆疊配置，由像素芯片和邏輯芯片組成。邏輯芯片上配備了AI圖像分析和處理功能。由像素芯片獲取的信號(hào)通過(guò)傳感器上的AI進(jìn)行處理，從而無(wú)需高性能處理器或外部存儲(chǔ)器。反過(guò)來(lái)，這使得可以開(kāi)發(fā)邊緣AI系統(tǒng)。

傳感器輸出元數(shù)據(jù)而不是圖像信息，從而減少了數(shù)據(jù)量并解決了隱私問(wèn)題。AI功能使具有高速AI處理的實(shí)時(shí)對(duì)象跟蹤等應(yīng)用成為可能。通過(guò)根據(jù)用戶(hù)的要求或使用系統(tǒng)的位置的條件重寫(xiě)內(nèi)部存儲(chǔ)器，可以選擇不同的AI模型。

這些傳感器的像素芯片具有BSI，并具有大約12.3的有效MP用于捕獲信息。光學(xué)格式為1 / 2.3英寸(對(duì)角線(xiàn)7.857毫米)，像素尺寸為1.55微米。他們有一個(gè)拜耳彩色濾光片陣列。傳感器能夠在不進(jìn)行AI處理的情況下以60fps錄制4K視頻，并在進(jìn)行AI處理的情況下以30fps錄制4K視頻。除了傳統(tǒng)的圖像傳感器操作電路外，本地芯片還配備了索尼的原始DSP。DSP專(zhuān)用于AI信號(hào)處理以及AI模型的存儲(chǔ)器。這樣，就不需要高性能處理器和外部存儲(chǔ)器，從而使邊緣AI系統(tǒng)受益。

索尼解釋了圖像傳感器的工作流程。像素芯片獲取的信號(hào)通過(guò)ISP運(yùn)行，并且在處理階段在邏輯芯片上進(jìn)行AI處理，提取的信息以元數(shù)據(jù)的形式輸出，從而減少了處理的數(shù)據(jù)量。不輸出實(shí)際圖像信息本身，這對(duì)于安全性和私密性是有利的。用戶(hù)可以選擇數(shù)據(jù)輸出格式，包括ISP格式圖像(YUV / RGB)和ROI(感興趣區(qū)域)特定區(qū)域提取圖像。