Flex Logix為邊緣AI啟動推理協(xié)處理器

Flex Logix Technologies公司透露，它已開發(fā)出一種用于邊緣AI處理的新型協(xié)處理器：InferX X1。新芯片基于嵌入式現(xiàn)場可編程門陣列(eFPGA)芯片設計的專利互連技術。它將eFPGA技術與推理優(yōu)化的nnMAX集群結(jié)合在新的組合芯片中。

總部位于加利福尼亞州山景城的公司表示，其第一個芯片設計(超出其通常的芯片技術許可業(yè)務)將以相當于競爭對手的功率和成本的一小部分提供接近數(shù)據(jù)中心的吞吐量。Flex Logix聲稱它提供的吞吐量是現(xiàn)有推理邊緣芯片的10倍。

新芯片可能會用于邊緣網(wǎng)關，低端服務器，機器人和其他高性能邊緣設備。Flex Logix在加利福尼亞州圣克拉拉的Linley處理器大會上發(fā)布了該芯片。

Flex Logix InferX X1芯片通過單個DRAM(動態(tài)隨機存取存儲器芯片)在邊緣應用中提供高吞吐量。該公司聲稱每瓦特的吞吐量比現(xiàn)有解決方案高得多，芯片的性能優(yōu)勢在低批量生產(chǎn)時尤為強勁，這在通常只有一個攝像頭或傳感器的邊緣應用中是必需的。

InferX X1在小批量產(chǎn)品上的性能接近數(shù)據(jù)中心推理板，并針對每個圖像需要數(shù)千億次操作的大型模型進行了優(yōu)化。例如，對于YOLOv3實時對象識別，InferX X1以批量大小= 1處理12.7幀/秒的200萬像素圖像。性能與圖像大小大致呈線性關系，因此對于100萬像素圖像，幀速率大約翻倍。這是一個單一的DRAM。

InferX X1將作為邊緣設備的芯片和邊緣服務器和網(wǎng)關的半高半長PCIe卡提供。它使用nnMAX編譯器進行編程，該編譯器采用Tensorflow Lite或ONNX型號。推理引擎的內(nèi)部體系結(jié)構對用戶是隱藏的。

“神經(jīng)網(wǎng)絡推理中的艱巨挑戰(zhàn)是最大限度地減少數(shù)據(jù)移動和能耗，這是我們的互連技術可以做得非常好的事情，”Flex Logix首席執(zhí)行官Geoff Tate在一份聲明中表示。“在處理層時，使用我們的可重配置互連為整個階段配置數(shù)據(jù)路徑，使InferX像[自定義芯片]一樣運行，然后快速重新配置下一層。由于我們的大部分帶寬來自本地SRAM，InferX

只需要一個DRAM，簡化了芯片和封裝，并降低了成本和功耗。“

添加了Tate，“我們的片上Winograd轉(zhuǎn)換進一步減少了因重量加載帶寬，因為Winograd格式的權重是1.8倍。我們的混合數(shù)字功能使客戶能夠在實際使用整數(shù)8，但可以根據(jù)需要回退到浮點，以實現(xiàn)所需的預測精度。這些功能組合可實現(xiàn)高預測精度，高吞吐量，低成本和低功耗邊緣推斷。“

nnMAX目前正在開發(fā)中，將于2019年第三季度在SoC中集成.InferX X1將在2019年第三季度完成其設計，芯片和PCIe板樣品將在不久后推出。Tate于2014年共同創(chuàng)建了Flex Logix，迄今為止該公司已籌集了超過2500萬美元。