優(yōu)步新的Neuropod界面抽象了多框架AI開發(fā)

優(yōu)步科技公司(Uber Technologies Inc.)的自動駕駛團隊今天推出了開源的Neuropod，該技術旨在減少企業(yè)開發(fā)人員在構建和部署人工智能模型時必須進行的編碼工作。

Neuropod試圖解決的問題是Uber在內部遇到的一個問題。擁有大型內部人工智能開發(fā)操作的企業(yè)經常在其項目中使用多個人工智能開發(fā)框架，如TensorFlow和PyTorch。使用不同框架創(chuàng)建的模型具有截然不同的技術屬性，這使得使用它們非常困難。

這個問題主要歸結為應用程序編程接口。例如，將一個TensorFlow計算機視覺模型合并到一個服務中需要添加對該服務的TensorFlow api的支持，以及對創(chuàng)建它所涉及的許多開發(fā)工具的支持。如果一家公司希望在混合中添加一個PyTorch模型，它的開發(fā)人員將不得不重新執(zhí)行相同的工作。如果需要靈活地使用多個AI框架，那么這個任務必須在組織的所有AI應用程序中重復執(zhí)行。

Uber創(chuàng)建Neuropod的目的就是為其工程師消除這種重復工作。該工具作為TensorFlow等框架的api和使用它們的應用程序之間的抽象接口。應用程序與Neuropod交互，而不是與TensorFlow api交互。因此，開發(fā)人員只需添加對Neuropod的支持，他們的工作負載就會自動兼容多個AI框架。

Uber自動駕駛業(yè)務高級工程師Vivek Panyam在一篇博客文章中解釋道:“Neuropod從問題定義的概念開始——對模型需要解決的“問題”的正式描述?！薄巴ㄟ^正式定義一個問題，我們可以把它當作一個接口，然后抽象出具體的實現(xiàn)。每個Neuropod模型都實現(xiàn)了一個問題定義。因此，任何解決相同問題的模型都是可以互換的，即使它們使用不同的框架?！?/p>

該工具提供的互換性有幾個好處。如果軟件團隊在一個框架中為應用程序構建了一個人工智能模型，然后使用另一個框架創(chuàng)建一個更新、更好的模型，那么新版本可以簡單地放到舊版本的位置上?；蛘撸绻患移髽I(yè)希望將其AI開發(fā)工作流從TensorFlow切換到PyTorch，這個任務會變得相當簡單。

Neuropod的第三個用途是將部署模型從生產簡化。Neuropod將模型捆綁在一個統(tǒng)一的“Neuropod”或包中，這比AI框架的api更容易使用。優(yōu)步使用這些包來優(yōu)化在顯卡集群上部署內部模型的模型服務平臺。

Panyam寫道:“如果沒有Neuropod，模型服務平臺就需要擅長遠程運行Keras、遠程運行TensorFlow、遠程運行PyTorch、遠程運行TorchScript等等?！遍_發(fā)人員將不得不為每一個添加單獨的優(yōu)化?！叭欢?，通過使用Neuropod，模型服務可以非常擅長遠程運行Neuropod，而Neuropod也可以非常擅長從多個框架運行模型?！?/p>

優(yōu)步表示，到目前為止，該公司的工程師已經使用Neuropod部署了數(shù)百種模型，涵蓋了自動駕駛和餐廳菜單轉錄等領域。因為它是開源的，所以其他組織理論上可以根據自己的具體需求定制該工具。優(yōu)步已經在GitHub上提供了Neuropod的代碼。