香港試水醫(yī)療多模態(tài)大模型（關于醫(yī)療大模型的簡介）

近日中國科學院香港創(chuàng)新院AI中心旗下聯(lián)合實驗室首次公開展示了使用醫(yī)療多模態(tài)大模型結合的手術成果，借助AI智能，實現(xiàn)了內鏡檢查的數(shù)字化和智能化，ESSENCE可以在微創(chuàng)手術工具的末端部署分布式高密度觸點，發(fā)揮重要的作用。

1.相比單模態(tài)，多模態(tài)大模型可以同時處理多個類型的信息，實現(xiàn)更加靈活的人機交互模式。本次使用到的多模態(tài)AI大模型CARES Copilot1.0可以在手術階段自動識別病灶和解剖結構，它實現(xiàn)了圖像、語音、視頻、文本等多模態(tài)的手術數(shù)據(jù)理解，還能進行關鍵解剖結構的識別。

2.現(xiàn)在這一模型已經(jīng)與香港威爾士親王醫(yī)院神經(jīng)外科合作，用于實時分析手術過程，還能對醫(yī)生作出提示，預計今年4月份這一大模型將會應用于北京協(xié)和醫(yī)院手術室，進行技術臨床實驗。

3.中國科學院自動化所開發(fā)的“紫東·太初”模型將擔任手術機器人助手。在傳統(tǒng)的手術過程當中，會有一個助手負責拿器械、鏡頭，助手還要觀察主刀醫(yī)生，預判需要的協(xié)助種類，AI可能擔任助手這一角色。

4.中國科學院香港創(chuàng)新院AI中心執(zhí)行主任劉宏斌表示，除了與紫東·太初大模型團隊合作以外，還會和香港高校教授、海外AI團隊以及開源公司進行合作，尋找新的成果突破出口，創(chuàng)新商業(yè)模式，探索可持續(xù)研究方向。

5.對比其他的垂類大模型，醫(yī)療類大模型的商用標志似乎遙遙無期，在2023年有超過50個平臺公布了醫(yī)療大模型，但最終沒有幾個可以真正落地用于臨床診斷。本次推出的多模態(tài)大模型在未來能否實現(xiàn)全面商業(yè)化，還要看開發(fā)團隊以及臨床人員的探索狀況。