香港試水醫(yī)療多模態(tài)大模型（關(guān)于醫(yī)療大模型的簡介）

近日中國科學(xué)院香港創(chuàng)新院AI中心旗下聯(lián)合實驗室首次公開展示了使用醫(yī)療多模態(tài)大模型結(jié)合的手術(shù)成果，借助AI智能，實現(xiàn)了內(nèi)鏡檢查的數(shù)字化和智能化，ESSENCE可以在微創(chuàng)手術(shù)工具的末端部署分布式高密度觸點，發(fā)揮重要的作用。

1.相比單模態(tài)，多模態(tài)大模型可以同時處理多個類型的信息，實現(xiàn)更加靈活的人機(jī)交互模式。本次使用到的多模態(tài)AI大模型CARES Copilot1.0可以在手術(shù)階段自動識別病灶和解剖結(jié)構(gòu)，它實現(xiàn)了圖像、語音、視頻、文本等多模態(tài)的手術(shù)數(shù)據(jù)理解，還能進(jìn)行關(guān)鍵解剖結(jié)構(gòu)的識別。

2.現(xiàn)在這一模型已經(jīng)與香港威爾士親王醫(yī)院神經(jīng)外科合作，用于實時分析手術(shù)過程，還能對醫(yī)生作出提示，預(yù)計今年4月份這一大模型將會應(yīng)用于北京協(xié)和醫(yī)院手術(shù)室，進(jìn)行技術(shù)臨床實驗。

3.中國科學(xué)院自動化所開發(fā)的“紫東·太初”模型將擔(dān)任手術(shù)機(jī)器人助手。在傳統(tǒng)的手術(shù)過程當(dāng)中，會有一個助手負(fù)責(zé)拿器械、鏡頭，助手還要觀察主刀醫(yī)生，預(yù)判需要的協(xié)助種類，AI可能擔(dān)任助手這一角色。

4.中國科學(xué)院香港創(chuàng)新院AI中心執(zhí)行主任劉宏斌表示，除了與紫東·太初大模型團(tuán)隊合作以外，還會和香港高校教授、海外AI團(tuán)隊以及開源公司進(jìn)行合作，尋找新的成果突破出口，創(chuàng)新商業(yè)模式，探索可持續(xù)研究方向。

5.對比其他的垂類大模型，醫(yī)療類大模型的商用標(biāo)志似乎遙遙無期，在2023年有超過50個平臺公布了醫(yī)療大模型，但最終沒有幾個可以真正落地用于臨床診斷。本次推出的多模態(tài)大模型在未來能否實現(xiàn)全面商業(yè)化，還要看開發(fā)團(tuán)隊以及臨床人員的探索狀況。