7月5日,北京協(xié)和醫(yī)院聯(lián)合騰訊AI Lab,共同發(fā)布了具有完全自主知識產(chǎn)權(quán)的便攜式、智能化手術(shù)導(dǎo)航系統(tǒng),臨床初步應(yīng)用取得成功。
該系統(tǒng)由導(dǎo)航平板電腦、導(dǎo)航棒、深度相機(jī)等設(shè)備組成,小巧便攜,不占據(jù)手術(shù)室空間,是一款可位于頭架上的神經(jīng)外科導(dǎo)航系統(tǒng)。它具有高精度、便攜式、低成本等特點(diǎn),就像給臨床醫(yī)生的手術(shù)配上了GPS,輔助醫(yī)生精準(zhǔn)定位隱藏在腦組織中的病變。
目前,該產(chǎn)品已在北京協(xié)和醫(yī)院神經(jīng)外科開展了三十余例臨床試驗(yàn),涉及腦出血、垂體腺瘤、膠質(zhì)瘤、腦膜瘤、顱咽管瘤等多種疾病。
(手術(shù)導(dǎo)航術(shù)中使用場景&系統(tǒng)核心組件)
北京協(xié)和神經(jīng)外科教研室主任、博士生導(dǎo)師王任直教授表示:“神經(jīng)外科醫(yī)生在手術(shù)時(shí),不僅對病變定位精度要求高,同時(shí)還需要了解病變與周圍血管和神經(jīng)的關(guān)系,避免手術(shù)當(dāng)中損傷這些重要的組織。過去我們只是憑著經(jīng)驗(yàn),將病人的CT或磁共振二維影像片子重新整合在大腦中形成三維圖像。實(shí)際上,這個(gè)學(xué)習(xí)過程是非常漫長的,需要大量長期的經(jīng)驗(yàn)積累。我們和騰訊共同研發(fā)的手術(shù)導(dǎo)航簡單、方便、易用,可以幫助臨床醫(yī)生解決許多實(shí)際問題。”
在我國,傳統(tǒng)手術(shù)導(dǎo)航的使用率很低,這是因?yàn)椋阂环矫妫瑐鹘y(tǒng)手術(shù)導(dǎo)航系統(tǒng)的核心技術(shù)、組件都依賴進(jìn)口,動輒數(shù)百萬的費(fèi)用很難讓這項(xiàng)技術(shù)真正惠及基層醫(yī)院;另一方面,傳統(tǒng)手術(shù)導(dǎo)航設(shè)備體積龐大,學(xué)習(xí)、操作門檻高,使用起來耗時(shí)較長,很難真正在急診等實(shí)際場景下應(yīng)用。
為了從根本上解決這些問題,方便患者在家門口接受更精準(zhǔn)的手術(shù)治療,研發(fā)團(tuán)隊(duì)歷時(shí)三年,對手術(shù)導(dǎo)航進(jìn)行了顛覆性的創(chuàng)新設(shè)計(jì),不僅大幅降低了成本,更節(jié)約了準(zhǔn)備時(shí)間,與國外產(chǎn)品相比具有同樣的精準(zhǔn)程度,完成了手術(shù)導(dǎo)航系統(tǒng)的國產(chǎn)化替代。新型導(dǎo)航在具有較高精度的前提下,將其成本壓縮到傳統(tǒng)手術(shù)導(dǎo)航產(chǎn)品的十分之一,填補(bǔ)了國內(nèi)市場的空白。
基于騰訊AI Lab的前沿算法能力和北京協(xié)和醫(yī)院神經(jīng)外科多年的臨床積累,國產(chǎn)手術(shù)導(dǎo)航系統(tǒng)能在術(shù)前、術(shù)中等多個(gè)環(huán)節(jié),輔助醫(yī)生提升診療效率。
術(shù)前,基于AI和影像技術(shù),該手術(shù)導(dǎo)航系統(tǒng)能夠?qū)⒋殴舱瘛T等影像自動進(jìn)行分割重建及三維可視化處理,通過騰訊AI Lab的算法能力,一鍵生成定制化的3D“透明腦”,方便醫(yī)生制定手術(shù)計(jì)劃,向病人和家屬講解手術(shù)方案。
(術(shù)前“透明腦”生成)
整個(gè)系統(tǒng)集光學(xué)定位和SLAM跟蹤于一體,通過光學(xué)定位,該手術(shù)導(dǎo)航系統(tǒng)能實(shí)時(shí)跟蹤手術(shù)器械;通過實(shí)時(shí)定位技術(shù)(SLAM),系統(tǒng)可在無需頭架和參考架的情況下,多角度觀察病灶位置。
術(shù)中,通過SLAM跟蹤可在無需頭架和參考架情況下,實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)導(dǎo)航。以一位膠質(zhì)瘤患者為例,醫(yī)生移動攝像頭,系統(tǒng)可實(shí)時(shí)展示病人顱內(nèi)的三維結(jié)構(gòu)相對頭皮的位置關(guān)系,輔助醫(yī)生快速制定切口。
(術(shù)前切口制定)
借助深度相機(jī),綜合深度學(xué)習(xí)和視覺算法,該系統(tǒng)能實(shí)現(xiàn)虛擬空間和現(xiàn)實(shí)空間的高精度一鍵配準(zhǔn),將生成的3D“透明腦”1:1與病人實(shí)際情況進(jìn)行匹配, 進(jìn)行術(shù)中導(dǎo)航。
(術(shù)中導(dǎo)航)
試驗(yàn)數(shù)據(jù)顯示,其配準(zhǔn)精度可達(dá)亞毫米級。算法能力的提升,可將傳統(tǒng)手術(shù)導(dǎo)航的配準(zhǔn)時(shí)間由傳統(tǒng)的近半個(gè)小時(shí),縮短至幾秒鐘,為病人搶占寶貴的治療時(shí)機(jī)。
在實(shí)際應(yīng)用場景中,該系統(tǒng)還可根據(jù)醫(yī)生需求,通過與AR眼鏡配適,對大腦進(jìn)行多視角觀察,掃除視野盲區(qū)。
未來,除了神經(jīng)外科,五官科、急診科,都可以使用手術(shù)導(dǎo)航系統(tǒng)。該系統(tǒng)還能用于課堂教學(xué),提升基層醫(yī)療服務(wù)能力。
騰訊在醫(yī)療及生命科學(xué)領(lǐng)域已有多項(xiàng)布局。2020年疫情爆發(fā)時(shí),騰訊AI Lab曾與鐘南山院士團(tuán)隊(duì)聯(lián)合發(fā)布了一項(xiàng)利用AI預(yù)測COVID-19患者病情發(fā)展至危重概率的研究成果,并發(fā)表于Nature子刊。目前,騰訊正在將計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等技術(shù)與醫(yī)學(xué)跨界融合,輔助醫(yī)生進(jìn)行疾病篩查、診斷和治療,提高臨床醫(yī)生的診斷準(zhǔn)確率,挽救更多患者的生命。