Email:[email protected]
2022上交會(huì)——同濟(jì)大學(xué)篇
該系統(tǒng)包含多視角RGB攝像機(jī)、深度攝像機(jī),、激光雷達(dá)以及麥克風(fēng)等多模態(tài)硬件,,錄制程序、數(shù)據(jù)庫(kù)和系統(tǒng)設(shè)置三部分軟件,。通過(guò)錄制帕金森病患者面部表情,、聲音、步態(tài),、姿勢(shì),、手指拍打、握拳張開(kāi),、輪替動(dòng)作,、腳趾拍地、抬腿跺地,、椅中起立,、后拉試驗(yàn)、靜止性/動(dòng)作性震顫等動(dòng)作,,可自動(dòng)識(shí)別視頻中身體部位的關(guān)鍵節(jié)點(diǎn),,定量分析動(dòng)作指標(biāo),對(duì)動(dòng)作進(jìn)行“量化”和“精細(xì)化”分析,,實(shí)時(shí)獲取各檢測(cè)項(xiàng)的精確定量動(dòng)作特征數(shù)據(jù)和運(yùn)動(dòng)曲線,。同時(shí),經(jīng)過(guò)基于決策樹(shù)的機(jī)器學(xué)習(xí)方法,,該系統(tǒng)可實(shí)現(xiàn)對(duì)各檢測(cè)項(xiàng)異常程度的自動(dòng)評(píng)分以及帕金森病整體嚴(yán)重程度的自動(dòng)評(píng)分,。目前,該系統(tǒng)利用人工智能算法得到的自動(dòng)化評(píng)分已經(jīng)接近于醫(yī)生的評(píng)分水平,,在多個(gè)檢測(cè)項(xiàng)中甚至超越了醫(yī)生的評(píng)分水平,。
該系統(tǒng)建立了帕金森病運(yùn)動(dòng)癥狀的精細(xì)評(píng)估方法與體系,,為醫(yī)生提供了運(yùn)動(dòng)量化數(shù)據(jù)以輔助診斷;通過(guò)量化數(shù)據(jù)的對(duì)比實(shí)現(xiàn)了帕金森病的準(zhǔn)確分級(jí),,對(duì)患者病情進(jìn)行評(píng)估和持續(xù)跟蹤,,為帕金森病的臨床診斷及干預(yù)提供依據(jù);同時(shí),,該系統(tǒng)也可輔助醫(yī)生進(jìn)行科學(xué)研究,,促進(jìn)醫(yī)學(xué)發(fā)展。
技術(shù)創(chuàng)新點(diǎn):
1)研究方法改進(jìn):采用了2D圖像和深度數(shù)據(jù)的融合的方式,,在2D空間和3D空間中提取人體關(guān)鍵點(diǎn)并互相修正,,從而得到更為精確的人體關(guān)鍵點(diǎn)。同時(shí),,優(yōu)化了現(xiàn)有的跟蹤算法,,使系統(tǒng)可以應(yīng)用在場(chǎng)景更為復(fù)雜的科室和病區(qū)環(huán)境中。此外,,在機(jī)器學(xué)習(xí)方法上進(jìn)行了優(yōu)化,,基于決策樹(shù)分類的基礎(chǔ)上,增加懲罰函數(shù)f,,函數(shù)f分兩部分,,第一部分為機(jī)器和醫(yī)生評(píng)分的偏差,第二部分為機(jī)器和醫(yī)生評(píng)分大于1的例數(shù),,通過(guò)系數(shù)λ結(jié)合,。即首先以Gini指數(shù)作為切分準(zhǔn)則訓(xùn)練得到一組次優(yōu)樹(shù)集合。然后,,在次優(yōu)樹(shù)中搜索,,尋找機(jī)器和醫(yī)生評(píng)分相差最小的決策樹(shù)且盡可能讓機(jī)器和醫(yī)生評(píng)分相差不大于1,從而提高人機(jī)一致性,。最后,,通過(guò)打通微信小程序端和PC端的系統(tǒng),可以在檢測(cè)大幅度動(dòng)作的同時(shí),,捕捉小幅度的震顫動(dòng)作,,從而檢測(cè)范圍更加完整,具有更強(qiáng)的實(shí)用性,。
2)設(shè)計(jì)思想先進(jìn),,國(guó)內(nèi)領(lǐng)先:采用UPDRS第III部分評(píng)估帕金森患者的運(yùn)動(dòng)功能存在主觀評(píng)價(jià)偏倚、不能分辨較小的功能變化,、評(píng)估維度單一等問(wèn)題,。通過(guò)視頻評(píng)估患者的運(yùn)動(dòng)功能,確保了評(píng)估結(jié)果的精確性、提升了運(yùn)動(dòng)功能變化的識(shí)別能力,,豐富了運(yùn)動(dòng)功能評(píng)估的指標(biāo),,建立了客觀、量化的運(yùn)動(dòng)功能評(píng)估方法,。且評(píng)估依據(jù)的視頻真實(shí)地記錄了評(píng)估過(guò)程,,任何時(shí)間都可以回溯原始檔案,任何醫(yī)生都可以復(fù)核評(píng)估結(jié)果,,是一種臨床信息可復(fù)現(xiàn)的評(píng)估方法,。