近日，全球計(jì)算機(jī)視覺(jué)三大頂會(huì)之一的CVPR（IEEE國(guó)際計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議）公布了2021年度的論文錄用結(jié)果。騰訊醫(yī)典AI與北京大學(xué)共同合作的論文《Exploring and Distilling Posterior and Prior Knowledge for Medical Report Generation》，憑借在醫(yī)學(xué)圖像報(bào)告自動(dòng)生成領(lǐng)域的研究突破成功入選。CVPR在2020年谷歌學(xué)術(shù)排行榜人工智能領(lǐng)域中排名第一，本次大會(huì)共收到來(lái)自全球超7000份論文投稿，最終1663篇論文獲得錄用，錄用率僅為23.7%。
醫(yī)學(xué)圖像被廣泛應(yīng)用于診斷參考，基于肺部CT的新冠肺炎診斷也在疫情期間成為防控的關(guān)鍵。在醫(yī)療實(shí)踐中，醫(yī)生需要針對(duì)醫(yī)學(xué)圖像按標(biāo)準(zhǔn)撰寫和輸出醫(yī)學(xué)報(bào)告。面對(duì)龐大的患者數(shù)量，為所有的圖像逐一撰寫報(bào)告占據(jù)了醫(yī)生大量工作時(shí)間，不同醫(yī)生的經(jīng)驗(yàn)差異也使得部分圖像中的異常被忽略，無(wú)法體現(xiàn)在報(bào)告中。如何借助人工智能快速、準(zhǔn)確地自動(dòng)生成報(bào)告，對(duì)于提升醫(yī)生工作效率和服務(wù)質(zhì)量具有重要的實(shí)用價(jià)值，也成為了近年醫(yī)學(xué)圖像研究領(lǐng)域中的一個(gè)重要課題。
然而，先進(jìn)的醫(yī)學(xué)圖像報(bào)告自動(dòng)生成系統(tǒng)也很容易受醫(yī)學(xué)圖像報(bào)告中的數(shù)據(jù)偏差誤導(dǎo)。本次騰訊醫(yī)典AI入選的論文《Exploring and Distilling Posterior and Prior Knowledge for Medical Report Generation》，創(chuàng)新地提出了后驗(yàn)-先驗(yàn)知識(shí)探索及蒸餾(PPKED)框架，模仿人類醫(yī)生的判讀方式，結(jié)合先驗(yàn)和后驗(yàn)知識(shí)來(lái)生成報(bào)告，以提高最終生成的醫(yī)學(xué)報(bào)告質(zhì)量，針對(duì)性彌補(bǔ)了這一不足。
模型中的先驗(yàn)探索(PrKE)模塊，可以通過(guò)預(yù)構(gòu)建包含心臟肥大、脊柱側(cè)彎、鈣化點(diǎn)、肺炎等常見(jiàn)異常特征信息的知識(shí)圖譜，模擬醫(yī)生學(xué)習(xí)過(guò)的醫(yī)學(xué)知識(shí)，以更好地識(shí)別出各種圖像中的異常。另一方面，通過(guò)在訓(xùn)練集中匹配、提取已知的相似圖像和報(bào)告，可以與病人的歷史報(bào)告做比對(duì)參考，模型亦在一定程度上模擬了醫(yī)生根據(jù)自身豐富的經(jīng)驗(yàn)來(lái)做決策的過(guò)程，實(shí)現(xiàn)利用先驗(yàn)知識(shí)來(lái)指導(dǎo)報(bào)告的生成。
在后驗(yàn)探索(PoKE)模塊中，模型可實(shí)現(xiàn)將當(dāng)前圖像進(jìn)行標(biāo)簽分類，模擬醫(yī)生找尋圖像異常的過(guò)程，大致框定異常的區(qū)域，提醒醫(yī)生針對(duì)該區(qū)域做進(jìn)一步識(shí)別處理。先驗(yàn)和后驗(yàn)知識(shí)在經(jīng)過(guò)多領(lǐng)域知識(shí)蒸餾(MKD)模塊的綜合過(guò)濾后，將生成最終的報(bào)告。
這一創(chuàng)新模型在IU-Xray和MIMIC兩個(gè)國(guó)際公認(rèn)的公開數(shù)據(jù)集上，取得了比以往所有同類模型更好的結(jié)果，可以有效地生成更高質(zhì)量的報(bào)告。
醫(yī)學(xué)圖像報(bào)告自動(dòng)生成模型的論文登上人工智能領(lǐng)域第一的行業(yè)會(huì)議，是騰訊醫(yī)典在人工智能領(lǐng)域的又一次深入探索。騰訊醫(yī)典AI團(tuán)隊(duì)專注于醫(yī)學(xué)知識(shí)圖譜、醫(yī)學(xué)自然語(yǔ)言理解、多模態(tài)深度學(xué)習(xí)等領(lǐng)域的研究，將持續(xù)在醫(yī)學(xué)知識(shí)生成和推送、人工智能輔助診療等領(lǐng)域向行業(yè)輸出切實(shí)可行的解決方案和領(lǐng)先技術(shù)，用科技提升醫(yī)療服務(wù)效率，助力醫(yī)療行業(yè)的數(shù)字化轉(zhuǎn)型。
