IT之家 12 月 17 日消息，人工智能（AI）日趨一日地在醫(yī)療領(lǐng)域變得越來(lái)越重要，尤其是在醫(yī)學(xué)影像分析方面。醫(yī)生們可以通過(guò) AI 更快更準(zhǔn)地診斷疾病，制定治療方案。而要讓 AI 更聰明，就需要大量高質(zhì)量的醫(yī)學(xué)影像數(shù)據(jù)來(lái)“喂養(yǎng)”它，也就是進(jìn)行訓(xùn)練。
然而，由于患者隱私保護(hù)、高昂的數(shù)據(jù)標(biāo)注成本等多種因素，要獲得高質(zhì)量、多樣化的醫(yī)學(xué)影像數(shù)據(jù)往往存在障礙。為此，近年來(lái)，研究者們開始探索使用生成式 AI 技術(shù)合成醫(yī)學(xué)影像數(shù)據(jù)，以此來(lái)擴(kuò)充數(shù)據(jù)。
為了解決這個(gè)問(wèn)題，北京大學(xué)與溫州醫(yī)科大學(xué)的研究團(tuán)隊(duì)建立一種生成式多模態(tài)跨器官醫(yī)學(xué)影像基礎(chǔ)模型（MINIM），可基于文本指令以及多器官的多種成像方式，合成海量的高質(zhì)量醫(yī)學(xué)影像數(shù)據(jù)，為醫(yī)學(xué)影像大模型的訓(xùn)練、精準(zhǔn)醫(yī)療及個(gè)性化診療等提供有力技術(shù)支持。
該成果已于 12 月 11 日發(fā)表在國(guó)際權(quán)威期刊《自然?醫(yī)學(xué)》上（IT之家附 DOI:10.1038 / s41591-024-03359-y）。
簡(jiǎn)單來(lái)說(shuō)，MINIM 就像一個(gè)“圖像生成器”，它可以通過(guò) AI 技術(shù)，根據(jù)文字描述，自動(dòng)合成出海量的醫(yī)學(xué)影像數(shù)據(jù)，包括 CT、X 光、磁共振等等，涵蓋了各種器官。
北京大學(xué)未來(lái)技術(shù)學(xué)院助理研究員王勁卓介紹說(shuō)，“目前公開的醫(yī)學(xué)影像數(shù)據(jù)非常有限，我們建立的生成式模型有望解決訓(xùn)練數(shù)據(jù)不夠的問(wèn)題。”
這些合成的影像數(shù)據(jù)有多逼真呢？研究團(tuán)隊(duì)利用多種器官在 CT、X 光、磁共振等不同成像方式下的高質(zhì)量影像文本配對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練，最終生成海量的醫(yī)學(xué)合成影像，其在圖像特征、細(xì)節(jié)呈現(xiàn)等多方面都與真實(shí)醫(yī)學(xué)圖像高度一致。
實(shí)驗(yàn)結(jié)果表明，使用 MINIM 生成的合成數(shù)據(jù)，在醫(yī)生主觀評(píng)價(jià)和客觀檢測(cè)標(biāo)準(zhǔn)上都達(dá)到了國(guó)際領(lǐng)先水平。在真實(shí)數(shù)據(jù)的基礎(chǔ)上，使用 20 倍合成數(shù)據(jù)在眼科、胸科、腦科和乳腺科的多個(gè)醫(yī)學(xué)任務(wù)準(zhǔn)確率平均可提升 12% 至 17%。
王勁卓還表示，MINIM 生成的合成數(shù)據(jù)應(yīng)用前景廣闊，既可以單獨(dú)用來(lái)訓(xùn)練醫(yī)學(xué)影像大模型，也可以和真實(shí)數(shù)據(jù)混合使用，從而提高模型在實(shí)際應(yīng)用中的性能，推動(dòng) AI 在醫(yī)學(xué)和健康領(lǐng)域更廣泛的應(yīng)用。
目前，在疾病診斷、醫(yī)學(xué)報(bào)告生成和自監(jiān)督學(xué)習(xí)等關(guān)鍵領(lǐng)域，利用 MINIM 合成數(shù)據(jù)進(jìn)行訓(xùn)練已展現(xiàn)出顯著的性能提升。
