IT之家11月4日消息，騰訊AI實(shí)驗(yàn)室近日推出了漸進(jìn)式條件擴(kuò)散模型（PCDMs），在姿態(tài)引導(dǎo)人物圖像合成方面取得重大突破。
PCDMs由先驗(yàn)條件擴(kuò)散模型、修復(fù)條件擴(kuò)散模型和完善條件擴(kuò)散模型三個(gè)關(guān)鍵階段組成，解決了應(yīng)對(duì)源圖像與目標(biāo)圖像的姿態(tài)不一致問題，以及在生成高質(zhì)量、逼真圖像方面的挑戰(zhàn)。
PCDMs在DeepFashion和Market1501數(shù)據(jù)集上的各項(xiàng)指標(biāo)，明顯優(yōu)于其他SOTA方法，且在小尺度數(shù)據(jù)集Market1501（128*64）上的SSIM指標(biāo)得到最高的0.3169，比第二名PIDM高出3.8%。
在先驗(yàn)條件擴(kuò)散模型第一階段，在給定源圖像和姿勢坐標(biāo)作為條件的情況下，先驗(yàn)條件擴(kuò)散模型采用一個(gè)變換網(wǎng)絡(luò)來預(yù)測目標(biāo)姿勢下的全局特征。
在修復(fù)條件擴(kuò)散模型第二階段，進(jìn)一步完善第一階段的全局特征，建立源圖像和目標(biāo)圖像之間密集對(duì)應(yīng)關(guān)系，該階段可確保跨多個(gè)維度（包括圖像、姿勢和特征）進(jìn)行對(duì)齊，對(duì)于實(shí)現(xiàn)逼真的結(jié)果至關(guān)重要。
在完善條件擴(kuò)散模型第三階段：在前一階段生成初始粗粒度目標(biāo)圖像后，細(xì)化條件擴(kuò)散模型介入以提高圖像質(zhì)量和紋理細(xì)節(jié)。
此階段利用先前生成的粗粒度圖像作為條件，進(jìn)一步提高圖像保真度并確保紋理一致性，涉及修改第一個(gè)卷積層，并使用圖像編碼器從源圖像中提取特征。采用交叉注意力機(jī)制將紋理特征注入網(wǎng)絡(luò)，便于紋理修復(fù)和細(xì)節(jié)增強(qiáng)。
