買(mǎi)專利賣(mài)專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜中山大學(xué)申請(qǐng)的專利一種基于多模態(tài)編碼本的跨模態(tài)人物服裝設(shè)計(jì)生成方法獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN114491125B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-04-15發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202111679605.4，技術(shù)領(lǐng)域涉及：G06F16/583；該發(fā)明授權(quán)一種基于多模態(tài)編碼本的跨模態(tài)人物服裝設(shè)計(jì)生成方法是由沙煜;張緒杰;謝震宇;梁小丹設(shè)計(jì)研發(fā)完成，并于2021-12-31向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種基于多模態(tài)編碼本的跨模態(tài)人物服裝設(shè)計(jì)生成方法在說(shuō)明書(shū)摘要公布了：本發(fā)明公開(kāi)了一種基于多模態(tài)編碼本的跨模態(tài)人物服裝設(shè)計(jì)生成方法，包括步驟如下：將第一目標(biāo)衣服圖像輸入圖像編碼器，編碼得到特征向量圖，構(gòu)造一個(gè)第一特征編碼本；將特征向量圖離散化后，從第一特征編碼本中選取不同的離散化編碼，組合得到離散化后的編碼特征圖；將編碼特征圖輸入解碼器進(jìn)行解碼，解碼得到復(fù)原后的第二目標(biāo)衣服圖像，并對(duì)第二目標(biāo)衣服圖像進(jìn)行分塊損失計(jì)算，并通過(guò)反向梯度傳播，分步更新圖像編碼器、解碼器；利用標(biāo)記性對(duì)比損失來(lái)學(xué)習(xí)視覺(jué)特征和單詞嵌入之間的對(duì)應(yīng)關(guān)系進(jìn)行訓(xùn)練，得到富含語(yǔ)義和圖像信息的第二特征編碼本；通過(guò)輸入目標(biāo)圖像訓(xùn)練基于注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)去預(yù)測(cè)圖像中的序列，從第二特征編碼本中采樣得到序列值，用第二解碼器解碼序列值輸出得到最后的圖像。

本發(fā)明授權(quán)一種基于多模態(tài)編碼本的跨模態(tài)人物服裝設(shè)計(jì)生成方法在權(quán)利要求書(shū)中公布了：1.一種基于多模態(tài)編碼本的跨模態(tài)人物服裝設(shè)計(jì)生成方法，其特征在于：所述的方法包括步驟如下：S1：將第一目標(biāo)衣服圖像輸入圖像編碼器，編碼得到特征向量圖，構(gòu)造一個(gè)第一特征編碼本；將特征向量圖離散化后，從第一特征編碼本中選取不同的離散化編碼，組合得到離散化后的編碼特征圖；S2：將編碼特征圖輸入解碼器進(jìn)行解碼，解碼得到復(fù)原后的第二目標(biāo)衣服圖像，并對(duì)第二目標(biāo)衣服圖像進(jìn)行分塊損失計(jì)算，并通過(guò)反向梯度傳播，分步更新圖像編碼器、解碼器；具體如下：S201：構(gòu)造一個(gè)基于多層卷積網(wǎng)絡(luò)的解碼器，將編碼特征圖輸入解碼器進(jìn)行解碼，得到復(fù)原后的第二目標(biāo)衣服圖像；S202：將第一目標(biāo)衣服圖像和復(fù)原后的第二目標(biāo)衣服圖像分別通過(guò)VGG16網(wǎng)絡(luò)進(jìn)行提取特征，計(jì)算第一目標(biāo)衣服圖像和復(fù)原后的第二目標(biāo)衣服圖像之間的視覺(jué)損失；S203：構(gòu)造一個(gè)基于多層卷積網(wǎng)絡(luò)的鑒別器，對(duì)復(fù)原后的第二目標(biāo)衣服圖像分塊劃分，輸入鑒別器中分別判斷真假，并對(duì)輸出值進(jìn)行結(jié)合，得到對(duì)抗生成網(wǎng)絡(luò)損失，對(duì)損失進(jìn)行反向梯度傳播，分步更新圖像編碼器、解碼器和鑒別器的參數(shù)；S3：利用標(biāo)記性對(duì)比損失來(lái)學(xué)習(xí)視覺(jué)特征和單詞嵌入之間的對(duì)應(yīng)關(guān)系進(jìn)行訓(xùn)練，得到富含語(yǔ)義和圖像信息的第二特征編碼本；具體如下：S301：在訓(xùn)練階段，給定圖像-文本對(duì)，圖像被多層卷積網(wǎng)絡(luò)構(gòu)成的圖像編碼器編碼為視覺(jué)特征，文本被基于注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)編碼為文本特征；S302：計(jì)算圖像和文本之間的相似度，并由此計(jì)算一個(gè)訓(xùn)練批次及其文本-圖像對(duì)應(yīng)物的圖像-文本標(biāo)記相似度損失，計(jì)算得到總損失函數(shù)；計(jì)算圖像和文本之間的相似度： （3）其中，，為輸入的第p張目標(biāo)衣物圖像，為輸入的第q段文本，為圖片序列特征值的轉(zhuǎn)置值，為文本序列特征值，n1代表圖像序列長(zhǎng)度；式3為和的相似度計(jì)算； （4）其中，，n2代表文本序列長(zhǎng)度；式4為和的相似度計(jì)算； （5） （6）式中，為輸入的第p張目標(biāo)衣物圖像，為輸入的第q段文本；式5和式6表示一個(gè)訓(xùn)練批次及其文本-圖像對(duì)應(yīng)物的圖像-文本標(biāo)記相似度損失；總損失函數(shù)計(jì)算為： （7）S303：根據(jù)得到總損失函數(shù)進(jìn)行梯度反向傳播，更新特征編碼本，得到第二特征編碼本；S4：通過(guò)輸入目標(biāo)圖像訓(xùn)練基于注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)，從而去預(yù)測(cè)目標(biāo)圖像中的序列，從第二特征編碼本中采樣得到序列值，用第二解碼器解碼序列值輸出得到最后的圖像，具體如下：S401：將輸入目標(biāo)圖像的文本、輪廓或部分圖像中的一項(xiàng)或多項(xiàng)轉(zhuǎn)換為文本標(biāo)記序列和或圖像標(biāo)記序列，其中文本標(biāo)記序列由基于注意力機(jī)制的編碼器直接獲得；對(duì)于圖像序列，通過(guò)為每種類(lèi)型的目標(biāo)圖像學(xué)習(xí)一個(gè)特征編碼本，并將每個(gè)目標(biāo)圖像量化為離散的圖像序列；S402：將不同的文本標(biāo)記序列和圖像標(biāo)記序列組合在一起，并使用一個(gè)特殊的標(biāo)記[SEP]來(lái)表示各模式之間的分離；組合序列形成跨模態(tài)序列，并在訓(xùn)練過(guò)程中作為基于注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)的條件輸入，對(duì)基于注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使所預(yù)測(cè)生成的基于各種目標(biāo)圖像的序列的對(duì)數(shù)似然值最大化，即使訓(xùn)練損失最小化，從第二特征編碼本中采樣得到序列值，最后輸出得到服裝設(shè)計(jì)生成圖像；其中，用于訓(xùn)練基于注意力的神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)損失函數(shù)，表示如下： （8） （9）其中，表示預(yù)測(cè)的序列，表示輸入的條件序列，為輸入序列和輸入序列相似的概率值。

如需購(gòu)買(mǎi)、轉(zhuǎn)讓、實(shí)施、許可或投資類(lèi)似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人中山大學(xué)，其通訊地址為：510275 廣東省廣州市海珠區(qū)新港西路135號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。