買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜南京信息工程大學(xué)申請的專利一種文本驅(qū)動的人體姿態(tài)與紋理編輯方法及裝置獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN119251357B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-03-25發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202411788202.7，技術(shù)領(lǐng)域涉及：G06T11/60；該發(fā)明授權(quán)一種文本驅(qū)動的人體姿態(tài)與紋理編輯方法及裝置是由金哲棟;夏貴羽;楊派克;王夢祥;孫玉寶設(shè)計研發(fā)完成，并于2024-12-06向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種文本驅(qū)動的人體姿態(tài)與紋理編輯方法及裝置在說明書摘要公布了：本發(fā)明公開了計算機視覺領(lǐng)域的一種文本驅(qū)動的人體姿態(tài)與紋理編輯方法及裝置。方法包括：首先從關(guān)于姿態(tài)信息的文本描述中提取特征，轉(zhuǎn)換為骨架節(jié)點坐標并繪制成骨架圖；再從服飾形狀文本提取特征，結(jié)合骨架圖通過編解碼網(wǎng)絡(luò)得到人體解析圖；訓(xùn)練紋理感知的FSQ，學(xué)習(xí)不同紋理特征向量表示，將紋理文本描述與人體解析圖輸入FSQ進行采樣，填充紋理并生成較粗糙但符合文本描述的人體圖像。接著微調(diào)用于姿態(tài)遷移的擴散模型，用于對生成的人體圖像質(zhì)量進行進一步優(yōu)化。該方法克服現(xiàn)有模型生成能力不穩(wěn)定、對圖像控制不足的問題，保證生成的人體圖像逼真且與輸入文本語義一致，為人體圖像生成提供了新的有效途徑。

本發(fā)明授權(quán)一種文本驅(qū)動的人體姿態(tài)與紋理編輯方法及裝置在權(quán)利要求書中公布了：1.一種文本驅(qū)動的人體姿態(tài)與紋理編輯方法，其特征在于，包括：獲取輸入文本，所述輸入文本包括關(guān)于目標姿態(tài)的文本描述、關(guān)于服飾形狀的文本描述及關(guān)于紋理的文本描述；通過特征提取網(wǎng)絡(luò)分別對所述目標姿態(tài)的文本描述、關(guān)于服飾形狀的文本描述及關(guān)于紋理的文本描述進行提取，得到姿態(tài)特征向量、形狀特征向量和紋理類別信息；將所述姿態(tài)特征向量輸入訓(xùn)練好的姿態(tài)生成模型，得到相應(yīng)的骨架坐標，并根據(jù)所述骨架坐標繪制成骨架圖；將所述骨架圖結(jié)合所述形狀特征向量輸入人體解析圖生成模型，生成相應(yīng)的人體解析圖；將所述人體解析圖結(jié)合所述紋理類別信息輸入人體圖像生成模型，得到粗糙目標人體圖像；將所述粗糙目標人體圖像輸入質(zhì)量提升網(wǎng)絡(luò)，得到最終的人體圖像；所述人體圖像生成模型的執(zhí)行方法包括：得到了人體解析圖后，將人體解析圖根據(jù)部位分為多個部分；然后關(guān)于紋理的文本描述中提取得到各部位的紋理類別信息；將各部位的紋理類別信息轉(zhuǎn)換為one-hot編碼的形式，得到各部位的紋理特征向量；將各部位的紋理特征向量按部位填充到人體解析圖上，得到人體紋理圖；將人體解析圖、人體紋理圖和全掩碼初始索引序列共同輸入進訓(xùn)練好的采樣器中，得到更新后的索引序列；通過更新后的索引序列從預(yù)構(gòu)建的編碼本中得到對應(yīng)編碼，組成離散化后的特征向量，將所述離散化后的特征向量輸入解碼器得到粗糙人體圖像；所述采樣器的輸入為人體解析圖Tseg，人體紋理圖Ttex以及全掩碼初始索引序列Tcode，通過擴散的方式將全掩碼初始索引序列逐步優(yōu)化，直至得到目標人體圖像對應(yīng)的索引序列T′code，根據(jù)T′code從編碼本中提取得到特征圖Z2，將特征圖Z2輸入解碼器得到粗糙人體圖像f，過程表示為：T′code＝MHAEcodeTcode，EsegTseg，EtexTtex；Z2＝CT′code；f＝DecZ2；其中MHA·為多頭注意力網(wǎng)絡(luò)，而Ecode、Eseg、Etex分別為全掩碼初始索引序列、人體解析圖以及人體紋理圖所對應(yīng)的可學(xué)習(xí)編碼本，C·表示根據(jù)索引來提取編碼本中的對應(yīng)編碼，Dec·為解碼器；所述訓(xùn)練好的采樣器的獲取方法包括：獲取人體圖像作為源圖像；將源圖像輸入訓(xùn)練好的有限標量量化模型FSQ得到真實索引序列；將全掩碼初始索引序列、根據(jù)源圖像生成的人體解析圖和人體紋理圖輸入采樣器，采樣得到輸出的索引序列；通過減小輸出的索引序列與真實索引序列之間的差值訓(xùn)練采樣器，得到訓(xùn)練好的采樣器；所述有限標量量化模型FSQ包括：編碼器，用于對輸入的圖像進行編碼，得到離散前的特征圖Z；離散化模塊，用于對離散前的特征圖Z中每一個向量通過縮放以及四舍五入的方式，使得每一維都是固定范圍內(nèi)的一個整數(shù)，得到離散后的特征圖，過程表示為： 其中，Z為人體圖像I通過編碼器后得到的特征圖，Zq是特征圖Z通過離散化模塊離散后的特征圖，sg·為梯度截止函數(shù)，lbi為第i個紋理類別獨熱編碼，cat·用于將兩個向量在特征維度上連接，Round·操作為四舍五入操作，σ·為sigmoid操作，將特征向量的每一維都轉(zhuǎn)換到0，1區(qū)間，L為超參數(shù)，用于控制向量每一維的取值范圍；所述預(yù)構(gòu)建的編碼本的獲取方法包括：針對每一類別的紋理分別訓(xùn)練得到的一個訓(xùn)練好的有限標量量化模型FSQ；提取每一類別的紋理對應(yīng)的訓(xùn)練好的有限標量量化模型FSQ中離散化模塊能夠輸出的特征向量范圍，構(gòu)成該類別的紋理對應(yīng)的編碼本，整體流程如下： 其中，E為原始的不同紋理的編碼本集合，為第i種紋理所對應(yīng)的編碼本，ei為每一個編碼本中的編碼，為根據(jù)紋理類別更新后的第i類紋理對應(yīng)的編碼本，n為編碼本的個數(shù)，即紋理類別的數(shù)量，cat·用于將兩個向量在特征維度上連接，lbi為第i個紋理類別獨熱編碼，d為超參數(shù)，用于控制維度，表示正整數(shù)集合。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人南京信息工程大學(xué)，其通訊地址為：210000 江蘇省南京市江北新區(qū)寧六路219號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。