買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜大連理工大學申請的專利一種基于圖像修復模型的文本驅動主體個性化補全方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119722872B 。

龍圖騰網通過國家知識產權局官網在2025-05-27發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510227784.X，技術領域涉及：G06T11/60；該發明授權一種基于圖像修復模型的文本驅動主體個性化補全方法是由張璐;楊鎰丞;杜思雨;盧湖川設計研發完成，并于2025-02-28向國家知識產權局提交的專利申請。

本一種基于圖像修復模型的文本驅動主體個性化補全方法在說明書摘要公布了：一種基于圖像修復模型的文本驅動主體個性化補全方法，屬于圖像的生成和編輯領域。步驟一為個性化微調圖像修復模型；步驟二為兩階段的圖像補全。本發明通過進一步優化基于DreamBooth的個性化微調方法解決主體特征屬性耦合問題，并提出向量分解進一步解決耦合問題，以及提出了兩階段圖像個性化補全框架來提高圖像修復質量，最終實現了高質量的文本驅動主體個性化補全方法。

本發明授權一種基于圖像修復模型的文本驅動主體個性化補全方法在權利要求書中公布了：1.一種基于圖像修復模型的文本驅動主體個性化補全方法，其特征在于，步驟如下：步驟一、個性化微調圖像修復模型；步驟二、兩階段的圖像補全；所述的步驟一具體包括：（1.1）獲取一組具有共同目標主體的圖像以及圖像對應的文本描述，其中每張圖像與其對應的文本描述作為一個主體數據對，構成微調圖像修復模型的訓練數據，以讓圖像修復模型學習到目標主體的特征；所述的圖像對應的文本描述是指含有身份標記的對目標主體的簡潔描述；（1.2）基于用戶提出的目標問題，采用多模態大語言模型對步驟（1.1）中所述的一組具有共同目標主體的圖像中的目標主體的屬性進行特征描述，得到包括所有特征描述的鍵值對；基于鍵值對再次采用多模態大語言模型，并基于用戶進一步提出的目標問題，得到更多關于目標主體描述的正則文本；正則文本為不含有身份標記的包括鍵值對中部分目標主體特征的詳細描述；（1.3）借助基于文本控制的圖像生成模型，基于步驟（1.2）得到的正則文本生成指定數量的正則圖像，得到包括正則文本和正則圖像的正則數據對；（1.4）借助圖像分割模型獲取主體數據對和正則數據對中所有圖像的掩碼，并將掩碼添加到對應的主體數據對和正則數據對中用于圖像修復模型的微調；所有圖像包括步驟（1.3）得到的正則圖像和步驟（1.1）中目標主體的圖像；（1.5）使用步驟（1.4）得到的加入了掩碼的主體數據對和正則數據對，對圖像修復模型進行微調，對于不同的主體數據對和正則數據對應采用不同的采樣概率，并基于lora方法對圖像修復模型進行微調訓練，學習到目標主體的特征；所述的步驟二包括：（2.1）圖像補全的過程中，微調后的圖像修復模型的輸入包括需要補全的背景圖片、背景圖片對應的二值掩碼圖片、用戶在二值掩碼圖片上指定的補全區域以及用戶設定的針對目標主體的含有身份標記的個性化文本描述；補全區域用于補全目標主體，對背景圖片和二值掩碼圖片中包含且大于補全區域的相同位置裁剪出指定大小的區域得到局部圖片和局部二值掩碼；將用戶設定的針對目標主體的含有身份標記的個性化文本描述、需要補全的背景圖片、背景圖片對應的二值掩碼圖片、局部圖片和局部二值掩碼送入微調后的圖像修復模型中；（2.2）將用戶設定的針對目標主體的含有身份標記的個性化文本描述用文本編碼器進行編碼得到，對步驟（1.2）得到的鍵值對使用文本編碼器進行編碼得到，接下來應用向量分解進行特征的解耦，得到解耦后的特征向量，解耦的公式如下： 其中，表示向量的模；（2.3）對局部圖片編碼得到局部圖片的潛變量，用標準正態分布初始化相同維度的隨機噪聲，并對局部圖片的潛變量進行擴散修復模型的前向加噪到時間步T，T為擴散修復模型總的加噪步數，得到含噪局部圖片的潛變量；之后將含噪局部圖片的潛變量與步驟（2.2）得到的解耦后的特征向量同時送入UNet中進行去噪，獲得初始預測噪聲；（2.4）擴散修復模型使用步驟（2.3）得到的初始預測噪聲對步驟（2.3）去噪前的含噪局部圖片的潛變量進行去噪，獲得去噪局部圖片的潛變量；接下來利用步驟（2.3）標準正態分布初始化相同維度的隨機噪聲，對步驟（2.3）得到的局部圖片的潛變量前向加噪到當前時間步，得到當前時間步含噪局部圖片的潛變量；對去噪局部圖片的潛變量、當前時間步含噪局部圖片的潛變量使用局部二值掩碼進行融合，得到需要輸入到UNet中的含噪局部圖片的潛變量，與步驟（2.2）得到的解耦后的特征向量同時送入UNet中進行去噪，獲得當前時間步的預測噪聲，作為下一時間步的擴散修復模型的去噪輸入；重復本步驟直到，得到最后時間步的預測噪聲；其中為手動設置的超參數，T為擴散修復模型總的加噪步數；融合公式如下： 其中表示去噪局部圖片的潛變量，為局部二值掩碼，表示t時間步含噪局部圖片的潛變量；表示矩陣的逐元素相乘運算；（2.5）在擴散修復模型中，使用最后時間步的預測噪聲對最后一個時間步融合后的去噪局部圖片的潛變量進行徹底的去噪，直接預測的干凈的潛變量，然后使用解碼器對干凈的潛變量進行解碼，得到局部干凈圖片；接下來根據步驟（2.1）的裁剪區域，將局部干凈圖片與輸入的背景圖片融合得到全局干凈圖片，然后使用編碼器編碼得到全局干凈圖片對應的潛變量；（2.6）將步驟（2.5）得到的全局干凈圖片與步驟（2.1）輸入的背景圖片對應的二值掩碼圖片一同編碼，送入UNet中；同時，在擴散修復模型中，利用步驟（2.3）標準正態分布初始化相同維度的隨機噪聲，對步驟（2.5）得到的全局干凈圖片對應的潛變量前向加噪到，得到干凈圖片加噪后的潛變量，然后同樣送入UNet中，得到全局預測噪聲；（2.7）使用步驟（2.6）得到的全局預測噪聲對步驟（2.6）干凈圖片加噪后的潛變量進行去噪，獲得去噪全局圖片的潛變量；（2.8）擴散修復模型利用步驟（2.3）標準正態分布初始化相同維度的隨機噪聲，對步驟（2.5）得到的全局干凈圖片對應的潛變量前向加噪到當前時間步，得到當前時間步含噪全局圖片的潛變量；對步驟（2.7）得到的去噪全局圖片的潛變量、當前時間步含噪全局圖片的潛變量使用背景圖片對應的二值掩碼圖片進行融合，得到需要輸入到UNet中的含噪全局圖片的潛變量，與步驟（2.2）得到的解耦后的特征向量同時送入UNet中進行去噪，獲得當前時間步的預測噪聲，使用預測噪聲對輸入到UNet中的含噪全局圖片的潛變量進行去噪，得到下一時間步去噪全局圖片的潛變量，作為下一時間步的擴散修復模型的去噪輸入；重復本步驟直到,得到最終時間步的不含噪聲的全局圖片的潛變量；融合公式如下： 其中表示去噪全局圖片的潛變量，為背景圖片對應的二值掩碼圖片，表示t時間步含噪全局圖片的潛變量；（2.9）使用擴散修復模型的圖像解碼器對步驟（2.8）得到的不含噪聲的全局圖片的潛變量進行圖像解碼，得到用戶所需要的個性化補全的圖像。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人大連理工大學，其通訊地址為：116000 遼寧省大連市甘井子區凌工路2號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。