恭喜方田醫創(成都)科技有限公司田怡然獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網恭喜方田醫創(成都)科技有限公司申請的專利一種可編輯面部三維重建方法、系統和儲存介質獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN119206101B 。
龍圖騰網通過國家知識產權局官網在2025-03-25發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202411742013.6,技術領域涉及:G06T17/00;該發明授權一種可編輯面部三維重建方法、系統和儲存介質是由田怡然;曾茂林;黃明鑫設計研發完成,并于2024-11-29向國家知識產權局提交的專利申請。
本一種可編輯面部三維重建方法、系統和儲存介質在說明書摘要公布了:本發明屬于圖像數據處理技術領域,具體涉及一種可編輯面部三維重建方法、系統和儲存介質。本發明的方法主要包括如下步驟:獲取建模者的無表情圖像數據和有表情圖像數據;獲得中性模型、真實有表情模型;訓練形變場、顏色場和超分辨率神經網絡;訓練表情編碼器構建表情基向量;通過表情基向量和最終生成的模型構成建模者的有表情的面部三維模型并輸出渲染圖像。本發明還進一步提供實現上述方法的系統。本發明基于神經輻射場技術進行人臉三維重建,能夠生成精準、自然、美觀、真實的面部三維模型,且能夠進行靈活和便捷的個性化調整,在醫療和醫美領域具有很好的應用前景。
本發明授權一種可編輯面部三維重建方法、系統和儲存介質在權利要求書中公布了:1.一種可編輯面部三維重建方法,其特征在于,包括如下步驟:獲取多個角度拍攝的建模者無表情圖像數據和有表情圖像數據;使用所述無表情圖像數據生成頭部點云,獲得中性模型;使用所述有表情圖像數據生成頭部點云,獲得真實有表情模型;使用真實有表情模型,訓練形變場和顏色場;所述中性模型經過顏色場和形變場,獲得最終輸出的模型;利用最終輸出的模型獲得渲染圖像,使用所述渲染圖像和所述有表情圖像數據訓練超分辨率神經網絡;使用無表情圖像數據和有表情圖像數據,訓練表情編碼器;對所述無表情圖像數據中患者臉部特征點進行拖拽后,送入所述表情編碼器,所述表情編碼器將拖拽后的特征點坐標編碼為表情基向量;所述表情基向量和所述最終輸出的模型構成建模者的有表情的面部三維模型;所述有表情的面部三維模型通過超分辨率網絡獲得高清渲染圖;所述超分辨率網絡的訓練過程為:所述中性模型和表情基向量經過形變場和顏色場獲得有表情稀疏點云;有表情稀疏點云渲染的低分辨率圖像通過超分辨率神經網絡獲得對應的高分辨率圖像;所述形變場和顏色場的訓練過程為:所述中性模型包括中性點云位置向量和中性點云特征點顏色向量,所述中性點云位置向量為發生位置變化的有表情特征點的位置坐標組成的向量;所述中性點云特征點顏色向量為發生位置變化的有表情特征點的顏色值組成的向量;在形變場中,所述中性點云位置向量和表情基向量通過形狀的改變形成矩陣,并在通道維度上進行拼接,形成通道數為4的張量,所述張量通過ResNet進行特征提取與融合,最后通過三個全連接層映射出相對于中性模型相應點位的位置偏移量;在顏色場中,所述中性點云位置向量、中性點云特征點顏色向量和表情基向量通過形狀的改變形成矩陣,并在通道維度上進行拼接,形成通道數為4的張量,所述張量通過ResNet進行特征提取與融合,最后通過三個全連接層映射出相對于中性模型相應點位的位置偏移量;訓練形變場和顏色場過程中,采用如下三種損失函數:LRGB=||Irgb–Igt||1Lsil=1-IOUM,MgtLdef=||P-Pgt||2其中,LRGB為RGB損失,Lsil為輪廓損失,Ldef為人臉特征點損失;Irgb為顏色場輸出的RGB數值,Igt為真實的有表情模型相應點位的RGB數值,M為生成點云的面部輪廓,Mgt為真實有表情模型中的面部輪廓,IOU為兩個輪廓的交并比,Pgt為真實有表情模型點的位置,P為生成點云的相應點的位置;LRGB的計算公式中,下標1表示L1Loss損失函數;Ldef的計算公式中,下標2表示L2Loss損失函數;P=P0+fdefP0,zexpP0為中性點云相應點位置,Zexp為表情基向量,fdef為形變場;訓練形變場和顏色場過程中,引入先驗約束Loffset,所述Loffset為懲罰所有非零位移,Loffset=λ1counterfdefP0,zexp=0其中λ1為權重,用于縮放損失;counterfdefP0,zexp=0表示計算出特征點中所有偏移量為零的數據;訓練所述超分辨率神經網絡過程中,采用如下損失函數:L=λ2||Ihr?Igt||1+1-λ2||Ilr?Igt||1其中,Ihr為超分辨率神經網絡提升分辨率后的高清圖像,Ilr為點云渲染出的低分辨率圖像,Igt為真實有表情的圖像,λ2為權重;構建表情基向量的具體過程表示為:Zexp=EexpIin,P0其中,Zexp為表情基向量,Eexp為表情編碼器,Iin為無表情圖像數據,P0為有表情圖像數據的68個特征點。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人方田醫創(成都)科技有限公司,其通訊地址為:610000 四川省成都市天府新區興隆街道湖畔路西段99號附OL-10-202209009號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。