浙江大學(xué)許威威獲國(guó)家專利權(quán)
買專利賣專利找龍圖騰,真高效! 查專利查商標(biāo)用IPTOP,全免費(fèi)!專利年費(fèi)監(jiān)控用IP管家,真方便!
龍圖騰網(wǎng)獲悉浙江大學(xué)申請(qǐng)的專利一種基于圖塊聚類的弱監(jiān)督自然圖像摳圖方法獲國(guó)家發(fā)明授權(quán)專利權(quán),本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予,授權(quán)公告號(hào)為:CN114693937B 。
龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-03-21發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉:該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為:202210367918.4,技術(shù)領(lǐng)域涉及:G06V10/28;該發(fā)明授權(quán)一種基于圖塊聚類的弱監(jiān)督自然圖像摳圖方法是由許威威;張?jiān)瓶?王馳;鮑虎軍設(shè)計(jì)研發(fā)完成,并于2022-04-08向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。
本一種基于圖塊聚類的弱監(jiān)督自然圖像摳圖方法在說(shuō)明書摘要公布了:本發(fā)明公開了一種基于圖塊聚類的弱監(jiān)督自然圖像摳圖方法。具體地,用戶先使用含有真實(shí)透明度遮罩標(biāo)注的數(shù)據(jù)對(duì)教師網(wǎng)絡(luò)進(jìn)行訓(xùn)練;其次,再使用透明度遮罩相似度度量來(lái)對(duì)圖塊聚類模塊進(jìn)行訓(xùn)練;接著,使用訓(xùn)練完成的圖塊聚類模塊對(duì)含有真實(shí)透明度遮罩標(biāo)注的數(shù)據(jù)進(jìn)行聚類并對(duì)聚類結(jié)果進(jìn)行優(yōu)化;最終使用所有數(shù)據(jù)分別使用傳統(tǒng)圖像摳圖損失和聚類先驗(yàn)損失函數(shù)對(duì)學(xué)生網(wǎng)絡(luò)進(jìn)行監(jiān)督。在使用時(shí),用戶通過(guò)將待摳圖的圖像及其對(duì)應(yīng)三值圖輸入進(jìn)學(xué)生網(wǎng)絡(luò)從而得到最終摳圖結(jié)果。本發(fā)明首次在僅有較少真實(shí)透明度遮罩標(biāo)注的數(shù)據(jù)的前提下,利用不含真實(shí)透明度遮罩標(biāo)注的數(shù)據(jù)提升了摳圖效果,可以克服之前方法需要大批量標(biāo)注訓(xùn)練數(shù)據(jù)的問(wèn)題。
本發(fā)明授權(quán)一種基于圖塊聚類的弱監(jiān)督自然圖像摳圖方法在權(quán)利要求書中公布了:1.一種基于圖塊聚類的弱監(jiān)督自然圖像摳圖方法,其特征在于,包括以下步驟:S1:獲取訓(xùn)練數(shù)據(jù),其中包括含有真實(shí)透明度遮罩標(biāo)注的數(shù)據(jù)集L及不含真實(shí)透明度遮罩標(biāo)注的數(shù)據(jù)集U;其中,數(shù)據(jù)集L包括三部分:自然圖像、自然圖像對(duì)應(yīng)的三值圖、自然圖像對(duì)應(yīng)的真實(shí)透明度遮罩;數(shù)據(jù)集U包括兩部分:自然圖像及其對(duì)應(yīng)的三值圖;其中,所述三值圖將自然圖像中的所有像素分為三類,包括前景像素、背景像素和待求解像素;所述真實(shí)透明度遮罩代表的是自然圖像中每個(gè)位置上對(duì)應(yīng)像素的透明度;S2:使用數(shù)據(jù)集L及深度學(xué)習(xí)摳圖損失函數(shù)訓(xùn)練教師網(wǎng)絡(luò)T,網(wǎng)絡(luò)T是一個(gè)基于編-解碼器架構(gòu)的深度神經(jīng)網(wǎng)絡(luò),其中包括一個(gè)編碼器和一個(gè)解碼器;輸入一張自然圖像及其對(duì)應(yīng)的三值圖,編碼器將輸入映射成高維語(yǔ)義特征數(shù)據(jù),解碼器從高維語(yǔ)義特征數(shù)據(jù)中解碼出真實(shí)透明度遮罩作為預(yù)測(cè)結(jié)果;使用摳圖損失函數(shù)計(jì)算預(yù)測(cè)結(jié)果與真實(shí)透明度遮罩之間的差異,從而實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)T的訓(xùn)練;所述的使用數(shù)據(jù)集L及深度學(xué)習(xí)摳圖損失函數(shù)訓(xùn)練教師網(wǎng)絡(luò)T,具體為:首先使用在大型圖像分類數(shù)據(jù)集訓(xùn)練過(guò)的圖像分類模型作為網(wǎng)絡(luò)的初始化,再使用數(shù)據(jù)集L以及相應(yīng)的數(shù)據(jù)增廣技巧,使用常用的摳圖損失函數(shù)對(duì)網(wǎng)絡(luò)T對(duì)進(jìn)行訓(xùn)練;所述數(shù)據(jù)增廣技巧包括隨機(jī)數(shù)據(jù)增廣技巧、隨機(jī)非剛體體形變和透明度抖動(dòng);其中,隨機(jī)非剛體形變包括彈性形變ElasticTransform和薄板樣條形變ThinPlateSplineTransform,透明度抖動(dòng)是對(duì)真實(shí)透明度遮罩進(jìn)行隨機(jī)伽馬變換;S3:使用數(shù)據(jù)集L和透明度遮罩相似度損失訓(xùn)練圖塊聚類模塊;該圖塊聚類模塊包含了S2中訓(xùn)練完畢的網(wǎng)絡(luò)T的編碼器和一個(gè)映射器網(wǎng)絡(luò)M;網(wǎng)絡(luò)M是一個(gè)多層感知機(jī)MLP,負(fù)責(zé)將網(wǎng)絡(luò)T的編碼器輸出的特征數(shù)據(jù)映射為用于圖塊聚類的特征數(shù)據(jù);訓(xùn)練時(shí),輸入一張自然圖像及其對(duì)應(yīng)的三值圖,經(jīng)過(guò)網(wǎng)絡(luò)T的編碼器和映射器網(wǎng)絡(luò)M,輸出預(yù)測(cè)的圖塊聚類特征向量;最終使用透明度遮罩相似度損失來(lái)訓(xùn)練網(wǎng)絡(luò)M,網(wǎng)絡(luò)T的編碼器不參與訓(xùn)練;所述的透明度遮罩相似度損失具體為:給定數(shù)據(jù)集L中的自然圖像及其對(duì)應(yīng)的三值圖數(shù)據(jù)和真實(shí)透明度遮罩?jǐn)?shù)據(jù)將和送入網(wǎng)絡(luò)T的編碼器編碼后得到特征數(shù)據(jù)FL,透明度遮罩相似度損失函數(shù)Las按如下公式計(jì)算:Las=τsp,sn 其中,fi,fj∈FL是特征數(shù)據(jù)FL中位置i和位置j上的特征數(shù)據(jù),ai,是真實(shí)透明度遮罩?jǐn)?shù)據(jù)在位置i和位置j上對(duì)應(yīng)的透明度遮罩塊;MT是網(wǎng)絡(luò)M;τ是Circle損失,γ,θm是Circle損失相關(guān)參數(shù),sp和sn分別是Circle損失中的類內(nèi)對(duì)和類間對(duì);φ是余弦相似度,H和G分別是透明度遮罩相似度度量的兩項(xiàng)指標(biāo);是選擇類內(nèi)和類間對(duì)時(shí)使用的閾值;S4:使用S3中訓(xùn)練完畢的圖塊聚類模塊預(yù)測(cè)數(shù)據(jù)集L的聚類特征數(shù)據(jù),在預(yù)測(cè)結(jié)果上進(jìn)行聚類操作并對(duì)聚類結(jié)果進(jìn)行優(yōu)化;其中,先將數(shù)據(jù)集L中的自然圖像及其對(duì)應(yīng)的三值圖數(shù)據(jù)送入圖塊聚類模塊,獲得對(duì)應(yīng)的圖塊聚類特征數(shù)據(jù);在獲取到所有圖塊聚類特征數(shù)據(jù)之后,對(duì)特征數(shù)據(jù)使用K-means算法進(jìn)行聚類并獲取聚類中心;S5:對(duì)S4中獲取的聚類中心進(jìn)行進(jìn)一步的優(yōu)化并收集位于聚類中心附近的透明度遮罩;其中,聚類中心優(yōu)化包括過(guò)濾無(wú)效聚類中心和相似聚類中心聚合;S6:使用數(shù)據(jù)集L、數(shù)據(jù)集U以及S5中優(yōu)化后的聚類中心及其附近的透明度遮罩訓(xùn)練學(xué)生網(wǎng)絡(luò)S;其中,網(wǎng)絡(luò)S是一個(gè)與網(wǎng)絡(luò)T結(jié)構(gòu)完全相同的基于編-解碼器架構(gòu)的深度神經(jīng)網(wǎng)絡(luò),且使用S2中訓(xùn)練好的網(wǎng)絡(luò)T的權(quán)重進(jìn)行初始化;訓(xùn)練時(shí),同時(shí)將數(shù)據(jù)集L和數(shù)據(jù)集U的數(shù)據(jù)送入網(wǎng)絡(luò)S,并由網(wǎng)絡(luò)S輸出透明度遮罩的預(yù)測(cè)結(jié)果;針對(duì)數(shù)據(jù)集L中的數(shù)據(jù),使用摳圖損失函數(shù)并利用數(shù)據(jù)集L中已知的真實(shí)透明度遮罩進(jìn)行訓(xùn)練;針對(duì)數(shù)據(jù)集U中的數(shù)據(jù),首先將數(shù)據(jù)送入S3中訓(xùn)練完畢的圖塊聚類模塊獲得該數(shù)據(jù)對(duì)應(yīng)的圖塊聚類特征數(shù)據(jù),接著依據(jù)此特征數(shù)據(jù)查找距離最近的經(jīng)過(guò)S5優(yōu)化后的聚類中心及其附近的透明度遮罩,最后使用聚類先驗(yàn)損失,利用查找到的透明度遮罩來(lái)進(jìn)行訓(xùn)練;S7:使用在S6中訓(xùn)練完成的網(wǎng)絡(luò)S進(jìn)行摳圖;輸入待摳圖的自然圖像及其對(duì)應(yīng)的三值圖給網(wǎng)絡(luò)S,網(wǎng)絡(luò)S預(yù)測(cè)出該自然圖像對(duì)應(yīng)的透明度遮罩,即摳圖結(jié)果。
如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù),可聯(lián)系本專利的申請(qǐng)人或?qū)@麢?quán)人浙江大學(xué),其通訊地址為:310058 浙江省杭州市西湖區(qū)余杭塘路866號(hào);或者聯(lián)系龍圖騰網(wǎng)官方客服,聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。
1、本報(bào)告根據(jù)公開、合法渠道獲得相關(guān)數(shù)據(jù)和信息,力求客觀、公正,但并不保證數(shù)據(jù)的最終完整性和準(zhǔn)確性。
2、報(bào)告中的分析和結(jié)論僅反映本公司于發(fā)布本報(bào)告當(dāng)日的職業(yè)理解,僅供參考使用,不能作為本公司承擔(dān)任何法律責(zé)任的依據(jù)或者憑證。
- 內(nèi)蒙古拉鎖式新型建材科技有限公司姚井祥獲國(guó)家專利權(quán)
- 杭州老板電器股份有限公司任富佳獲國(guó)家專利權(quán)
- 鋒利刀具制造(深圳)有限公司呂小燕獲國(guó)家專利權(quán)
- 北京時(shí)代全芯存儲(chǔ)技術(shù)股份有限公司廖昱程獲國(guó)家專利權(quán)
- 蘇州樂(lè)儀智能科技有限公司方勇獲國(guó)家專利權(quán)
- 無(wú)錫先導(dǎo)智能裝備股份有限公司請(qǐng)求不公布姓名獲國(guó)家專利權(quán)
- 深圳市安拓浦科技有限公司楊瑞典獲國(guó)家專利權(quán)
- 冷王公司瑞安·韋恩·舒馬赫獲國(guó)家專利權(quán)
- 中科合肥煤氣化技術(shù)有限公司陽(yáng)紹軍獲國(guó)家專利權(quán)
- 中交上海航道勘察設(shè)計(jì)研究院有限公司丁潔獲國(guó)家專利權(quán)


熱門推薦
- 深圳市茁壯網(wǎng)絡(luò)股份有限公司徐佳宏獲國(guó)家專利權(quán)
- 沈陽(yáng)硅基科技有限公司賈文博獲國(guó)家專利權(quán)
- 長(zhǎng)興金潤(rùn)大正機(jī)械有限公司吳建豐獲國(guó)家專利權(quán)
- 廣東邦普循環(huán)科技有限公司許帥軍獲國(guó)家專利權(quán)
- 廣東聯(lián)大光電有限公司饒欽和獲國(guó)家專利權(quán)
- 武漢大學(xué)陳志文獲國(guó)家專利權(quán)
- 深圳市創(chuàng)益通技術(shù)股份有限公司莫金堂獲國(guó)家專利權(quán)
- 啟東吉萊電子有限公司張鵬獲國(guó)家專利權(quán)
- 河北藝能鍋爐有限責(zé)任公司牟春濤獲國(guó)家專利權(quán)
- 無(wú)錫先導(dǎo)智能裝備股份有限公司請(qǐng)求不公布姓名獲國(guó)家專利權(quán)