買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉浙江大學(xué)申請(qǐng)的專利一種基于圖塊聚類的弱監(jiān)督自然圖像摳圖方法獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN114693937B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-03-21發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202210367918.4，技術(shù)領(lǐng)域涉及：G06V10/28；該發(fā)明授權(quán)一種基于圖塊聚類的弱監(jiān)督自然圖像摳圖方法是由許威威;張?jiān)瓶?王馳;鮑虎軍設(shè)計(jì)研發(fā)完成，并于2022-04-08向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種基于圖塊聚類的弱監(jiān)督自然圖像摳圖方法在說(shuō)明書摘要公布了：本發(fā)明公開了一種基于圖塊聚類的弱監(jiān)督自然圖像摳圖方法。具體地，用戶先使用含有真實(shí)透明度遮罩標(biāo)注的數(shù)據(jù)對(duì)教師網(wǎng)絡(luò)進(jìn)行訓(xùn)練；其次，再使用透明度遮罩相似度度量來(lái)對(duì)圖塊聚類模塊進(jìn)行訓(xùn)練；接著，使用訓(xùn)練完成的圖塊聚類模塊對(duì)含有真實(shí)透明度遮罩標(biāo)注的數(shù)據(jù)進(jìn)行聚類并對(duì)聚類結(jié)果進(jìn)行優(yōu)化；最終使用所有數(shù)據(jù)分別使用傳統(tǒng)圖像摳圖損失和聚類先驗(yàn)損失函數(shù)對(duì)學(xué)生網(wǎng)絡(luò)進(jìn)行監(jiān)督。在使用時(shí)，用戶通過(guò)將待摳圖的圖像及其對(duì)應(yīng)三值圖輸入進(jìn)學(xué)生網(wǎng)絡(luò)從而得到最終摳圖結(jié)果。本發(fā)明首次在僅有較少真實(shí)透明度遮罩標(biāo)注的數(shù)據(jù)的前提下，利用不含真實(shí)透明度遮罩標(biāo)注的數(shù)據(jù)提升了摳圖效果，可以克服之前方法需要大批量標(biāo)注訓(xùn)練數(shù)據(jù)的問(wèn)題。

本發(fā)明授權(quán)一種基于圖塊聚類的弱監(jiān)督自然圖像摳圖方法在權(quán)利要求書中公布了：1.一種基于圖塊聚類的弱監(jiān)督自然圖像摳圖方法，其特征在于，包括以下步驟：S1：獲取訓(xùn)練數(shù)據(jù)，其中包括含有真實(shí)透明度遮罩標(biāo)注的數(shù)據(jù)集L及不含真實(shí)透明度遮罩標(biāo)注的數(shù)據(jù)集U；其中，數(shù)據(jù)集L包括三部分：自然圖像、自然圖像對(duì)應(yīng)的三值圖、自然圖像對(duì)應(yīng)的真實(shí)透明度遮罩；數(shù)據(jù)集U包括兩部分：自然圖像及其對(duì)應(yīng)的三值圖；其中，所述三值圖將自然圖像中的所有像素分為三類，包括前景像素、背景像素和待求解像素；所述真實(shí)透明度遮罩代表的是自然圖像中每個(gè)位置上對(duì)應(yīng)像素的透明度；S2：使用數(shù)據(jù)集L及深度學(xué)習(xí)摳圖損失函數(shù)訓(xùn)練教師網(wǎng)絡(luò)T，網(wǎng)絡(luò)T是一個(gè)基于編-解碼器架構(gòu)的深度神經(jīng)網(wǎng)絡(luò)，其中包括一個(gè)編碼器和一個(gè)解碼器；輸入一張自然圖像及其對(duì)應(yīng)的三值圖，編碼器將輸入映射成高維語(yǔ)義特征數(shù)據(jù)，解碼器從高維語(yǔ)義特征數(shù)據(jù)中解碼出真實(shí)透明度遮罩作為預(yù)測(cè)結(jié)果；使用摳圖損失函數(shù)計(jì)算預(yù)測(cè)結(jié)果與真實(shí)透明度遮罩之間的差異，從而實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)T的訓(xùn)練；所述的使用數(shù)據(jù)集L及深度學(xué)習(xí)摳圖損失函數(shù)訓(xùn)練教師網(wǎng)絡(luò)T，具體為：首先使用在大型圖像分類數(shù)據(jù)集訓(xùn)練過(guò)的圖像分類模型作為網(wǎng)絡(luò)的初始化，再使用數(shù)據(jù)集L以及相應(yīng)的數(shù)據(jù)增廣技巧，使用常用的摳圖損失函數(shù)對(duì)網(wǎng)絡(luò)T對(duì)進(jìn)行訓(xùn)練；所述數(shù)據(jù)增廣技巧包括隨機(jī)數(shù)據(jù)增廣技巧、隨機(jī)非剛體體形變和透明度抖動(dòng)；其中，隨機(jī)非剛體形變包括彈性形變ElasticTransform和薄板樣條形變ThinPlateSplineTransform，透明度抖動(dòng)是對(duì)真實(shí)透明度遮罩進(jìn)行隨機(jī)伽馬變換；S3：使用數(shù)據(jù)集L和透明度遮罩相似度損失訓(xùn)練圖塊聚類模塊；該圖塊聚類模塊包含了S2中訓(xùn)練完畢的網(wǎng)絡(luò)T的編碼器和一個(gè)映射器網(wǎng)絡(luò)M；網(wǎng)絡(luò)M是一個(gè)多層感知機(jī)MLP，負(fù)責(zé)將網(wǎng)絡(luò)T的編碼器輸出的特征數(shù)據(jù)映射為用于圖塊聚類的特征數(shù)據(jù)；訓(xùn)練時(shí)，輸入一張自然圖像及其對(duì)應(yīng)的三值圖，經(jīng)過(guò)網(wǎng)絡(luò)T的編碼器和映射器網(wǎng)絡(luò)M，輸出預(yù)測(cè)的圖塊聚類特征向量；最終使用透明度遮罩相似度損失來(lái)訓(xùn)練網(wǎng)絡(luò)M，網(wǎng)絡(luò)T的編碼器不參與訓(xùn)練；所述的透明度遮罩相似度損失具體為：給定數(shù)據(jù)集L中的自然圖像及其對(duì)應(yīng)的三值圖數(shù)據(jù)和真實(shí)透明度遮罩?jǐn)?shù)據(jù)將和送入網(wǎng)絡(luò)T的編碼器編碼后得到特征數(shù)據(jù)FL，透明度遮罩相似度損失函數(shù)Las按如下公式計(jì)算：Las＝τsp,sn 其中，fi,fj∈FL是特征數(shù)據(jù)FL中位置i和位置j上的特征數(shù)據(jù)，ai,是真實(shí)透明度遮罩?jǐn)?shù)據(jù)在位置i和位置j上對(duì)應(yīng)的透明度遮罩塊；MT是網(wǎng)絡(luò)M；τ是Circle損失，γ,θm是Circle損失相關(guān)參數(shù)，sp和sn分別是Circle損失中的類內(nèi)對(duì)和類間對(duì)；φ是余弦相似度，H和G分別是透明度遮罩相似度度量的兩項(xiàng)指標(biāo)；是選擇類內(nèi)和類間對(duì)時(shí)使用的閾值；S4：使用S3中訓(xùn)練完畢的圖塊聚類模塊預(yù)測(cè)數(shù)據(jù)集L的聚類特征數(shù)據(jù)，在預(yù)測(cè)結(jié)果上進(jìn)行聚類操作并對(duì)聚類結(jié)果進(jìn)行優(yōu)化；其中，先將數(shù)據(jù)集L中的自然圖像及其對(duì)應(yīng)的三值圖數(shù)據(jù)送入圖塊聚類模塊，獲得對(duì)應(yīng)的圖塊聚類特征數(shù)據(jù)；在獲取到所有圖塊聚類特征數(shù)據(jù)之后，對(duì)特征數(shù)據(jù)使用K-means算法進(jìn)行聚類并獲取聚類中心；S5：對(duì)S4中獲取的聚類中心進(jìn)行進(jìn)一步的優(yōu)化并收集位于聚類中心附近的透明度遮罩；其中，聚類中心優(yōu)化包括過(guò)濾無(wú)效聚類中心和相似聚類中心聚合；S6：使用數(shù)據(jù)集L、數(shù)據(jù)集U以及S5中優(yōu)化后的聚類中心及其附近的透明度遮罩訓(xùn)練學(xué)生網(wǎng)絡(luò)S；其中，網(wǎng)絡(luò)S是一個(gè)與網(wǎng)絡(luò)T結(jié)構(gòu)完全相同的基于編-解碼器架構(gòu)的深度神經(jīng)網(wǎng)絡(luò)，且使用S2中訓(xùn)練好的網(wǎng)絡(luò)T的權(quán)重進(jìn)行初始化；訓(xùn)練時(shí)，同時(shí)將數(shù)據(jù)集L和數(shù)據(jù)集U的數(shù)據(jù)送入網(wǎng)絡(luò)S，并由網(wǎng)絡(luò)S輸出透明度遮罩的預(yù)測(cè)結(jié)果；針對(duì)數(shù)據(jù)集L中的數(shù)據(jù)，使用摳圖損失函數(shù)并利用數(shù)據(jù)集L中已知的真實(shí)透明度遮罩進(jìn)行訓(xùn)練；針對(duì)數(shù)據(jù)集U中的數(shù)據(jù)，首先將數(shù)據(jù)送入S3中訓(xùn)練完畢的圖塊聚類模塊獲得該數(shù)據(jù)對(duì)應(yīng)的圖塊聚類特征數(shù)據(jù)，接著依據(jù)此特征數(shù)據(jù)查找距離最近的經(jīng)過(guò)S5優(yōu)化后的聚類中心及其附近的透明度遮罩，最后使用聚類先驗(yàn)損失，利用查找到的透明度遮罩來(lái)進(jìn)行訓(xùn)練；S7：使用在S6中訓(xùn)練完成的網(wǎng)絡(luò)S進(jìn)行摳圖；輸入待摳圖的自然圖像及其對(duì)應(yīng)的三值圖給網(wǎng)絡(luò)S，網(wǎng)絡(luò)S預(yù)測(cè)出該自然圖像對(duì)應(yīng)的透明度遮罩，即摳圖結(jié)果。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人浙江大學(xué)，其通訊地址為：310058 浙江省杭州市西湖區(qū)余杭塘路866號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。