買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜北京工業(yè)大學(xué)申請(qǐng)的專利一種基于排序與語(yǔ)義一致性約束的實(shí)例分割改進(jìn)方法獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN113409327B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-05-27發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202110608265.X，技術(shù)領(lǐng)域涉及：G06V10/26；該發(fā)明授權(quán)一種基于排序與語(yǔ)義一致性約束的實(shí)例分割改進(jìn)方法是由王立春;楊臣;王少帆;孔德慧;李敬華;尹寶才設(shè)計(jì)研發(fā)完成，并于2021-06-01向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種基于排序與語(yǔ)義一致性約束的實(shí)例分割改進(jìn)方法在說(shuō)明書摘要公布了：本發(fā)明提出一種基于排序與語(yǔ)義一致性約束的實(shí)例分割改進(jìn)方法，針對(duì)如何提高分割實(shí)例的掩膜質(zhì)量問(wèn)題，主要是提出面向?qū)嵗指罹W(wǎng)絡(luò)的排序損失與語(yǔ)義一致性損失，前者優(yōu)化子區(qū)域的選擇結(jié)果，后者優(yōu)化子區(qū)域的語(yǔ)義分割結(jié)果。實(shí)例分割屬于計(jì)算機(jī)視覺(jué)領(lǐng)域的重要任務(wù)，既要求區(qū)分具體實(shí)例，又要求完成分類與定位任務(wù)。當(dāng)前的實(shí)例分割方法，存在分割實(shí)例的掩膜質(zhì)量不高的問(wèn)題，這對(duì)很多實(shí)際任務(wù)有不可忽略的負(fù)面影響。提出的排序損失與語(yǔ)義一致性損失，可以應(yīng)用于目前已有的任意兩階段與單階段實(shí)例分割框架中。在公開數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)表明，增加排序損失與語(yǔ)義一致性損失后，深度網(wǎng)絡(luò)的實(shí)例分割效果均取得一定程度的提升，分割實(shí)例的掩膜質(zhì)量有所改善。

本發(fā)明授權(quán)一種基于排序與語(yǔ)義一致性約束的實(shí)例分割改進(jìn)方法在權(quán)利要求書中公布了：1.一種基于排序與語(yǔ)義一致性約束的實(shí)例分割改進(jìn)方法，其特征在于包括以下步驟：模型訓(xùn)練與測(cè)試使用的預(yù)訓(xùn)練模型已經(jīng)在imagenet數(shù)據(jù)集上進(jìn)行了訓(xùn)練；預(yù)訓(xùn)練模型使用的算法包括Mask-RCNN與Yolact的原始基礎(chǔ)模塊；Mask-RCNN基礎(chǔ)模塊：特征提取網(wǎng)絡(luò)Backbone:ResneXt101+FPN為Backbone，使用的預(yù)訓(xùn)練權(quán)重為resnet101文件，其在ImageNet數(shù)據(jù)集上進(jìn)行了預(yù)訓(xùn)練；RPN網(wǎng)絡(luò):用于生成regionproposals；通過(guò)softmax判斷anchors屬于positive或者negative，再利用boundingboxregression修正anchors獲得精確的ROIs，即子區(qū)域；全連接層FC：分類操作得到實(shí)例標(biāo)簽，回歸操作得到實(shí)例框；全卷積網(wǎng)絡(luò)FCN：掩膜分割操作，得到實(shí)例掩膜；Yolact基礎(chǔ)模塊：特征提取網(wǎng)路Backbone：Resnet101+FPN為Backbone，預(yù)訓(xùn)練權(quán)重文件仍為resnet101文件；Protonet網(wǎng)絡(luò):為每張圖像生成k個(gè)原型Mask；k＝32；接在FPN輸出的后面，是一個(gè)全卷積結(jié)構(gòu)的網(wǎng)絡(luò)，預(yù)測(cè)得到一組原型Mask；PredictionHead：回歸分類操作，等同于兩階段方法中的子區(qū)域提取過(guò)程，輸出子區(qū)域及其分類；同時(shí)預(yù)測(cè)k個(gè)線性組合系數(shù)，用于對(duì)原型Mask進(jìn)行線性組合操作，對(duì)線性組合結(jié)果進(jìn)行Crop操作獲得實(shí)例掩膜；使用標(biāo)準(zhǔn)的標(biāo)簽文件annotation包括[id,image_id,category_id,segmentation,area,bbox,iscrowd],類別標(biāo)簽category_id，掩膜標(biāo)簽segmentation，實(shí)例框標(biāo)簽bbox；其中的segmentation為polygon格式數(shù)據(jù)，以相鄰一對(duì)數(shù)據(jù)為實(shí)例輪廓邊緣點(diǎn)的坐標(biāo)值，bbox數(shù)據(jù)格式為[x1,y1,x2,y2]；在第一階段，損失函數(shù)是RPN網(wǎng)絡(luò)訓(xùn)練所得，包括RPN前景與背景分類損失lrpn_cls，真實(shí)標(biāo)簽t∈{1，0，-1}，真實(shí)標(biāo)簽為0的anchors不參與損失函數(shù)的構(gòu)建，將標(biāo)簽為-1的轉(zhuǎn)換為0進(jìn)行交叉熵計(jì)算；RPN目標(biāo)框回歸損失lrpn_reg，以及排序損失SRLoss，記為lrpn_rank；子區(qū)域排序損失排序損失定義如式1： 其中P為正樣本集合，正負(fù)樣本由先驗(yàn)框或錨框anchor與GTBbox計(jì)算交并比后根據(jù)閾值確定；高于0.7的樣本歸為正樣本，低于0.3的樣本歸為負(fù)樣本，其余樣本不予訓(xùn)練與處理；依據(jù)交并比對(duì)正負(fù)樣本由大及小進(jìn)行排序，排序序號(hào)即為r值；依據(jù)樣本的分類置信度評(píng)分由大及小進(jìn)行排序，排序序號(hào)即為sortr的值；正樣本排序結(jié)果越靠前，則SRLoss越小；在第二階段，損失函數(shù)包括分類損失lcls、回歸損失lreg、分割損失lseg，以及語(yǔ)義一致性損失SSLoss，記為lsc；子區(qū)域語(yǔ)義一致性損失記Mi為掩膜區(qū)域內(nèi)標(biāo)注為第i類的像素點(diǎn)的數(shù)目，最終的損失函數(shù)形式為： 其中c為總的類別數(shù)量，在MSCOCO數(shù)據(jù)集上c＝80,α為超參數(shù)；在其中的分類損失、分割損失為交叉熵?fù)p失，而回歸損失為Smooth_L1損失；它們的形式是：交叉熵?fù)p失：y為真實(shí)值，yi為預(yù)測(cè)概率值，n為樣本個(gè)數(shù)；Smooth_L1損失：y*為預(yù)測(cè)值，y3為標(biāo)簽,x為兩者間差異；總體訓(xùn)練分為兩大部分，首先訓(xùn)練RPN網(wǎng)絡(luò)部分，需要優(yōu)化的損失函數(shù)L1如下：L1＝lrpn_cls+lrpn_reg+lrpn_rank5ROI區(qū)域篩選進(jìn)入第二階段后，需要優(yōu)化的損失函數(shù)L2如下：L2＝lcls+lreg+lseg+lsc6在測(cè)試部分，使用Mask預(yù)測(cè)分支對(duì)評(píng)分最高的前100個(gè)檢測(cè)框進(jìn)行處理；為了加快推斷效率，網(wǎng)絡(luò)針對(duì)于每個(gè)ROI預(yù)測(cè)K個(gè)掩膜圖像，但此處只需要使用其中類別概率最大的掩膜圖即可，將這個(gè)掩膜圖像resize回ROI大小，并以設(shè)定閾值0.5進(jìn)行二值化，高于閾值的進(jìn)行保留，最后分割的掩膜與原圖像進(jìn)行圖像級(jí)add操作獲得最終的實(shí)例分割可視化結(jié)果；列出網(wǎng)絡(luò)的總損失：L＝lcls+lreg+lseg+lsegm+lrank+lsc其中，lcls與lreg為分類損失與回歸損失，lseg為分割損失，lsegm為語(yǔ)義分割損失，排序損失記為lrank。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人北京工業(yè)大學(xué)，其通訊地址為：100124 北京市朝陽(yáng)區(qū)平樂(lè)園100號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。