買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜福州大學申請的專利基于圖像融合的遮擋目標數據采集與姿態識別的方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN116030316B 。

龍圖騰網通過國家知識產權局官網在2025-05-20發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202211680663.3，技術領域涉及：G06V10/774；該發明授權基于圖像融合的遮擋目標數據采集與姿態識別的方法是由陳丹;林哲;徐哲壯;羊淼海;柯寅;曾元侖設計研發完成，并于2022-12-26向國家知識產權局提交的專利申請。

本基于圖像融合的遮擋目標數據采集與姿態識別的方法在說明書摘要公布了：本發明涉及一種基于圖像融合的遮擋目標數據采集與姿態識別的方法。包括圖像隨機融合生成特定數據集和利用模板點云信息進行網格下采樣并配準得到目標姿態。通過圖像融合方式生成特定目標的遮擋數據集，減少人工采集圖像成本；通過統計圖像融合過程中不同目標數據量，保證圖像融合均衡性，進行動態數據集補充，保證不同目標數據量的平衡，減小檢測器的過擬合程度；通過網格下采樣、設定閾值等方法減小點云配準過程的計算量，最后計算橫偏角得到目標姿態；由此提出遮擋目標檢測與姿態識別方法。本發明可以識別嚴重遮擋目標，并且得到目標的姿態，實現高效率遮擋目標圖像融合與姿態識別，具有非常高的工程應用價值。

本發明授權基于圖像融合的遮擋目標數據采集與姿態識別的方法在權利要求書中公布了：1.一種基于圖像融合的遮擋目標數據采集與姿態識別的方法，其特征在于，包括如下步驟：S1、圖像預處理：采集K種目標物體在機械臂正下方并且姿態保持與機械臂末端成90°的RGB圖K張；對圖像進行分割，將每個種類的目標物體均提取在一張像素為grd,ggd,gbd的圖中，得到K張不同目標物體的前景圖，并采集一張不包含任何目標物體的工作臺背景圖，即得到K+1張圖像；S2、圖像融合：對K張前景圖隨機選取i張，以目標物體中心點坐標作為旋轉中心隨機旋轉預定角度；對隨機旋轉完后的前景圖，遍歷所有像素值，將像素值非grd,ggd,gbd的像素點坐標存儲于集合M＝[x1,y1,x2,y2,…xm,ym]中，為保證旋轉后的目標物體能完整顯示在圖片中，以集合M中所有坐標的中心點作為擴充或裁剪中心，將旋轉后的圖片尺寸擴充或裁剪為統一尺寸W，H；S3、重新對像素矩陣進行遍歷，更新M中坐標信息；判斷M中的所有點坐標是否落入工作臺范圍x∈xs,xe,y∈ys,ye，取工作臺中心若存在某個點不在工作臺范圍中，分情況判斷并進行平移操作；S4、完成平移操作后，將工作臺背景圖中像素值非grd,ggd,gbd的像素值替換成前景圖中同位置的像素值，批量生成n張圖片，統計K種前景圖被隨機使用次數Ci，將Ci存入集合N＝[C1,C2,…CK]；S5、為保證數據采集均衡性，判斷集合N中C1,C2,…CK是否相等；若不相等，對集合N從大到小進行排序得到N＝[Cm1,Cm2,…CmK]，以集合N中最大的Cm1值作為標準，利用除了Cm1外的前景圖進行隨機旋轉，并融合生成Cm1-Cm2張圖片；更新集合N，再次判斷N中其他Ci-1是否等于Cm1，若其余Ci-1有一個或多個等于Cm1，則僅對剩余Ci不等于Cm1的前景圖進行同樣操作，直到所有Ci＝Cm1；S6、對生成的數據集進行劃分訓練集和驗證集，并利用卷積神經網絡進行訓練得到檢測器；利用檢測器對目標物體進行檢測，將目標物體檢測框的坐標定位于深度圖中，通過檢測框的坐標得到目標物體的RGB圖以及深度圖，并由RGB-D圖得到對應的點云圖；S7、由得到點云圖進行網格下采樣，與機械臂末端成90°的物體點云圖作為模板點，記為集合Q＝{q1,q2,....qn}；檢測的目標物體點云圖作為目標點，記為集合P＝{p1,p2,....pn}；根據集合Q的點利用最近鄰法來估計集合P中對應點的坐標，為簡化計算量，設定距離閾值θ，當距離小于閾值θ時，將其作為對應點；計算歐式變換：pi＝Rqi+t；其中R為旋轉矩陣，t為平移矩陣；基于最小二乘法進行迭代計算，使得誤差平方和達到極小值：輸出最終的旋轉矩陣R和平移矩陣t作為位姿變換；S8、在線檢測：經過圖像融合數據集訓練過的模型，對目標進行檢測時，得到目標物體的檢測框坐標信息定位于深度圖中，由RGB-D圖得到對應目標點云圖；再對目標進行點云配準，得到旋轉矩陣R和平移矩陣t，機械臂末端姿態滿足旋轉矩陣和平移矩陣要求，到達目標點抓取目標物體；步驟S2具體實現如下：S21、隨機旋轉前，遍歷前景圖的像素矩陣，將像素值非grd,ggd,gbd的像素點坐標存儲于集合M＝[x1,y1,x2,y2,…xm,ym]中，以集合M中第或個坐標或作為旋轉中心xc,yc對前景圖進行隨機旋轉；S22、得到旋轉完后前景圖的尺寸，同時對隨機旋轉完后的前景圖，遍歷所有像素值，將像素值非grd,ggd,gbd的像素點坐標存儲于集合M＝[x1,y1,x2,y2,…xm,ym]，為保證訓練集圖像尺寸均為W，H，需要對旋轉完后的前景圖進行填充或裁剪；判斷旋轉完后的圖像尺寸WR,HR與W，H的差距，計算WR,HR與W，H的差w1＝WR-W和h1＝HR-H，根據不同的情況選擇修正的形式；具體修正方法如下：情況一：當h10且w10，對高利用像素值為grd,ggd,gbd的像素點擴充至H；若在像素矩陣右端補充列像素值為grd,ggd,gbd的像素點；若則在像素矩陣左端補充列像素值為grd,ggd,gbd的像素點；若不做任何補充；最終均以作為寬度，以0,H作為高度；情況二：當h10且w10，對高利用像素值為grd,ggd,gbd的像素點擴充至H；對寬利用像素值為grd,ggd,gbd進的像素點擴充至W；最終均以0,W作為寬度，以0,H作為高度；情況三：當h10且w10，對寬利用像素值為grd,ggd,gbd的像素點擴充至W；若在像素矩陣末端補充行像素值為grd,ggd,gbd的像素點；若在像素矩陣起始補充行像素值為grd,ggd,gbd的像素點；若不做任何補充；最終均以0,W作為寬度，以作為高度；情況四：當h10且w10，若在像素矩陣右端補充列像素值為grd,ggd,gbd的像素點；若在像素矩陣左端補充列像素值為grd,ggd,gbd的像素點；若則不做補充；若在像素矩陣末端補充行像素值為grd,ggd,gbd的像素點；若在像素矩陣起始補充行像素值為grd,ggd,gbd的像素點；若不做任何處理；最終均以作為寬度，作為高度；情況五：1當h1＝0且w1＝0，無需裁剪，保留原圖片即可；2當h1＝0且w10，若在像素矩陣右端補充列像素值為grd,ggd,gbd的像素點；若在像素矩陣左端補充列像素值為grd,ggd,gbd的像素點；最終均以作為寬度，以0,H作為寬度；3當h1＝0且w10，對寬利用像素值為grd,ggd,gbd的像素點擴充至W，最終均以0,W作為寬度，以0,H作為高度；4當w1＝0且h10，若在像素矩陣末端補充行像素值為grd,ggd,gbd的像素點；若在像素矩陣起始補充行像素值為grd,ggd,gbd的像素點；最終均以0,W作為寬度，以作為高度；5當w1＝0且h10，對高利用像素值為grd,ggd,gbd的像素點擴充至H；最終均以0,W作為寬度，以0,H作為高度。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人福州大學，其通訊地址為：350108 福建省福州市閩侯縣福州大學城烏龍江北大道2號福州大學；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。