恭喜上海機器人產業技術研究院有限公司;上海交通大學沈文婷獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網恭喜上海機器人產業技術研究院有限公司;上海交通大學申請的專利一種適用于ROS系統的Unity3D下視覺傳感器的仿真方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN114011066B 。
龍圖騰網通過國家知識產權局官網在2025-04-29發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202111186811.1,技術領域涉及:A63F13/525;該發明授權一種適用于ROS系統的Unity3D下視覺傳感器的仿真方法是由沈文婷;王賡;鄭軍奇;蔣李康設計研發完成,并于2021-10-12向國家知識產權局提交的專利申請。
本一種適用于ROS系統的Unity3D下視覺傳感器的仿真方法在說明書摘要公布了:本發明提供了一種適用于ROS系統的Unity3D下視覺傳感器的仿真方法,通過Unity3D仿真的方式,實現一種虛擬環境中的視覺傳感器,并與實際的ROS系統通信,為機器人仿真測試環境提供了關鍵技術方法。本發明通過添加可選擇的圖像噪聲,模擬了真實相機會出現的噪點等干擾數據,提高了仿真相機的真實感。通過對RGB圖像數據處理與編碼,本發明生成了Image格式的ROS傳感器數據,包含完整的未處理的RGB圖像數據,實現了Unity3D中RGB相機的RGB原始數據仿真。通過對RGB圖像數據的壓縮與編碼,本發明生成了CompressedImage格式的ROS傳感器數據,實現了Unity3D中RGB相機的RGB壓縮數據仿真。
本發明授權一種適用于ROS系統的Unity3D下視覺傳感器的仿真方法在權利要求書中公布了:1.一種適用于ROS系統的Unity3D下視覺傳感器的仿真方法,其特征在于,用于獲得RGB圖像或者深度圖像,其中:通過所述仿真方法獲得RGB圖像包括以下步驟:步驟101:使用Windows平臺∪nity3D三維游戲引擎中的Camera組件獲取原始可視域;步驟102:在原始可視域的基礎上修改Camera組件的分辨率、水平視場角與垂直視場角、景深、刷新率以及圖像質量,其中:根據實際相機參數中的分辨率修改Camera組件的分辨率,分辨率表示為圖像寬W×高H;根據實際相機參數中的垂直視場角要求修改垂直視場角HFOV;根據分辨率W×H、垂直視場角HFOV、水平視場角WFOV與相機焦距f的關系計算得到水平視場角WFOV,根據計算得到的水平視場角WFOV修改Camera組件的水平視場角WFOV;根據實際相機參數中的最近景深與最遠景深完成對景深的修改;根據實際相機參數中的刷新率對應要求完成對刷新率的修改;根據目標用戶的帶寬動態設定對應的圖像壓縮比例以調整圖像質量;步驟103:新建畫布組件,根據步驟102確定的分辨率對畫布組件進行截取,獲取和分辨率一致的畫布組件,按行按列將獲取的原始可視域像素賦值給畫布組件,并返回對應的畫布組件,即為生成的RGB圖像;步驟104:對生成的RGB圖像添加相應的噪聲;步驟105:根據Linux平臺ROS系統通信格式,對上一步得到的RGB圖像進行處理,得到處理后的圖像數據包,其中,對RGB圖像進行處理包括將RGB圖像按照圖像質量進行壓縮后按對應發送格式編碼,或者將原始大小的按對應發送格式編碼;步驟106:建立基于WebSocket的通信模塊,連接到Linux平臺ROS系統中的ROS-Bridge服務器,并發布類型為Image的ROS話題數據包或類型為Image的Compressedlmage的ROS話題數據包,其中,類型為Image的ROS話題數據包是基于未壓縮的圖像所得到的圖像數據包;類型為CompressedImage的ROS話題數據包是基于經過壓縮處理的圖像所得到的圖像數據包;步驟107:根據設定的幀率,設置定時器,通過通信模塊定時發布上一步得到的ROS話題數據包;步驟108:Linux平臺ROS系統利用ROS-Bridge模塊接收ROS話題數據包;步驟109:通過訂閱類型為Image的ROS話題數據包或類型為Image的Compressedlmage的ROS話題數據包,在Rviz軟件中呈現RGB圖像數據;深度圖像模塊流程步驟如下:步驟201:使用Windows平臺Unity3D三維游戲引擎中的Camera組件獲取原始可視域;步驟202:將原始可視域進行線性投影操作,獲取深度可視域,其中,進行線性投影操作時,透視投影下的深度值zview表示為下式: 式中,Far與Near分別為遠近裁剪平面的距離,同時也是最遠景深與最近景深的值;d為對于單一深度圖像而言,每個像素點在經過空間正交投影后的深度值,d=0.5×zndc+0.5,zndc為NDC中頂點坐標Z軸分量的值;步驟203:在深度可視域的基礎上修改Camera組件的分辨率、水平視場角與垂直視場角、景深以及刷新率,其中:根據實際相機參數中的分辨率修改Camera組件的分辨率,分辨率表示為圖像寬W×高H;根據實際相機參數中的垂直視場角要求修改垂直視場角HFOV;根據分辨率W×H、垂直視場角HFOV、水平視場角WFOV與相機焦距f的關系計算得到水平視場角WFOV,根據計算得到的水平視場角WFOV修改Camera組件的水平視場角WFOV;根據實際相機參數中的最近景深與最遠景深完成對景深的修改;根據實際相機參數中的刷新率對應要求完成對刷新率的修改;步驟204:新建畫布組件,根據步驟102確定的分辨率對畫布組件進行截取,獲取和分辨率一致的畫布組件,按行按列將獲取的深度可視域像素賦值給畫布組件,并返回對應的畫布組件,即為生成的深度圖像;步驟205:對生成的深度圖像添加相應噪聲;步驟206:對上一步得到的深度圖像進行空間轉換計算,獲取深度圖像對應點云數據;步驟207:根據ROS通信格式,對點云數據進行處理,得到處理的數據包;步驟208:建立基于WebSocket的通信模塊,連接到ROS系統中的ROS-Bridge服務器,基于步驟207得到的數據包發布類型為PointCloud2的ROS話題數據包;步驟209:根據幀率要求,設置定時器,定時發送ROS話題數據包,Linux平臺ROS系統進行接收;步驟210:Linux平臺ROS系統中利用ROS-Bridge模塊接收ROS話題數據包;步驟211:通過訂閱類型為PointCloud2的ROS話題數據包,在Rviz軟件中呈現深度點云數據。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人上海機器人產業技術研究院有限公司;上海交通大學,其通訊地址為:200063 上海市普陀區武寧路509號18樓;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。