買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜杭州電子科技大學申請的專利一種基于圖像和雷達數據的舞臺交互系統獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN112598742B 。

龍圖騰網通過國家知識產權局官網在2025-05-13發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202011609683.2，技術領域涉及：G06T7/73；該發明授權一種基于圖像和雷達數據的舞臺交互系統是由吳子朝;陳豪;張成設計研發完成，并于2020-12-30向國家知識產權局提交的專利申請。

本一種基于圖像和雷達數據的舞臺交互系統在說明書摘要公布了：本發明公開了一種基于圖像和雷達數據的舞臺交互系統，包括信息采集模塊、處理模塊和控制模塊。所述信息采集模塊包括安裝在舞臺正前方的一臺RGB攝影機和一臺LiDAR激光雷達，實時探測舞臺上表演者的姿態信息，作為生產姿態的訓練數據或現場數據；處理模塊包括姿態生成和姿態識別，姿態生成單元利用雙流深度學習網絡學習訓練數據，產生表演者的姿態模型；姿態識別根據表演者的姿態模型識別匹配對應的預設姿態，將結果發送到控制模塊。控制單元模塊根據接收到的識別結果，控制舞臺屏幕的顯示內容隨表演者姿態變化。通過上述方式，本發明能夠在較高精度下使表演者可以通過動作姿態與舞臺場景實時交互。

本發明授權一種基于圖像和雷達數據的舞臺交互系統在權利要求書中公布了：1.一種基于圖像和雷達數據的舞臺交互系統，其特征在于：包括信息采集模塊、處理模塊和控制模塊；所述信息采集模塊，使用一臺RGB攝影機和一臺LiDAR激光雷達，分別對舞臺進行圖像拍攝和雷達探測，實時獲取舞臺上的表演者信息，將雷達探測得到的數據以與RGB圖像相同的頻率生成雷達點云圖后，將RGB圖像和雷達云點圖作為現場數據，一同傳輸到處理模塊中；所述處理模塊包括姿態生成單元和姿態識別單元，姿態生成單元通過雙流網絡學習信息采集模塊采集的數據，生成姿態集；姿態識別單元找到姿態集中的現場姿態對應的預設姿態，將識別結果發送給控制模塊；所述雙流網絡包括特征提取、特征聚合與姿態生成模塊；其中特征提取模塊首先單獨處理雷達點云圖得到鳥瞰圖，然后利用VGG-16網絡提取鳥瞰圖與RGB圖像特征，得到特征圖；特征聚合模塊根據特征圖中的特征信息框選出表演者在圖像中的位置；姿態生成模塊根據表演者在圖像中的位置信息，將錨定姿態擬合到目標區域中，生成姿態集；使用RPN損失LRPN、錨定姿態損失Lcls、2D姿態細化損失L2D和3D姿態細化損失L3D四項損失的和作為優化指標Ltotal對雙流網絡進行優化； 其中pi表示第i個預測框是前景的概率，為標簽，當第i個預測框為前景時為1，反之為0；ti表示預測框的4個位置參數，為標定框的參數，Ncls和Nreg為一次訓練的小批量中的大小，Lcls是錨定姿態損失函數，Lreg是回歸損失函數；錨定姿態損失Lcls用于優化錨定姿態的選擇，包括前景和后景的區分以及使用相似性分數分配最佳錨定姿態兩個步驟，其中錨定姿態的相似度計算公式為： 其中ak,j表示第k個錨定姿勢的關節j的位置，gj表示真實標注的關節節點j，J為關節節點的總數量，K為錨定字數的總數量；2D姿態細化損失L2D用于優化最終的2D錨定姿態，將雙流網絡預測的2D回歸增量加到錨定姿態上，獲得一組最終的2D姿態錨定預測P2D： 其中p2D為最終預測的預測框為前景的概率，Nfg為前景的數量，T2D為每個前景的目標區域對應的真實標注；li是參數因子，smooth_ll為平滑函數；3D姿態細化損失L3D將回歸增量加入3D錨定姿態來獲得最終的3D姿態P3D： Nfg為前景的數量，T3D為每個前景的目標區域對應的真實標注，pr函數為投影函數,將P3D投影到2D空間；所述控制模塊，接收到處理模塊的姿態識別結果后，根據識別結果判斷表演者的意圖，控制舞臺隨表演者的姿態進行變化。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人杭州電子科技大學，其通訊地址為：310018 浙江省杭州市下沙高教園區2號大街；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。