買(mǎi)專(zhuān)利賣(mài)專(zhuān)利找龍圖騰，真高效！ 查專(zhuān)利查商標(biāo)用IPTOP,全免費(fèi)！專(zhuān)利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉杭州電子科技大學(xué)申請(qǐng)的專(zhuān)利一種基于圖像和雷達(dá)數(shù)據(jù)的舞臺(tái)交互系統(tǒng)獲國(guó)家發(fā)明授權(quán)專(zhuān)利權(quán)，本發(fā)明授權(quán)專(zhuān)利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN112598742B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-05-13發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專(zhuān)利申請(qǐng)?zhí)?專(zhuān)利號(hào)為：202011609683.2，技術(shù)領(lǐng)域涉及：G06T7/73；該發(fā)明授權(quán)一種基于圖像和雷達(dá)數(shù)據(jù)的舞臺(tái)交互系統(tǒng)是由吳子朝;陳豪;張成設(shè)計(jì)研發(fā)完成，并于2020-12-30向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專(zhuān)利申請(qǐng)。

本一種基于圖像和雷達(dá)數(shù)據(jù)的舞臺(tái)交互系統(tǒng)在說(shuō)明書(shū)摘要公布了：本發(fā)明公開(kāi)了一種基于圖像和雷達(dá)數(shù)據(jù)的舞臺(tái)交互系統(tǒng)，包括信息采集模塊、處理模塊和控制模塊。所述信息采集模塊包括安裝在舞臺(tái)正前方的一臺(tái)RGB攝影機(jī)和一臺(tái)LiDAR激光雷達(dá)，實(shí)時(shí)探測(cè)舞臺(tái)上表演者的姿態(tài)信息，作為生產(chǎn)姿態(tài)的訓(xùn)練數(shù)據(jù)或現(xiàn)場(chǎng)數(shù)據(jù)；處理模塊包括姿態(tài)生成和姿態(tài)識(shí)別，姿態(tài)生成單元利用雙流深度學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練數(shù)據(jù)，產(chǎn)生表演者的姿態(tài)模型；姿態(tài)識(shí)別根據(jù)表演者的姿態(tài)模型識(shí)別匹配對(duì)應(yīng)的預(yù)設(shè)姿態(tài)，將結(jié)果發(fā)送到控制模塊。控制單元模塊根據(jù)接收到的識(shí)別結(jié)果，控制舞臺(tái)屏幕的顯示內(nèi)容隨表演者姿態(tài)變化。通過(guò)上述方式，本發(fā)明能夠在較高精度下使表演者可以通過(guò)動(dòng)作姿態(tài)與舞臺(tái)場(chǎng)景實(shí)時(shí)交互。

本發(fā)明授權(quán)一種基于圖像和雷達(dá)數(shù)據(jù)的舞臺(tái)交互系統(tǒng)在權(quán)利要求書(shū)中公布了：1.一種基于圖像和雷達(dá)數(shù)據(jù)的舞臺(tái)交互系統(tǒng)，其特征在于：包括信息采集模塊、處理模塊和控制模塊；所述信息采集模塊，使用一臺(tái)RGB攝影機(jī)和一臺(tái)LiDAR激光雷達(dá)，分別對(duì)舞臺(tái)進(jìn)行圖像拍攝和雷達(dá)探測(cè)，實(shí)時(shí)獲取舞臺(tái)上的表演者信息，將雷達(dá)探測(cè)得到的數(shù)據(jù)以與RGB圖像相同的頻率生成雷達(dá)點(diǎn)云圖后，將RGB圖像和雷達(dá)云點(diǎn)圖作為現(xiàn)場(chǎng)數(shù)據(jù)，一同傳輸?shù)教幚砟K中；所述處理模塊包括姿態(tài)生成單元和姿態(tài)識(shí)別單元，姿態(tài)生成單元通過(guò)雙流網(wǎng)絡(luò)學(xué)習(xí)信息采集模塊采集的數(shù)據(jù)，生成姿態(tài)集；姿態(tài)識(shí)別單元找到姿態(tài)集中的現(xiàn)場(chǎng)姿態(tài)對(duì)應(yīng)的預(yù)設(shè)姿態(tài)，將識(shí)別結(jié)果發(fā)送給控制模塊；所述雙流網(wǎng)絡(luò)包括特征提取、特征聚合與姿態(tài)生成模塊；其中特征提取模塊首先單獨(dú)處理雷達(dá)點(diǎn)云圖得到鳥(niǎo)瞰圖，然后利用VGG-16網(wǎng)絡(luò)提取鳥(niǎo)瞰圖與RGB圖像特征，得到特征圖；特征聚合模塊根據(jù)特征圖中的特征信息框選出表演者在圖像中的位置；姿態(tài)生成模塊根據(jù)表演者在圖像中的位置信息，將錨定姿態(tài)擬合到目標(biāo)區(qū)域中，生成姿態(tài)集；使用RPN損失LRPN、錨定姿態(tài)損失Lcls、2D姿態(tài)細(xì)化損失L2D和3D姿態(tài)細(xì)化損失L3D四項(xiàng)損失的和作為優(yōu)化指標(biāo)Ltotal對(duì)雙流網(wǎng)絡(luò)進(jìn)行優(yōu)化； 其中pi表示第i個(gè)預(yù)測(cè)框是前景的概率，為標(biāo)簽，當(dāng)?shù)趇個(gè)預(yù)測(cè)框?yàn)榍熬皶r(shí)為1，反之為0；ti表示預(yù)測(cè)框的4個(gè)位置參數(shù)，為標(biāo)定框的參數(shù)，Ncls和Nreg為一次訓(xùn)練的小批量中的大小，Lcls是錨定姿態(tài)損失函數(shù)，Lreg是回歸損失函數(shù)；錨定姿態(tài)損失Lcls用于優(yōu)化錨定姿態(tài)的選擇，包括前景和后景的區(qū)分以及使用相似性分?jǐn)?shù)分配最佳錨定姿態(tài)兩個(gè)步驟，其中錨定姿態(tài)的相似度計(jì)算公式為： 其中ak,j表示第k個(gè)錨定姿勢(shì)的關(guān)節(jié)j的位置，gj表示真實(shí)標(biāo)注的關(guān)節(jié)節(jié)點(diǎn)j，J為關(guān)節(jié)節(jié)點(diǎn)的總數(shù)量，K為錨定字?jǐn)?shù)的總數(shù)量；2D姿態(tài)細(xì)化損失L2D用于優(yōu)化最終的2D錨定姿態(tài)，將雙流網(wǎng)絡(luò)預(yù)測(cè)的2D回歸增量加到錨定姿態(tài)上，獲得一組最終的2D姿態(tài)錨定預(yù)測(cè)P2D： 其中p2D為最終預(yù)測(cè)的預(yù)測(cè)框?yàn)榍熬暗母怕剩琋fg為前景的數(shù)量，T2D為每個(gè)前景的目標(biāo)區(qū)域?qū)?yīng)的真實(shí)標(biāo)注；li是參數(shù)因子，smooth_ll為平滑函數(shù)；3D姿態(tài)細(xì)化損失L3D將回歸增量加入3D錨定姿態(tài)來(lái)獲得最終的3D姿態(tài)P3D： Nfg為前景的數(shù)量，T3D為每個(gè)前景的目標(biāo)區(qū)域?qū)?yīng)的真實(shí)標(biāo)注，pr函數(shù)為投影函數(shù),將P3D投影到2D空間；所述控制模塊，接收到處理模塊的姿態(tài)識(shí)別結(jié)果后，根據(jù)識(shí)別結(jié)果判斷表演者的意圖，控制舞臺(tái)隨表演者的姿態(tài)進(jìn)行變化。

如需購(gòu)買(mǎi)、轉(zhuǎn)讓、實(shí)施、許可或投資類(lèi)似專(zhuān)利技術(shù)，可聯(lián)系本專(zhuān)利的申請(qǐng)人或?qū)＠麢?quán)人杭州電子科技大學(xué)，其通訊地址為：310018 浙江省杭州市下沙高教園區(qū)2號(hào)大街；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話(huà)0551-65771310或微信搜索“龍圖騰網(wǎng)”。