買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜浙江大學申請的專利一種多模態三維視覺注意力預測方法及其應用獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN114170537B 。

龍圖騰網通過國家知識產權局官網在2025-05-06發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202111465974.3，技術領域涉及：G06V20/20；該發明授權一種多模態三維視覺注意力預測方法及其應用是由厲向東;吳玥;單逸飛;陰凱琳;姚佳怡;沈思揚設計研發完成，并于2021-12-03向國家知識產權局提交的專利申請。

本一種多模態三維視覺注意力預測方法及其應用在說明書摘要公布了：本發明公開了一種多模態三維視覺注意力預測方法，包括以下步驟，1樣本數據和樣本標簽采集、2樣本數據預處理、3多模態視覺注意力模型構建、4訓練多模態視覺注意力模型、5預測用戶在瀏覽畫面時的注意力；其中，多模態視覺注意力模型包括注意力長短期記憶人工模塊、殘差全連接卷積網絡模塊以及融合模塊，殘差全連接卷積網絡模塊中包括特征提取模塊、最大池化模塊和平均池化模塊。本發明通過多模態融合技術綜合利用眼動和頭部運動多個模態的數據，提高視覺注意力預測的準確度，本發明預測方法可用于定位視覺興趣區域和視覺搜索路徑、評估空間信息布局，提高了評估效率，節約了評估成本。

本發明授權一種多模態三維視覺注意力預測方法及其應用在權利要求書中公布了：1.一種多模態三維視覺注意力預測方法，包括以下步驟：（1）采集用戶的瀏覽畫面，并記錄瀏覽畫面時的用戶轉頭速度、用戶轉頭方向以及視覺注視點，其中，瀏覽畫面、用戶轉頭速度以及用戶轉頭方向作為樣本數據，視覺注視點作為樣本標簽；（2）對樣本數據進行預處理，所述的預處理步驟為：利用預訓練的球面卷積模型提取樣本數據的二維特征后，對二維特征依次進行時間戳對齊、數據補漏、噪聲清洗、歸一化處理，得到預處理后的樣本數據；預處理后的樣本數據包括頭動樣本數據和畫面樣本數據；所述的球面卷積模型使用廣義傅里葉變換將樣本數據投影到譜域，經過卷積后，再通過逆傅里葉變換投影得到樣本數據的二維特征；（3）構建包括注意力長短期記憶人工模塊、殘差全連接卷積網絡模塊以及融合模塊的多模態視覺注意力模型；其中，將頭動樣本數據輸入至注意力長短期記憶人工模塊提取得到行為特征，將畫面樣本數據輸入至殘差全連接卷積網絡模塊提取得到視覺特征，行為特征和視覺特征經融合模塊融合后預測注意力位置；所述的殘差全連接卷積網絡模塊中，包括特征提取模塊、最大池化模塊和平均池化模塊；畫面樣本數據經特征提取模塊提取特征后，得到的特征分別輸入至最大池化模塊和平均池化模塊，經最大池化操作后輸出第一視覺特征，經平均池化操作后輸出第二視覺特征，第一視覺特征和第二視覺特征拼接后得到視覺特征；所述特征提取模塊包括多個block模塊和球卷積層，block模塊用于提取畫面樣本數據的特征，球卷積層用于對block模塊得到的特征進行處理；注意力長短期記憶人工模塊整合了注意力機制，計算當前輸入序列和注視點坐標之間的匹配程度；注意力長短期記憶人工模塊中，預處理后的頭動樣本數據經過計算得到隱藏層變量hj，隱藏層變量hj對應的總權重Ct為：；其中，Tx為每個樣本數據的總時長，αtj是隱藏層變量hj的對應權重，αtj的計算公式為：；etj是時間t的輸出與時間j的輸入之間的匹配度，，g可被視為全連接的子網絡，用于學習特征再模型中的新表示，St-1是時間t-1時注意力長短期記憶人工模塊的輸出；（4）利用預處理后樣本數據對多模態視覺注意力模型在樣本標簽的監督下進行訓練，以優化多模態視覺注意力模型參數；（5）利用參數優化的多模態視覺注意力模型預測用戶在瀏覽畫面時的注意力并顯示。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人浙江大學，其通訊地址為：310058 浙江省杭州市西湖區余杭塘路866號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。