買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜浙江大學申請的專利一種多模態喉部振動信號與唇部動點數據的語音解碼識別方法及系統獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119068870B 。

龍圖騰網通過國家知識產權局官網在2025-03-25發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202411114779.X，技術領域涉及：G10L15/14；該發明授權一種多模態喉部振動信號與唇部動點數據的語音解碼識別方法及系統是由李拓儒;張凡;鈕羅涌;汪蕊雪;許世豪;董樹榮;陳衛東;張韶岷設計研發完成，并于2024-08-14向國家知識產權局提交的專利申請。

本一種多模態喉部振動信號與唇部動點數據的語音解碼識別方法及系統在說明書摘要公布了：本發明公開了一種多模態喉部振動信號與唇部動點數據的語音解碼識別方法及系統。本發明通過采集發聲時的喉部振動信號解碼聲調與中文四聲，采集發聲時的唇部動點數據解碼聲韻母與音節，兩者結果進行多模態融合，并將結果送入到大語言模型中，最終大語言模型輸出識別文字。相較于傳統的面頸部生理信號語音解碼方法，本發明語音識別方法，具有適合長期監測，符合語言學的音節構成原理，受語料庫影響小，泛化能力強，與單模態無法實現的單字符級別的識別精度與準確度等特點。

本發明授權一種多模態喉部振動信號與唇部動點數據的語音解碼識別方法及系統在權利要求書中公布了：1.一種多模態喉部振動信號與唇部動點數據的語音解碼識別方法，其特征在于，包括如下步驟：步驟1，采集喉部振動信號和唇部動點數據；步驟2，對采集的喉部振動信號進行預處理，得到預處理后的喉部振動信號；步驟3，將預處理后的喉部振動信號，輸入到喉部振動信號識別模型中，提取喉部振動信號的時頻域特征，并對提取的時頻域特征進行處理并輸出喉部振動信號的聲調識別結果；將唇部動點數據輸入到唇部動點數據識別模型中，先使用Conformer編碼網絡對唇部動點數據的時間特征與空間特征進行編碼，然后通過Transformer解碼器和CTC解碼器同時對編碼內容進行解碼，最后結合權重后通過SoftMax層用于輸出唇部動點數據的音節識別結果；步驟4，由喉部振動信號識別模型得到一組喉部振動信號的單個類別的聲調識別結果，進一步得到喉部振動信號的聲調各個類別的概率分布值；由唇部動點數據識別模型得到一組唇部動點數據的單個類別的音節識別結果，進一步得到唇部動點數據的音節各個類別的概率分布值；步驟5，將喉部振動信號的聲調各個類別的概率分布值與唇部動點數據的音節各個類別的概率分布值同步輸入到多模態融合模型，多模態融合模型對聲調與音節兩個輸入合并，多模態融合模型輸出合成語音概率矩陣，合成完整的音節，送入到大語言模型中，大語言模型的輸出結果即為最終的語音識別結果。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人浙江大學，其通訊地址為：310058 浙江省杭州市西湖區余杭塘路866號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。