買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜西安電子科技大學廣州研究院申請的專利一種跨模態唇語識別方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN113851131B 。

龍圖騰網通過國家知識產權局官網在2025-05-23發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202110941080.0，技術領域涉及：G10L15/25；該發明授權一種跨模態唇語識別方法是由梁雪峰;黃奕洋設計研發完成，并于2021-08-17向國家知識產權局提交的專利申請。

本一種跨模態唇語識別方法在說明書摘要公布了：本發明提供了一種跨模態唇語識別方法，包括S1，數據預處理：獲取視頻數據的嘴唇區域和音頻數據的特征矩陣；S2，模型訓練：依次進行說話人識別任務的訓練、跨模態對比學習、模型參數、標準化唇語特征等步驟直到模型收斂；S3，模型部署：僅輸入待識別的非訓練數據視頻序列，使用視覺識別分支獲取說話人唇形特點，并對唇語特征進行標準化，最后進行唇語特征到文字的映射。本方法在無需額外人為標注數據的前提下，能夠提取到具有更好可區分性的視覺特征，特征提取的泛化性和魯棒性更好，能夠跨說話人使用，也無需為每個類別樣本單獨訓練一組模型參數。

本發明授權一種跨模態唇語識別方法在權利要求書中公布了：1.一種跨模態唇語識別方法，其特征在于，包括：S1，數據預處理：對于視頻數據，首先識別臉部的68個關鍵點，并通過仿射變換將每張臉部圖像標準化為正面視圖，最后裁剪出嘴唇區域；對于音頻數據，首先將其下采樣為16kHz，并轉換為梅爾倒譜系數特征，然后將所有時刻的梅爾倒譜系數向量進行歸一化并按照時間順序組成特征矩陣；S2，模型訓練：S21，將成對的視頻數據和音頻數據分別輸入到視覺識別分支和語音識別分支中，在每個分支的屬性學習模塊中進行說話人識別任務的訓練；S22，將成對的視頻數據和音頻數據分別輸入到視覺識別分支和語音識別分支中，在兩個分支共用的對比學習模塊中，利用說話人識別任務獲取的表征，標準化語義特征，然后進行音視頻跨模態對比學習；S23，僅輸入音頻序列，去除說話人音色特點，標準化語音特征，利用反向傳播算法對語音識別分支的模型參數進行更新，以確保參與對比學習的中間音頻特征S正確；S24，僅輸入視頻序列，去除說話人唇形特點，標準化唇語特征，利用反向傳播算法對唇語識別分支的模型參數進行更新；重復以上S21-S24直到學習率衰減后連續多輪訓練內損失函數值不再降低，即模型收斂；S3，模型部署：僅輸入待識別的非訓練數據視頻序列，使用視覺識別分支，去除說話人唇形特點，并對唇語特征進行標準化，最后進行唇語特征到文字的映射。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人西安電子科技大學廣州研究院，其通訊地址為：510700 廣東省廣州市黃埔區中新知識城海絲中心B5、B6、B7棟；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。