買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜西南大學申請的專利基于輕量化Transformer網絡的語音識別系統及方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN116013309B 。

龍圖騰網通過國家知識產權局官網在2025-03-21發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202310065728.1，技術領域涉及：G10L15/26；該發明授權基于輕量化Transformer網絡的語音識別系統及方法是由周躍;肖和;胡小方;洪浩欽;段書凱設計研發完成，并于2023-01-14向國家知識產權局提交的專利申請。

本基于輕量化Transformer網絡的語音識別系統及方法在說明書摘要公布了：本發明涉及人工智能領域中的語音識別技術，具體公開了一種基于輕量化Transformer網絡的語音識別系統及方法，系統包括預處理模塊、第一前向傳播模塊、多頭注意力模塊、卷積模塊、第二前向傳播模塊和全連接層模塊，該系統通過模塊化硬件設計且將部分參數利用憶阻交叉陣列予以實現，不僅具有較輕的網絡模型，而且在不同的硬件規模下具有良好的識別精度，能有效地減少電路的能耗和面積開銷，可以在功耗低、結構輕的邊緣設備上實現語音識別任務，并具有較好的穩定性和抗噪性。

本發明授權基于輕量化Transformer網絡的語音識別系統及方法在權利要求書中公布了：1.一種基于輕量化Transformer網絡的語音識別系統，其特征在于，包括預處理模塊、第一前向傳播模塊、多頭注意力模塊、卷積模塊、第二前向傳播模塊和全連接層模塊，其中：所述預處理模塊用于采集語音數據并提取語音數據中的特征參數，形成訓練樣本、驗證樣本和測試樣本；所述第一前向傳播模塊包括第一層正則化電路、第一線性化電路、第一Swish激活函數電路、第二線性化電路和第一加法電路，所述第一層正則化電路用于對所述預處理模塊提取的每一項特征參數進行正則化處理，正則化處理后的數據依次經過第一線性化電路、第一Swish激活函數電路和第二線性化電路處理后，由所述第一加法電路實現殘差連接并傳遞到所述多頭注意力模塊中；所述第一前向傳播模塊中的至少一部分參數由憶阻交叉陣列電路實現；所述多頭注意力模塊包括第二層正則化電路、查詢矩陣電路、鍵矩陣電路、值矩陣電路、第一存儲模塊、第一乘累加電路、SoftMax激活函數電路、第二乘累加電路、第二加法電路和第二存儲模塊；所述第二層正則化電路對所述第一前向傳播模塊輸出的每一項信號進行正則化處理，所述查詢矩陣電路、所述鍵矩陣電路和所述值矩陣電路由憶阻交叉陣列電路實現，用于計算輸入信息特征的單頭注意力，所述第一存儲陣列用于實現多個單頭注意力的緩存，并在控制信號的驅動下選擇性輸出至第一乘累加電路中，得到查詢矩陣每一行輸出電壓和鍵矩陣每一列輸出電壓的乘積，所述第一乘累加電路每一項輸出經過SoftMax激活函數電路處理后再利用所述第二乘累加電路實現與所述值矩陣每一列輸出電壓進行乘積運算，最后利用第二加法電路進行殘差連接后將計算結果存儲在第二存儲模塊中；所述卷積模塊包括第三層正則化電路、第一點向卷積模塊、門控線性單元、深度卷積電路和第二點向卷積模塊；所述第二前向傳播模塊的電路結構與所述第一前向傳播模塊的電路結構相同，用于對所述卷積模塊的輸出進行前向傳播，最后經過所述全連接層模塊得出最終輸出；通過訓練樣本對所述第一前向傳播模塊、所述多頭注意力模塊、所述卷積模塊、所述第二前向傳播模塊和所述全連接層模塊中的各項參數進行訓練，利用驗證樣本對訓練后的系統電路進行驗證，最后訓練好的系統電路作為語音識別系統進行測試樣本的語音識別；所述第一線性化電路和所述第二線性化電路通過憶阻器交叉陣列實現線性化層參數的映射；所述第一Swish激活函數電路用于實現：的信號轉化，其中Vd為第一Swish激活函數電路的輸入信號，Vsh為第一Swish激活函數電路的輸出信號，β為預設的超參數，Vbias3為偏置電壓；所述第一點向卷積模塊和第二點向卷積模塊的內核大小為1×1，所述深度卷積電路的內核大小為C1×C1，其中C1為所述多頭注意力模塊輸出的信號列數。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人西南大學，其通訊地址為：400715 重慶市北碚區天生路2號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。