買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜南昌科晨電力試驗研究有限公司;國網江西省電力有限公司電力科學研究院申請的專利基于改進BERT-WWM的文本提詞分類方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119377413B 。

龍圖騰網通過國家知識產權局官網在2025-05-30發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202411979450.X，技術領域涉及：G06F16/35；該發明授權基于改進BERT-WWM的文本提詞分類方法是由程思萌;劉柳;陳波;董煒;蘇永春;桂小智;蘭鑫設計研發完成，并于2024-12-31向國家知識產權局提交的專利申請。

本基于改進BERT-WWM的文本提詞分類方法在說明書摘要公布了：本發明公開了基于改進BERT?WWM的文本提詞分類方法，包括如下步驟：采集電力基礎設施文本數據；構建BERT?WWM模型，并引入稀疏注意力替換BERT?WWM模型中的多頭自注意力，同時自適應調整稀疏注意力中掩碼比例，得到改進BERT?WWM模型；采用數據集對改進BERT?WWM模型進行訓練，同時優化改進BERT?WWM模型的參數，得到優化后的改進BERT?WWM模型；將待分類的電力基礎設施文本數據輸入到優化后的改進BERT?WWM模型中，得到分類結果；本發明通過獨特設計的優化后的改進BERT?WWM模型，顯著提升了電力系統工程文本的分類準確率和處理效率。

本發明授權基于改進BERT-WWM的文本提詞分類方法在權利要求書中公布了：1.基于改進BERT-WWM的文本提詞分類方法，其特征在于，包括如下步驟：步驟S1：采集電力基礎設施文本數據進行預處理，并構建數據集，電力基礎設施文本數據由不同長度的句子組成；步驟S2：構建BERT-WWM模型，并引入稀疏注意力替換BERT-WWM模型中的多頭自注意力，同時自適應調整稀疏注意力中掩碼比例，得到改進BERT-WWM模型；步驟S3：采用數據集對改進BERT-WWM模型進行訓練，同時優化改進BERT-WWM模型的參數，得到優化后的改進BERT-WWM模型；步驟S4：將待分類的電力基礎設施文本數據輸入到優化后的改進BERT-WWM模型中，得到分類結果；優化改進BERT-WWM模型的參數的具體過程為：將Dropout正則化和DropConnect正則化相結合，對改進BERT-WWM模型的參數進行正則化；采用LAMB優化器作為改進BERT-WWM模型的優化器；采用基于LSTM的元學習模型對改進BERT-WWM模型訓練時的超參數進行優化；自適應調整稀疏注意力中掩碼比例，表示為： ；式中，表示電力基礎設施文本數據中句子長度為時的掩碼比例；和為可調參數。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人南昌科晨電力試驗研究有限公司;國網江西省電力有限公司電力科學研究院，其通訊地址為：330000 江西省南昌市青山湖區民營科技園內民強路88號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。