買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜中國人民解放軍空軍工程大學申請的專利一種基于領域BERT模型的服務文本分類方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN115344695B 。

龍圖騰網通過國家知識產權局官網在2025-05-23發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202210890080.7，技術領域涉及：G06F16/35；該發明授權一種基于領域BERT模型的服務文本分類方法是由孫鵬;閆云飛;張杰勇;徐鑫;劉彬;鐘贇;程海燕;馬鈺棠;趙亮設計研發完成，并于2022-07-27向國家知識產權局提交的專利申請。

本一種基于領域BERT模型的服務文本分類方法在說明書摘要公布了：本發明屬于網絡服務文本技術領域，具體地涉及一種基于領域BERT模型的服務文本分類方法。包括：步驟1：采用TF?IDF算法從服務文本語料中提取領域詞匯；步驟2：在步驟1的基礎上，建立BERT?BiLSTM模型，將步驟1提取的領域詞匯輸入進BERT?BiLSTM模型的BERT詞表后，將服務文本語料輸入BERT?BiLSTM模型進行訓練，實現服務文本分類；步驟3：根據步驟2的服務文本語料特性和分類結果，選擇最佳的損失函數以均衡數據集。為了證明所提出方法的有效性，在互聯網獲取的真實數據集上進行了大量對比試驗，其實驗結果表明：本發明提出的方法相較于TextCNN、BiLSTM?attention、RCNN和Transformer模型Macro?F1值分別提高了4.29個百分點、6.59個百分點、5.3個百分點和43個百分點，實驗結果表明本發明方法能夠顯著提高對文本分類精度。

本發明授權一種基于領域BERT模型的服務文本分類方法在權利要求書中公布了：1.一種基于領域BERT模型的服務文本分類方法，其特征在于：包括：步驟1：采用TF-IDF算法從服務文本語料中提取領域詞匯；步驟2：在步驟1的基礎上，建立BERT-BiLSTM模型，將步驟1提取的領域詞匯輸入進BERT-BiLSTM模型的BERT詞表后，將服務文本語料輸入BERT-BiLSTM模型進行訓練，實現服務文本分類；所述步驟2具體為：步驟2.1：建立BERT-BiLSTM模型結構，BERT-BiLSTM模型結構由BERT模型和BiLSTM模型組合而成，BERT模型操作完成后進入到BiLSTM模型，BERT模型依次包括embeding層、多個encoder層和pooler層，BiLSTM層包括多個LSTM層，其中BERT模型通過embedding嵌入層生成文本詞向量，通過encoder層中的多頭注意力機制和前饋神經網絡層捕捉文本詞匯特征，最后通過pooler層中的全連接層進入BiLSTM層，BiLSTM層負責獲取詞向量的之間的上下文特征，最后通過全連接層進行分類；步驟2.2：對步驟2.1的BERT模型結構中輸入文本句子，將句子中的單詞轉化為嵌入，其中，BERT的輸入由字嵌入、段嵌入和位置嵌入組成，字嵌入代表文本單詞的嵌入，其依照設定的領域詞表按照貪心原則進行詞匯匹配，段嵌入標明了單詞所屬的句子，位置嵌入標識了單詞在輸入文本中的具體位置；步驟3：根據步驟2的服務文本語料特性和分類結果，選擇最佳的損失函數以均衡數據集；所述步驟3包括：步驟3.1：通過步驟2的BERT-BiLSTM模型訓練后，獲取步驟1領域詞匯的服務數據集特性和步驟2的分類結果，改變損失函數以得到最優結果，針對服務語料的數量不平衡性，需要列出每個服務類別下的服務數量，以觀察數量不平衡性；針對服務語料的難易不平衡性，需要列出訓練完成后各個服務樣本正確分類的概率，即分類難易性，最后通過對比兩組數據的變異系數大小以衡量服務語料的不均衡性，變異系數計算方法如下： 其中，CV為變異系數，σ為數據標準差，μ為數據平均值；步驟3.2：根據步驟3.1中所獲得的變異系數，定性地確定服務文本語料的不平衡特性，根據分類結果的優劣，定量地調整變焦損失函數系數，獲得最優結果，所述變焦損失函數公式為： 其中，αt為類別數量平衡權重，θ為數量調制系數，pt代表樣本屬于真實樣本的概率，γ為難易調制系數，通過控制θ和γ以調整損失函數聚焦的樣本不平衡性質，當θ＝1，γ＝0時，函數形式等價為交叉熵損失函數，當θ＝1，γ＞0時，函數形式等價為焦點損失函數。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人中國人民解放軍空軍工程大學，其通訊地址為：710077 陜西省西安市蓮湖區豐鎬東路一號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。