買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜國網(wǎng)信息通信產(chǎn)業(yè)集團有限公司;福建億榕信息技術有限公司申請的專利基于知識增強及自適應微調的電力大語言模型構建方法獲國家發(fā)明授權專利權，本發(fā)明授權專利權由國家知識產(chǎn)權局授予，授權公告號為：CN119416874B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權局官網(wǎng)在2025-05-16發(fā)布的發(fā)明授權授權公告中獲悉：該發(fā)明授權的專利申請?zhí)?專利號為：202510014091.2，技術領域涉及：G06Q50/06；該發(fā)明授權基于知識增強及自適應微調的電力大語言模型構建方法是由張曉東;王燕蓉;陳江海;丘志強;林釗;呂志超;俞成強;邱鎮(zhèn);黃曉光設計研發(fā)完成，并于2025-01-06向國家知識產(chǎn)權局提交的專利申請。

本基于知識增強及自適應微調的電力大語言模型構建方法在說明書摘要公布了：本發(fā)明涉及一種基于知識增強及自適應微調的電力大語言模型構建方法，包括：S1:收集電力領域相關的文本數(shù)據(jù)，并預處理；S2:使用SeqGAN生成多樣化的數(shù)據(jù)樣本，并在生成步驟中加入對抗機制；S3:使用SpaCy進行文本標注和基礎的NLP處理，識別和標注電力相關實體；S4:使用Neo4j設計并構建電力領域的知識圖譜；S5:設計混合專家模型架構，通過不同專家模塊處理不同類型的電力數(shù)據(jù)，構建電力大語言模型；S6:將知識圖譜與電力大語言模型結合，通過提示和注意力機制增強模型的推理能力。本發(fā)明能夠有效結合知識圖譜的結構化信息，強化模型的推理能力及其在復雜電力任務的應用能力。

本發(fā)明授權基于知識增強及自適應微調的電力大語言模型構建方法在權利要求書中公布了：1.基于知識增強及自適應微調的電力大語言模型構建方法，其特征在于，包括以下步驟：S1:收集電力領域相關的文本數(shù)據(jù)，并預處理去除冗余、無關或重復的信息，得到預處理后的文本數(shù)據(jù)；S2:基于預處理后的文本數(shù)據(jù)，使用SeqGAN生成多樣化的數(shù)據(jù)樣本，并在SeqGAN生成步驟中加入對抗機制；S3:使用SpaCy進行文本標注和基礎的NLP處理，識別和標注電力相關實體；S4:使用Neo4j設計并構建電力領域的知識圖譜，涵蓋設備、系統(tǒng)、過程概念及其關系；S5:基于預訓練大語言基礎模型，并設計混合專家模型架構，通過不同專家模塊處理不同類型的電力數(shù)據(jù)，提高模型在多樣化任務上的表現(xiàn)，構建電力大語言模型；S6:將知識圖譜與電力大語言模型結合，通過提示和注意力機制增強模型的推理能力；所述電力大語言模型包括基礎模型、路由層和專家模塊，所述基礎模型采用預訓練大語言模型，用于處理通常的語言任務，包括語義理解、句子生成，通用的特征表示，供專家模塊進一步處理；所述路由層，根據(jù)輸入數(shù)據(jù)特征確定最佳的專家模塊： ；其中，是輸入分配給第i個專家的概率；為路由權重矩陣；為輸入的特征表示；所述專家模塊包括若干專家子模塊，每個專家子模塊專注于特定的電力數(shù)據(jù)類型或任務，包括設備專家子模塊，用于處理設備相關數(shù)據(jù)；系統(tǒng)專家子模塊，用于處理系統(tǒng)級數(shù)據(jù)；過程專家子模塊，用于處理過程相關數(shù)據(jù)；每個專家子模塊均為神經(jīng)網(wǎng)絡，通過特定任務數(shù)據(jù)進行訓練；總體損失函數(shù)： ;其中，N是專家子模塊數(shù)量；αi為第i個專家模塊的損失的權重；Di是為第i個專家準備的數(shù)據(jù)集;是第i個專家在其特定任務上的損失函數(shù);是全局正則化項;是正則化參數(shù)，為期望函數(shù)；所述在SeqGAN生成步驟中加入對抗機制，具體如下：構建電力領域的知識庫，包括關鍵術語、標準、法規(guī)和典型數(shù)據(jù)模式，從知識庫中提取關鍵特征和模式，作為生成過程中的約束條件；在生成器中引入條件生成機制，以確保生成數(shù)據(jù)符合領域要求，則生成器公式為： ；其中，是生成序列的前一個詞，c是條件向量，包含電力領域的特定約束；是生成的詞；將電力領域的特定特征作為條件輸入到生成器中，指導生成過程，則需要在損失函數(shù)中加入領域約束項，以懲罰不符合領域標準的生成數(shù)據(jù)： ；其中，是領域約束損失，λ是權重系數(shù)；在判別器中加入領域特征檢測模塊，識別不符合電力領域標準的特征，使用預訓練的領域特征檢測模塊進行判別器的微調；所述S6，具體如下：S61:使用知識圖譜嵌入方法將知識圖譜中的實體和關系轉化為向量表示；S62:將知識圖譜向量嵌入整合到電力大語言模型的輸入中，作為補充信息，以增強模型上下文感知和推理能力，并將提取到的圖譜特征注入到對應專家模型的特定層，增強領域知識；S63:構建特定的自然語言提示，結合圖譜嵌入，作為語言模型的上下文啟動參數(shù)；S64:基于當前輸入內容和相關知識圖譜節(jié)點信息，生成動態(tài)提示；S65:在電力大語言模型內部增加交叉注意力層，用于聚焦通過圖譜嵌入和提示獲得的重要信息。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯(lián)系本專利的申請人或專利權人國網(wǎng)信息通信產(chǎn)業(yè)集團有限公司;福建億榕信息技術有限公司，其通訊地址為：102200 北京市昌平區(qū)未來科技城北區(qū)國網(wǎng)智能電網(wǎng)研究院內C座4層；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。