恭喜山東省計算中心(國家超級計算濟南中心);齊魯工業大學(山東省科學院);山東山科智能科技有限公司;山東正中信息技術股份有限公司鹿全禮獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網恭喜山東省計算中心(國家超級計算濟南中心);齊魯工業大學(山東省科學院);山東山科智能科技有限公司;山東正中信息技術股份有限公司申請的專利基于零資源框架的細粒度大模型幻覺處理方法及系統獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN119670760B 。
龍圖騰網通過國家知識產權局官網在2025-06-03發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202510174481.6,技術領域涉及:G06F40/30;該發明授權基于零資源框架的細粒度大模型幻覺處理方法及系統是由鹿全禮;祝志豪;喬友為;許贊;滿佳政;張建成;馬曉紅;劉祥志;吳曉明;董云峰;亓蓓;曹炳陽;侯冬冬設計研發完成,并于2025-02-18向國家知識產權局提交的專利申請。
本基于零資源框架的細粒度大模型幻覺處理方法及系統在說明書摘要公布了:本發明屬于自然語言處理技術領域。提供了一種基于零資源框架的細粒度大模型幻覺處理方法及系統,通過大語言模型進行預處理后的文本的多維異常檢測,得到多維異常檢測結果;根據多維異常檢測結果進行異常修正優先級排序;根據句法分析結果以及生成的句法依賴樹,動態調整上下文窗口范圍;結合調整后的上下文窗口范圍,根據異常修正優先級排序結果,進行高風險詞匯和句子的優先修正;評估修正后的內容,符合終止條件時得到修正后的最終文本。本發明實現了對檢測內容的過度置信、細微語義和語法偏差幻覺檢測,提高了大語言模型的幻覺檢測處理能力,特別是對于細粒度幻覺問題的檢測處理能力。
本發明授權基于零資源框架的細粒度大模型幻覺處理方法及系統在權利要求書中公布了:1.一種基于零資源框架的細粒度大模型幻覺處理方法,其特征在于,包括以下過程:獲取待檢測的文本并進行預處理,所述預處理,包括:進行句法分析,生成句法依賴樹;通過大語言模型進行預處理后的文本的多維異常檢測,得到多維異常檢測結果;根據多維異常檢測結果進行異常修正優先級排序;根據句法分析結果以及生成的句法依賴樹,動態調整上下文窗口范圍;結合調整后的上下文窗口范圍,根據異常修正優先級排序結果,進行高風險詞匯和句子的優先修正;評估修正后的內容,符合終止條件時得到修正后的最終文本;通過大語言模型進行預處理后的文本內容的多維異常檢測,得到多維異常檢測結果,包括:通過大語言模型生成候選詞表,計算各待檢測詞匯和候選詞匯的生成概率,通過待檢測詞匯與候選詞的生成概率差異評估是否存在生成概率異常,當差異大于設定閾值時,標記為異常,并計算異常評分;通過大語言模型獲得各待檢測詞匯和上下文的增強嵌入向量,進行語義相似度異常檢測,語義相似度低于設定閾值時,標記為異常,并計算異常評分;通過句法依賴樹和記錄的詞匯語法角色,進行語法一致性檢測,語法一致性低于設定閾值時,標記為異常,并計算異常評分;檢查各待檢測詞匯的詞性角色合理性、依賴關系合法性以及句法依賴樹結構完整性,不符合常規句法的模式,標記為異常,并計算異常評分;對得到的不同維度的異常評分進行加權求和作為各個待檢測詞匯對應的綜合異常評分;根據句法分析結果以及生成的句法依賴樹,動態調整上下文窗口范圍,包括:根據記錄的句法分析結果,依據每個待檢測詞匯的詞性角色初步分配上下文窗口大小;通過句法依賴樹,計算各待檢測詞匯與上下文中其他詞匯之間的句法距離,計算依賴強度;基于每個待檢測詞匯與上下文詞匯間的語義關聯度,計算語義相似度;通過結合依賴強度和語義相似度,動態調整窗口范圍,生成適應性強的MASK矩陣,將生成的MASK矩陣與大語言模型的多頭注意力機制結合,動態調整注意力權重分布,聚焦高相關區域的上下文信息;根據依賴強度確定第一窗口范圍,根據語義相似度確定第二窗口范圍,以第一窗口范圍和第二窗口范圍的交集為動態調整后的上下文窗口范圍,生成適應性強的MASK矩陣;將生成的MASK矩陣與大語言模型的多頭注意力機制結合,包括:,其中,分別為查詢向量、鍵向量和值向量,為鍵向量的維度,為歸一化指數函數,為注意力掩碼。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人山東省計算中心(國家超級計算濟南中心);齊魯工業大學(山東省科學院);山東山科智能科技有限公司;山東正中信息技術股份有限公司,其通訊地址為:250000 山東省濟南市歷下區科院路19號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。