恭喜中科南京人工智能創新研究院;中國科學院自動化研究所羅曉彤獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網恭喜中科南京人工智能創新研究院;中國科學院自動化研究所申請的專利用于深度神經網絡的量化訓練方法和系統獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN119476375B 。
龍圖騰網通過國家知識產權局官網在2025-03-25發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202510053059.5,技術領域涉及:G06N3/0495;該發明授權用于深度神經網絡的量化訓練方法和系統是由羅曉彤;王培松;胡慶浩;張一帆;程健設計研發完成,并于2025-01-14向國家知識產權局提交的專利申請。
本用于深度神經網絡的量化訓練方法和系統在說明書摘要公布了:本發明公開了一種用于深度神經網絡的量化訓練方法和系統,該方法包括:獲取原始神經網絡模型和驗證數據集,通過層級敏感度評估和拓撲分析生成量化優先級;基于層敏感度矩陣,為各層配置差異化量化參數并建立量化約束;構建誤差補償機制,生成誤差補償策略;執行雙尺度自適應量化訓練,對前向和反向傳播分別采用獨立優化的量化策略;根據訓練狀態和資源約束動態調整量化參數;評估模型性能和資源效率。本發明通過多維度敏感度評估、動態量化策略和系統誤差補償,提升了量化訓練的精度和效率,同時保證了部署資源約束的滿足。
本發明授權用于深度神經網絡的量化訓練方法和系統在權利要求書中公布了:1.用于深度神經網絡的量化訓練方法,其特征在于,包括如下步驟:S1、獲取原始神經網絡模型和驗證數據集,通過計算層級敏感度指標數據、拓撲重要度數據和綜合敏感度分數,生成層敏感度矩陣;S2、基于層敏感度矩陣和預存儲的量化參數范圍數據,為網絡各層分配量化參數并構建量化約束,生成初始量化配置表;S3、獲取原始網絡參數,基于原始網絡參數和初始量化配置表,構建誤差補償機制,生成誤差補償矩陣和補償策略表;S4、基于初始量化配置表、誤差補償矩陣和補償策略表,執行雙尺度自適應量化訓練,生成訓練狀態指標;S5、基于訓練狀態指標和預存儲的資源約束條件,動態調整量化參數配置,生成優化后的模型參數;S6、基于優化后的模型參數和預存儲的測試數據集,評估模型性能和資源效率,生成模型性能指標和資源消耗報告;步驟S1進一步為:S11、獲取原始神經網絡模型和驗證數據集,通過逐層改變量化位寬,計算模型損失變化率,獲得量化損失變化率數據;基于原始神經網絡模型,獲取每層網絡的梯度數值,計算梯度幅度數據;基于原始神經網絡模型,獲取每層網絡的激活值上下界,計算激活范圍數據;將量化損失變化率數據、梯度幅度數據和激活范圍數據按照預設權重系數進行加權求和,得到層級敏感度指標數據;S12、獲取原始神經網絡模型的網絡結構信息,構建表征層間連接關系的網絡連接圖;基于網絡連接圖,獲取每一層的輸出數據,計算該層輸出對下游層的影響程度,生成層間影響度數據;結合網絡連接圖和層間影響度數據,計算每層在整個網絡中的重要程度,得到拓撲重要度數據;S13、基于層級敏感度指標數據和拓撲重要度數據,根據預設權重進行加權組合,得到綜合敏感度分數;基于綜合敏感度分數對網絡各層進行排序,生成量化優先級列表;基于量化優先級列表,將層級敏感度指標數據、拓撲重要度數據和綜合敏感度分數組合,生成層敏感度矩陣;步驟S5進一步為:S51、基于訓練狀態指標,提取準確率、損失值、梯度范數和量化誤差,生成性能監控數據;將性能監控數據與預存儲的性能基準數據進行對比,得到性能差異數據;根據性能差異數據,計算性能提升空間,生成性能裕度數據;S52、獲取預存儲的資源約束條件,提取計算、存儲和帶寬限制數據,生成資源限制數據;獲取當前系統的資源使用情況,計算各類資源的使用率,得到資源占用數據;根據資源限制數據和資源占用數據,計算可用資源空間,生成資源裕度數據;S53、基于性能裕度數據和資源裕度數據,計算各層可調整的位寬范圍,得到位寬調整數據;基于位寬調整數據,更新量化模型參數的量化配置,生成更新后的量化配置;根據更新后的量化配置對模型參數進行重新量化,生成優化后的模型參數;步驟S52進一步為:S521、獲取預先存儲的資源約束條件,提取計算資源的閾值參數,生成計算閾值數據;獲取當前系統的計算資源使用情況,記錄處理器利用率,生成處理器占用數據;獲取指令執行統計信息,分析計算密度分布,生成計算密度數據;結合處理器占用數據和計算密度數據,生成計算資源狀態數據;S522、獲取預先存儲的資源約束條件,提取內存容量和帶寬限制,生成內存限制數據;獲取當前系統的內存使用情況,記錄內存占用量,生成內存占用數據;獲取內存訪問模式信息,分析訪問頻率分布,生成訪問模式數據;結合內存占用數據和訪問模式數據,生成存儲資源狀態數據;S523、獲取預先存儲的資源約束條件,提取數據傳輸帶寬限制,生成帶寬限制數據;獲取當前系統的數據傳輸情況,記錄帶寬使用量,生成帶寬使用數據;獲取數據流量分布信息,分析傳輸模式,生成傳輸模式數據;結合帶寬使用數據和傳輸模式數據,生成帶寬資源狀態數據;S524、獲取計算資源狀態數據、存儲資源狀態數據和帶寬資源狀態數據,統計各類資源的使用率,生成資源占用數據;獲取資源占用數據,計算與資源限制的差距,生成資源差距數據;獲取資源差距數據,評估各類資源的可用空間,生成資源裕度數據。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人中科南京人工智能創新研究院;中國科學院自動化研究所,其通訊地址為:211135 江蘇省南京市江寧區創研路266號麒麟人工智能產業園3號樓3樓;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。