買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜廈門大學申請的專利用于N:M稀疏微調的自適應蒸餾方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN117172293B 。

龍圖騰網通過國家知識產權局官網在2025-05-13發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202311122615.7，技術領域涉及：G06N3/0495；該發明授權用于N:M稀疏微調的自適應蒸餾方法是由紀榮嶸;林志航;張玉鑫;晁飛設計研發完成，并于2023-09-01向國家知識產權局提交的專利申請。

本用于N:M稀疏微調的自適應蒸餾方法在說明書摘要公布了：用于N:M稀疏微調的自適應蒸餾方法，涉及人工神經網絡的壓縮與加速。包括以下幾個步驟：1使用基于權重大小的N:M剪枝方案剪枝預訓練模型。2利用自適應知識蒸餾將預訓練模型中的知識遷移到N:M稀疏模型中，其中自適應知識蒸餾可以根據學生模型特征圖和教師模型特征圖中激活值的差異，自動將學生特征圖中差異較大的激活值替換成教師特征圖中的激活值，來減少學生模型學習的難度，加快學生模型微調的收斂速度。可以通過使用提出的自適應知識蒸餾方法來加快預訓練模型的N:M稀疏微調，并且降低由N:M稀疏帶來的精度損失。

本發明授權用于N:M稀疏微調的自適應蒸餾方法在權利要求書中公布了：1.用于N:M稀疏微調的自適應蒸餾方法，其特征在于包括以下步驟：1使用基于權重大小的N:M剪枝方案剪枝預訓練模型；2利用自適應知識蒸餾將預訓練模型中的知識遷移到N:M稀疏模型中，其中自適應知識蒸餾根據學生模型特征圖和教師模型特征圖中激活值的差異，自動將學生特征圖中差異較大的激活值替換成教師特征圖中的激活值，以減少學生模型學習的難度，加快學生模型微調的收斂速度；所述自適應知識蒸餾的具體步驟包括：1分別將同一個批次的圖片輸入教師模型和學生模型，分別得到教師模型和學生模型邏輯預測pt和ps，以及教師模型和學生模型倒數第二層的特征圖Ft和Fs；2根據Ft和Fs的差異，計算出掩碼M；3使用掩碼得到合成后的學生特征圖，具體公式如下：Fm＝M⊙Ft+1–M⊙Fs其中，Fm為替換操作后的學生特征圖，M∈{0,1}B×N×H×W是自適應的掩碼，當M值為1時表示講學生特征圖的激活值替換成教師特征圖中對應位置的激活值，當M值為0時表示不替換；掩碼M是自適應生成的，其主要依據教師特征圖和學生特征圖的差異ΔF,其計算公式如下：ΔF＝|Ft-Fs|通過替換學生特征圖中與教師特征圖中差異較大的激活值來減少特征蒸餾的難度，自適應掩碼M的生成公式如下： 其中，b,n,h,w遍歷B,N,H,W；k表示激活值替換的數量，由下述公式計算得到： 其中，是向下取整操作，Cos·,·是余弦相似度計算函數；k與Ft和Fs之間的距離成比例，當兩個特征圖之間的距離很大時，說明特征圖中有很多差異很大的激活值，因此需要更大的k來保證學生模型的穩定訓練；相反，當特征圖中的距離減少時，較小的k有助于學生模型從教師特征圖中提取知識；結合公式中的基于邏輯輸出的知識蒸餾，以及自適應的特征蒸餾，其中，ps和pt分別是學生模型和教師模型的邏輯輸出，σ·是歸一化指數函數，T是蒸餾的溫度，是Kullback-Leibler散度用于匹配學生模型和教師模型邏輯輸出的分布；最后使用如下的損失函數來微調學生模型： 其中，計算兩個特征圖的均方誤差，α和β是平衡兩項損失的超參數；4計算pt和ps的Kullback-Leibler散度，以及Ft和Fs之間的平均誤差MSE；利用這兩項的和作為學生模型梯度反向傳播的損失，指導學生模型的微調。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人廈門大學，其通訊地址為：361005 福建省廈門市思明區思明南路422號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。