買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜國網(wǎng)江蘇省電力有限公司鎮(zhèn)江供電分公司申請的專利一種基于輕量多出口網(wǎng)絡(luò)的模型壓縮與推斷加速方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN115600675B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-05-13發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202211194881.6，技術(shù)領(lǐng)域涉及：G06N5/022；該發(fā)明授權(quán)一種基于輕量多出口網(wǎng)絡(luò)的模型壓縮與推斷加速方法是由左帆;王晨暉;龔一平;鄧媛;吳旭;張楠;許亞林設(shè)計(jì)研發(fā)完成，并于2022-09-26向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種基于輕量多出口網(wǎng)絡(luò)的模型壓縮與推斷加速方法在說明書摘要公布了：本發(fā)明公開了一種基于輕量多出口網(wǎng)絡(luò)的模型壓縮與推斷加速方法，包括以下步驟：1：在用戶給定的數(shù)據(jù)集上訓(xùn)練基于變換器的預(yù)訓(xùn)練語言模型，得到教師模型并初始化學(xué)生模型；2：構(gòu)建輕量模型的體積需求，并根據(jù)模型體積需求設(shè)置詞嵌入矩陣中間維度、自注意力頭數(shù)、前饋網(wǎng)絡(luò)中間維度；3：使用綜合靜態(tài)壓縮與動態(tài)加速的聯(lián)合優(yōu)化方法訓(xùn)練目標(biāo)輕量多出口網(wǎng)絡(luò)模型；4：在推斷前根據(jù)實(shí)際需要設(shè)定或改變輕量多出口網(wǎng)絡(luò)模型的置信度閾值，實(shí)現(xiàn)可變程度的加速。本發(fā)明設(shè)計(jì)了一種寬度壓縮的多出口模型以優(yōu)化時(shí)間和空間效率，大幅降低存儲計(jì)算開銷，減小壓縮后的多出口模型因各層不一致導(dǎo)致的性能下降，彌補(bǔ)了靜態(tài)壓縮和動態(tài)加速的結(jié)合導(dǎo)致模型性能大幅降低的問題。

本發(fā)明授權(quán)一種基于輕量多出口網(wǎng)絡(luò)的模型壓縮與推斷加速方法在權(quán)利要求書中公布了：1.一種基于輕量多出口網(wǎng)絡(luò)的模型壓縮與推斷加速方法，包括以下步驟：步驟1：使用現(xiàn)有的精調(diào)方法在用戶給定的電網(wǎng)應(yīng)用數(shù)據(jù)中的文本數(shù)據(jù)集上訓(xùn)練基于變換器的預(yù)訓(xùn)練語言模型，得到教師模型，并用教師模型初始化學(xué)生模型，學(xué)生模型即輕量多出口網(wǎng)絡(luò)模型；步驟2：根據(jù)教師模型參數(shù)量P′和輕量多出口網(wǎng)絡(luò)模型的預(yù)期參數(shù)量P，設(shè)置詞嵌入矩陣中間維度自注意力頭數(shù)前饋網(wǎng)絡(luò)中間維度其中為向下取整運(yùn)算符，教師模型的詞嵌入矩陣中間維度、自注意力頭數(shù)、前饋網(wǎng)絡(luò)中間維度分別為E′，A′，F(xiàn)′；步驟3：使用綜合靜態(tài)壓縮與動態(tài)加速的聯(lián)合優(yōu)化方法訓(xùn)練目標(biāo)輕量多出口網(wǎng)絡(luò)模型；步驟4：在推斷前根據(jù)實(shí)際需要設(shè)定或改變輕量多出口網(wǎng)絡(luò)模型的置信度閾值，實(shí)現(xiàn)可變程度的加速；其特征在于，步驟2中，詞嵌入矩陣中間維度E、自注意力頭數(shù)A、前饋網(wǎng)絡(luò)中間維度F的設(shè)置需滿足以下約束：約束條件1：詞嵌入矩陣中間維度E需為正整數(shù)，且小于精調(diào)的預(yù)訓(xùn)練語言模型的詞嵌入矩陣維度E′，即0EE′,E∈N*，其中N*為正整數(shù)集；約束條件2：自注意力頭數(shù)A需為正整數(shù)，且小于精調(diào)的預(yù)訓(xùn)練語言模型的自注意力頭數(shù)A′，即0AA′,A∈N*，其中N*為正整數(shù)集；約束條件3：前饋網(wǎng)絡(luò)中間維度F需為正整數(shù)，且小于精調(diào)的預(yù)訓(xùn)練語言模型的前饋網(wǎng)絡(luò)中間維度F′，即0FF′,F∈N*，其中N*為正整數(shù)集；且前饋網(wǎng)絡(luò)中間維度F的設(shè)置滿足F＝A×hs×θ其中，hs為每個(gè)自注意力頭的維度，設(shè)置為64；θ為比例因子，設(shè)置為2。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人國網(wǎng)江蘇省電力有限公司鎮(zhèn)江供電分公司，其通訊地址為：212001 江蘇省鎮(zhèn)江市電力路182號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。