買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜深圳市歐冶半導體有限公司申請的專利一種分段線性量化方法及相關(guān)裝置獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN115951859B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-05-16發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202211710556.0，技術(shù)領(lǐng)域涉及：G06F7/483；該發(fā)明授權(quán)一種分段線性量化方法及相關(guān)裝置是由裴朝科;林布德設(shè)計研發(fā)完成，并于2022-12-29向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種分段線性量化方法及相關(guān)裝置在說明書摘要公布了：本申請公開了一種分段線性量化方法及相關(guān)裝置，所述方法包括對待量化網(wǎng)絡(luò)模型進行量化，得到候選量化模型；將所述候選量化模型量化為至少兩個目標量化模型，并將所述至少兩個目標量化模型部署于NPU端。本申請通過先將浮點型的待量化網(wǎng)絡(luò)模型量化為整數(shù)型的候選量化模型，然后再通過分段量化將候選量化模型量化為多個目標量化模型，這樣一方面可以保證NPU端上部署的網(wǎng)絡(luò)模型的模型精度，又可以使得NPU無需進行浮點計算，從而可以降低對NPU端的消耗，另一方面通過反量化得到的為整數(shù)型的網(wǎng)絡(luò)模型，不會受到NPU帶寬的限制，進而可以提高其部署的網(wǎng)絡(luò)模型的運行和計算速度。

本發(fā)明授權(quán)一種分段線性量化方法及相關(guān)裝置在權(quán)利要求書中公布了：1.一種分段線性量化方法，其特征在于，所述方法包括：對待量化網(wǎng)絡(luò)模型進行量化，得到候選量化模型，其中，所述待量化網(wǎng)絡(luò)模型的數(shù)據(jù)類型為float32，候選量化模型的數(shù)據(jù)類型為int8；將所述候選量化模型量化為至少兩個目標量化模型，并將所述至少兩個目標量化模型部署于NPU端，其中，每個目標量化模型均的數(shù)據(jù)類型均為整數(shù)型，至少兩個目標量化模型中的每個目標量化模型的數(shù)據(jù)位數(shù)均小于候選量化模型的數(shù)據(jù)位數(shù)；通過NPU端對各目標量化模型進行反量化，以得到反量化的候選量化模型；通過NPU端基于所述反量化的候選量化模型進行模型推理，以得到推理結(jié)果，其中，所述NPU端中用于執(zhí)行反量化的計算單元存儲于內(nèi)存搬遷指令內(nèi)，以使得當基于所述內(nèi)存搬遷指令向緩沖器內(nèi)導入數(shù)據(jù)時，對各目標量化模型進行反量化，以得到反量化的候選量化模型。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人深圳市歐冶半導體有限公司，其通訊地址為：518000 廣東省深圳市南山區(qū)粵海街道海珠社區(qū)海德一道88號中洲控股金融中心B棟29H；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。