買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜山東浪潮科學研究院有限公司申請的專利一種GPU內(nèi)存優(yōu)化管理方法與系統(tǒng)獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN119645672B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-05-23發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202510188597.5，技術(shù)領(lǐng)域涉及：G06F9/50；該發(fā)明授權(quán)一種GPU內(nèi)存優(yōu)化管理方法與系統(tǒng)是由王景;趙鑫鑫;薛海軍;姜凱設(shè)計研發(fā)完成，并于2025-02-20向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種GPU內(nèi)存優(yōu)化管理方法與系統(tǒng)在說明書摘要公布了：本發(fā)明涉及內(nèi)存管理技術(shù)領(lǐng)域，特別涉及一種GPU內(nèi)存優(yōu)化管理方法與系統(tǒng)。該GPU內(nèi)存優(yōu)化管理方法，將圖形處理器GPU設(shè)備端的內(nèi)存空間劃分為指令內(nèi)存區(qū)、受控內(nèi)存區(qū)和自主內(nèi)存區(qū)；制定內(nèi)存分配方案，構(gòu)造內(nèi)存管理容器，為每個核函數(shù)分配一個鍵值，并為每個鍵值分配一個單鏈表，寫入到受控內(nèi)存區(qū)指定內(nèi)存中；根據(jù)鍵值及單鏈表，獲取推理過程中每個核函數(shù)所需要的內(nèi)存空間，將推理結(jié)果數(shù)據(jù)存入受控內(nèi)存區(qū)中指定的輸出數(shù)據(jù)內(nèi)存空間。該GPU內(nèi)存優(yōu)化管理方法與系統(tǒng)，優(yōu)化了內(nèi)存空間的利用，實現(xiàn)了最大化的內(nèi)存復用，避免了中央處理器CPU主機端和圖形處理器GPU設(shè)備端程序頻繁的交替執(zhí)行，減少了系統(tǒng)整體的調(diào)度開銷，提高了推理效率。

本發(fā)明授權(quán)一種GPU內(nèi)存優(yōu)化管理方法與系統(tǒng)在權(quán)利要求書中公布了：1.一種GPU內(nèi)存優(yōu)化管理方法，其特征在于：適用于異構(gòu)計算平臺，異構(gòu)計算平臺硬件架構(gòu)分為主機端和設(shè)備端兩部分，兩者通過PCIe高速總線互相連接；包括以下步驟：步驟S1、針對設(shè)備端進行區(qū)域劃分；基于神經(jīng)網(wǎng)絡(luò)處理的數(shù)據(jù)規(guī)模及神經(jīng)網(wǎng)絡(luò)自身的程序規(guī)模，將圖形處理器GPU設(shè)備端的內(nèi)存空間劃分為三個區(qū)域，分別為：指令內(nèi)存區(qū)、受控內(nèi)存區(qū)和自主內(nèi)存區(qū)；步驟S2、在神經(jīng)網(wǎng)絡(luò)模型推理過程中，制定內(nèi)存分配方案；根據(jù)神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)層次結(jié)構(gòu)，分別為每一層網(wǎng)絡(luò)自定義設(shè)計對應(yīng)的圖形處理器GPU設(shè)備端核函數(shù)；分析模型推理過程，確定各核函數(shù)的執(zhí)行順序，以核函數(shù)為節(jié)點構(gòu)造有向無環(huán)圖；根據(jù)每個核函數(shù)的輸入輸出參數(shù)數(shù)據(jù)，以及有向無環(huán)圖中核函數(shù)間的數(shù)據(jù)依賴關(guān)系，確定每個內(nèi)存對象的生命周期，從而進一步確定每個核函數(shù)執(zhí)行時占用的內(nèi)存空間，生成核函數(shù)內(nèi)存需求表；基于核函數(shù)內(nèi)存需求表確定申請的內(nèi)存空間大小，根據(jù)核函數(shù)內(nèi)存需求表中各核函數(shù)的內(nèi)存需求，分配過程中考慮復用生命周期已結(jié)束的內(nèi)存空間，生成各個內(nèi)存空間的起始地址和尺寸大小；步驟S3、寫入內(nèi)存分配方案；構(gòu)造一個內(nèi)存管理容器，根據(jù)具體的神經(jīng)網(wǎng)絡(luò)模型的層次結(jié)構(gòu)，為每個核函數(shù)分配一個鍵值，并為每個鍵值分配一個單鏈表，單鏈表用于存儲步驟S2中生成的對應(yīng)的核函數(shù)所需的所有內(nèi)存空間的起始地址和尺寸；完成內(nèi)存管理容器的數(shù)據(jù)填充后，主機端程序?qū)?nèi)存管理器數(shù)據(jù)結(jié)構(gòu)寫入到設(shè)備端受控內(nèi)存區(qū)指定內(nèi)存中；步驟S4、執(zhí)行內(nèi)存分配方案；神經(jīng)網(wǎng)絡(luò)模型在設(shè)備端執(zhí)行時，首先從受控內(nèi)存區(qū)指定內(nèi)存中讀取內(nèi)存管理容器的參數(shù)，通過預(yù)定的鍵值及單鏈表，在內(nèi)存管理器中查詢獲取推理過程中每個核函數(shù)所需要的內(nèi)存空間；直到完成全部推理過程，將推理結(jié)果數(shù)據(jù)存入到受控內(nèi)存區(qū)中指定的輸出數(shù)據(jù)內(nèi)存空間。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人山東浪潮科學研究院有限公司，其通訊地址為：250000 山東省濟南市高新區(qū)浪潮路1036號S02號樓；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。