買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜南京大學(xué)申請(qǐng)的專利一種基于對(duì)數(shù)塊浮點(diǎn)量化的神經(jīng)網(wǎng)絡(luò)加速系統(tǒng)獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN114626516B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-05-30發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202210300275.1，技術(shù)領(lǐng)域涉及：G06F9/30；該發(fā)明授權(quán)一種基于對(duì)數(shù)塊浮點(diǎn)量化的神經(jīng)網(wǎng)絡(luò)加速系統(tǒng)是由王中風(fēng);倪超;魯金銘;林軍設(shè)計(jì)研發(fā)完成，并于2022-03-24向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種基于對(duì)數(shù)塊浮點(diǎn)量化的神經(jīng)網(wǎng)絡(luò)加速系統(tǒng)在說(shuō)明書摘要公布了：本申請(qǐng)?zhí)峁┮环N基于對(duì)數(shù)塊浮點(diǎn)量化的神經(jīng)網(wǎng)絡(luò)加速系統(tǒng)。所述系統(tǒng)包括編譯器、運(yùn)行時(shí)和神經(jīng)網(wǎng)絡(luò)加速器，在使用時(shí)，編譯器按照量化分塊粒度對(duì)待部署模型數(shù)據(jù)進(jìn)行分塊，并將待部署模型全部轉(zhuǎn)換為硬件指令，通過(guò)運(yùn)行時(shí)與神經(jīng)網(wǎng)絡(luò)加速器進(jìn)行交互，神經(jīng)網(wǎng)絡(luò)加速器根據(jù)指令將數(shù)據(jù)按照搬運(yùn)分塊粒度從片外分塊搬運(yùn)至片上進(jìn)行加載，并對(duì)各個(gè)數(shù)據(jù)量化分塊進(jìn)行對(duì)數(shù)塊浮點(diǎn)量化，最終利用量化結(jié)果執(zhí)行對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)運(yùn)算。整個(gè)系統(tǒng)通過(guò)編譯器將模型轉(zhuǎn)換為硬件可以識(shí)別的指令，由運(yùn)行時(shí)向硬件下發(fā)指令和數(shù)據(jù)并與硬件進(jìn)行高效通信，同時(shí)采用完全適配于對(duì)數(shù)塊浮點(diǎn)量化方法的硬件架構(gòu)，計(jì)算冗余較少，計(jì)算效率較高，可以有效地支持深度神經(jīng)網(wǎng)絡(luò)模型的端到端部署。

本發(fā)明授權(quán)一種基于對(duì)數(shù)塊浮點(diǎn)量化的神經(jīng)網(wǎng)絡(luò)加速系統(tǒng)在權(quán)利要求書中公布了：1.一種基于對(duì)數(shù)塊浮點(diǎn)量化的神經(jīng)網(wǎng)絡(luò)加速系統(tǒng)，其特征在于，包括依次連接的編譯器、運(yùn)行時(shí)和神經(jīng)網(wǎng)絡(luò)加速器，所述神經(jīng)網(wǎng)絡(luò)加速器包括控制單元、轉(zhuǎn)換單元，以及依次連接的張量DMA、片上緩存單元和計(jì)算單元，其中：所述編譯器被配置為執(zhí)行以下步驟：按照預(yù)設(shè)的量化分塊粒度對(duì)待部署模型數(shù)據(jù)進(jìn)行分塊，得到多個(gè)數(shù)據(jù)量化分塊，所述待部署模型數(shù)據(jù)包括待部署模型的權(quán)重值和當(dāng)前激活值，所述當(dāng)前激活值包括當(dāng)前輸入值和當(dāng)前輸出激活值；將所述待部署模型轉(zhuǎn)換為供所述神經(jīng)網(wǎng)絡(luò)加速器識(shí)別的多個(gè)硬件指令，多個(gè)硬件指令包括訪存指令和計(jì)算指令，所述訪存指令用于指示所述張量DMA通過(guò)所述運(yùn)行時(shí)按照搬運(yùn)分塊粒度，將各個(gè)數(shù)據(jù)量化分塊從片外存儲(chǔ)中分塊搬運(yùn)至所述片上緩存單元進(jìn)行加載，以及從所述片上緩存單元中搬運(yùn)至片外存儲(chǔ)中進(jìn)行存儲(chǔ)，所述搬運(yùn)分塊粒度為所述量化分塊粒度的整數(shù)倍，所述計(jì)算指令用于指示所述控制單元向所述計(jì)算單元和所述轉(zhuǎn)換單元分配計(jì)算數(shù)據(jù)和數(shù)據(jù)轉(zhuǎn)換方式；所述控制單元被配置為執(zhí)行以下步驟：控制所述張量DMA按照所述訪存指令，將各個(gè)數(shù)據(jù)量化分塊按所述搬運(yùn)分塊粒度從片外存儲(chǔ)中分塊搬運(yùn)至所述片上緩存單元進(jìn)行加載，以及從所述片上緩存單元中搬運(yùn)至片外存儲(chǔ)中進(jìn)行存儲(chǔ)；控制所述轉(zhuǎn)換單元根據(jù)各個(gè)數(shù)據(jù)量化分塊的塊浮點(diǎn)共享指數(shù)，對(duì)所述片上緩存單元中的各個(gè)數(shù)據(jù)量化分塊進(jìn)行對(duì)數(shù)塊浮點(diǎn)量化，其中，各個(gè)數(shù)據(jù)量化分塊中的權(quán)重值量化分塊的塊浮點(diǎn)共享指數(shù)為所述編譯器根據(jù)所述權(quán)重值量化分塊中所有權(quán)重元素預(yù)先確定的，各個(gè)數(shù)據(jù)量化分塊中的當(dāng)前激活值量化分塊的塊浮點(diǎn)共享指數(shù)為所述編譯器根據(jù)預(yù)先獲取的激活值樣本集中所有元素離線確定的，或者為所述轉(zhuǎn)換單元根據(jù)所述當(dāng)前激活值量化分塊中所有元素在線確定的；控制所述計(jì)算單元根據(jù)各個(gè)數(shù)據(jù)量化分塊的對(duì)數(shù)塊浮點(diǎn)量化結(jié)果，執(zhí)行計(jì)算密集型算子的計(jì)算以及訪存密集型算子的計(jì)算；所述搬運(yùn)分塊粒度通過(guò)以下方式設(shè)置：根據(jù)權(quán)重值搬運(yùn)分塊的搬運(yùn)次數(shù)、當(dāng)前輸入值搬運(yùn)分塊的搬運(yùn)次數(shù)、當(dāng)前輸出激活值搬運(yùn)分塊的搬運(yùn)次數(shù)、權(quán)重值搬運(yùn)分塊所占有的片上存儲(chǔ)量、當(dāng)前輸入值搬運(yùn)分塊所占有的片上存儲(chǔ)量以及當(dāng)前輸出激活值搬運(yùn)分塊所占有的片上存儲(chǔ)量，確定總片外數(shù)據(jù)傳輸量，所述權(quán)重值搬運(yùn)分塊根據(jù)所述權(quán)重值量化分塊以及第一整數(shù)倍確定，所述當(dāng)前輸入值搬運(yùn)分塊根據(jù)各個(gè)數(shù)據(jù)量化分塊中的當(dāng)前輸入值量化分塊以及第二整數(shù)倍確定，所述當(dāng)前輸出激活值搬運(yùn)分塊根據(jù)各個(gè)數(shù)據(jù)量化分塊中的當(dāng)前輸出激活值量化分塊以及第三整數(shù)倍確定；從各個(gè)總片外數(shù)據(jù)傳輸量中，按照約束條件搜索確定最小總片外數(shù)據(jù)傳輸量，所述約束條件為所述權(quán)重值搬運(yùn)分塊、所述當(dāng)前輸入值搬運(yùn)分塊和所述當(dāng)前輸出激活值搬運(yùn)分塊各自所占有的片上存儲(chǔ)量小于或等于各自對(duì)應(yīng)的允許片上總緩存量；獲取所述最小總片外數(shù)據(jù)傳輸量所對(duì)應(yīng)的目標(biāo)權(quán)重值搬運(yùn)分塊的大小、目標(biāo)當(dāng)前輸入值搬運(yùn)分塊的大小和目標(biāo)當(dāng)前輸出激活值搬運(yùn)分塊的大小；將所述目標(biāo)權(quán)重值搬運(yùn)分塊的大小、所述目標(biāo)當(dāng)前輸入值搬運(yùn)分塊的大小和所述目標(biāo)當(dāng)前輸出激活值搬運(yùn)分塊的大小，確定為所述搬運(yùn)分塊粒度。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人南京大學(xué)，其通訊地址為：210023 江蘇省南京市棲霞區(qū)仙林大道163號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。