買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉中國(guó)科學(xué)技術(shù)大學(xué)申請(qǐng)的專利大語(yǔ)言模型推理優(yōu)化方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN119323264B 。

龍圖騰網(wǎng)通過國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-03-25發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202411881594.1，技術(shù)領(lǐng)域涉及：G06N5/04；該發(fā)明授權(quán)大語(yǔ)言模型推理優(yōu)化方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)是由李誠(chéng);張駿呈;龔平;弋嘉煒設(shè)計(jì)研發(fā)完成，并于2024-12-19向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本大語(yǔ)言模型推理優(yōu)化方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)在說明書摘要公布了：本發(fā)明公開了一種大語(yǔ)言模型推理優(yōu)化方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)，它們是相對(duì)應(yīng)的方案，方案中：在大語(yǔ)言模型推理過程中引入數(shù)據(jù)聚類與量化機(jī)制，當(dāng)KV緩存的大小超過預(yù)設(shè)閾值時(shí)，首先將KV緩存數(shù)據(jù)進(jìn)行聚類劃分，再對(duì)部分?jǐn)?shù)據(jù)進(jìn)行低精度量化處理，另一部分則通過聚類中心代替，達(dá)到減少KV緩存大小的目的。通過本發(fā)明的方案，能夠顯著降低推理過程中的顯存占用，提高推理效率，并優(yōu)化系統(tǒng)資源的利用率。

本發(fā)明授權(quán)大語(yǔ)言模型推理優(yōu)化方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)在權(quán)利要求書中公布了：1.一種大語(yǔ)言模型推理優(yōu)化方法，其特征在于，包括：判斷大語(yǔ)言模型的KV緩存是否超過預(yù)設(shè)閾值；其中，KV緩存表示鍵值緩存；若超過預(yù)設(shè)閾值，則對(duì)KV緩存中的數(shù)據(jù)進(jìn)行聚類，獲得若干聚類類別；按照聚類類別對(duì)KV緩存中的數(shù)據(jù)進(jìn)行重排，即將屬于同一聚類類別的數(shù)據(jù)重新組織，使得同一聚類類別中的數(shù)據(jù)被安排在相鄰的位置，并且，對(duì)于每一聚類類別，分別計(jì)算其聚類中心的注意力得分，按照注意力得分，對(duì)聚類類別做降序排列；將一部分聚類類別中的數(shù)據(jù)按照數(shù)據(jù)類別進(jìn)行量化；將另一部分聚類類別中的數(shù)據(jù)，使用所屬聚類類別的聚類中心替代；經(jīng)過量化與聚類中心替代處理后數(shù)據(jù)即為優(yōu)化的KV緩存數(shù)據(jù)，利用優(yōu)化的KV緩存數(shù)據(jù)進(jìn)行大語(yǔ)言模型的后續(xù)推理。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人中國(guó)科學(xué)技術(shù)大學(xué)，其通訊地址為：230026 安徽省合肥市包河區(qū)金寨路96號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。