買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉北京大學(xué)申請(qǐng)的專利基于WebGPU的Web大語(yǔ)言模型推理加速優(yōu)化方法和裝置獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN119338016B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-04-04發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202411908417.8，技術(shù)領(lǐng)域涉及：G06N5/04；該發(fā)明授權(quán)基于WebGPU的Web大語(yǔ)言模型推理加速優(yōu)化方法和裝置是由馬鄆;陳智揚(yáng);韓宇棟;秘瑋晨;田得雨設(shè)計(jì)研發(fā)完成，并于2024-12-24向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本基于WebGPU的Web大語(yǔ)言模型推理加速優(yōu)化方法和裝置在說(shuō)明書摘要公布了：本申請(qǐng)?zhí)峁┝艘环N基于WebGPU的Web大語(yǔ)言模型推理加速優(yōu)化方法和裝置，包括：基于目標(biāo)用戶輸入的第一文本，生成多個(gè)第一推理詞元，確定各個(gè)第一推理詞元分別對(duì)應(yīng)的第一推理算子，生成各個(gè)第一推理算子分別對(duì)應(yīng)的第一計(jì)算管線，在得到至少一個(gè)第一計(jì)算管線的情況下，持續(xù)將第一計(jì)算管線輸入WebGPU應(yīng)用程序，得到WebGPU應(yīng)用程序持續(xù)輸出的第一推理文本，基于WebGPU應(yīng)用程序輸出第一推理文本的先后順序，將第一推理文本進(jìn)行組合，得到目標(biāo)推理文本，能夠使生成計(jì)算管線的過(guò)程和得到第一推理文本的過(guò)程并行執(zhí)行，一定程度上可以提升Web大語(yǔ)言模型對(duì)WebGPU計(jì)算資源的使用率，縮短了推理任務(wù)的執(zhí)行時(shí)間，從而可以提升大語(yǔ)言模型的推理效率。

本發(fā)明授權(quán)基于WebGPU的Web大語(yǔ)言模型推理加速優(yōu)化方法和裝置在權(quán)利要求書中公布了：1.一種基于WebGPU的Web大語(yǔ)言模型推理加速優(yōu)化方法，其特征在于，所述方法包括：基于目標(biāo)用戶輸入的第一文本，生成多個(gè)第一推理詞元；確定各個(gè)所述第一推理詞元分別對(duì)應(yīng)的第一推理算子；其中，所述第一推理算子表示所述第一推理詞元的前一個(gè)推理詞元到所述第一推理詞元的推理邏輯；生成各個(gè)所述第一推理算子分別對(duì)應(yīng)的第一計(jì)算管線；在得到至少一個(gè)第一計(jì)算管線的情況下，持續(xù)將所述第一計(jì)算管線輸入WebGPU應(yīng)用程序，得到所述WebGPU應(yīng)用程序持續(xù)輸出的第一推理文本；基于所述WebGPU應(yīng)用程序輸出所述第一推理文本的先后順序，將所述第一推理文本進(jìn)行組合，得到目標(biāo)推理文本。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人北京大學(xué)，其通訊地址為：100091 北京市海淀區(qū)頤和園路5號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。