買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜山東極視角科技股份有限公司申請(qǐng)的專利一種多硬件混合大模型推理的方法、系統(tǒng)及相關(guān)裝置獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN119539089B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-05-02發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202510095874.8，技術(shù)領(lǐng)域涉及：G06N5/04；該發(fā)明授權(quán)一種多硬件混合大模型推理的方法、系統(tǒng)及相關(guān)裝置是由陳碩;徐雷;鄧富城;羅韻設(shè)計(jì)研發(fā)完成，并于2025-01-22向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種多硬件混合大模型推理的方法、系統(tǒng)及相關(guān)裝置在說(shuō)明書(shū)摘要公布了：本申請(qǐng)公開(kāi)了一種多硬件混合大模型推理的方法、系統(tǒng)及相關(guān)裝置，用于提升對(duì)復(fù)雜模態(tài)任務(wù)的推理效率和靈活性。本申請(qǐng)方法包括：根據(jù)多模態(tài)大模型的結(jié)構(gòu)信息和不同任務(wù)階段的模態(tài)變化特性對(duì)任務(wù)隊(duì)列中的目標(biāo)推理任務(wù)進(jìn)行分解，得到若干個(gè)子任務(wù)和每個(gè)子任務(wù)對(duì)應(yīng)的若干個(gè)計(jì)算單元；根據(jù)硬件適配報(bào)告和任務(wù)資源需求制定調(diào)度策略，并根據(jù)調(diào)度策略將計(jì)算單元分配至合適的硬件進(jìn)行執(zhí)行；在任務(wù)執(zhí)行過(guò)程中使用多模態(tài)語(yǔ)義融合模型和時(shí)間序列預(yù)測(cè)模型進(jìn)行動(dòng)態(tài)模態(tài)變化監(jiān)測(cè)，實(shí)時(shí)分析任務(wù)執(zhí)行過(guò)程中的模態(tài)變化趨勢(shì)，根據(jù)模態(tài)變化趨勢(shì)動(dòng)態(tài)調(diào)整調(diào)度策略；當(dāng)所有子任務(wù)完成后，對(duì)子任務(wù)的結(jié)果進(jìn)行合并和驗(yàn)證，輸出最終的推理結(jié)果。

本發(fā)明授權(quán)一種多硬件混合大模型推理的方法、系統(tǒng)及相關(guān)裝置在權(quán)利要求書(shū)中公布了：1.一種多硬件混合大模型推理的方法，其特征在于，所述方法包括：收集多模態(tài)大模型的結(jié)構(gòu)信息，所述結(jié)構(gòu)信息包括所述多模態(tài)大模型的若干模態(tài)處理分支以及所述模態(tài)處理分支內(nèi)部的子模塊和層結(jié)構(gòu)；在多個(gè)硬件的模擬環(huán)境下，使用多模態(tài)數(shù)據(jù)樣本對(duì)所述多模態(tài)大模型進(jìn)行基準(zhǔn)測(cè)試，得到所述多個(gè)硬件的性能指標(biāo)；基于所述性能指標(biāo)對(duì)所述多模態(tài)大模型與所述多個(gè)硬件的適配性進(jìn)行評(píng)估，生成硬件適配報(bào)告；接收推理任務(wù)請(qǐng)求，并根據(jù)所述推理任務(wù)請(qǐng)求生成對(duì)應(yīng)的推理任務(wù)存入任務(wù)隊(duì)列；根據(jù)所述多模態(tài)大模型的結(jié)構(gòu)信息和不同任務(wù)階段的模態(tài)變化特性對(duì)所述任務(wù)隊(duì)列中的目標(biāo)推理任務(wù)進(jìn)行分解，得到若干個(gè)子任務(wù)和每個(gè)所述子任務(wù)對(duì)應(yīng)的若干個(gè)計(jì)算單元；確定所述計(jì)算單元的計(jì)算類型和輸入輸出數(shù)據(jù)規(guī)模，并根據(jù)所述計(jì)算類型和所述輸入輸出數(shù)據(jù)規(guī)模估算所述計(jì)算單元的任務(wù)資源需求；根據(jù)所述硬件適配報(bào)告和所述任務(wù)資源需求制定調(diào)度策略，并根據(jù)所述調(diào)度策略將所述計(jì)算單元分配至合適的硬件進(jìn)行執(zhí)行；在任務(wù)執(zhí)行過(guò)程中使用多模態(tài)語(yǔ)義融合模型和時(shí)間序列預(yù)測(cè)模型進(jìn)行動(dòng)態(tài)模態(tài)變化監(jiān)測(cè)，實(shí)時(shí)分析所述任務(wù)執(zhí)行過(guò)程中的模態(tài)變化趨勢(shì)，根據(jù)所述模態(tài)變化趨勢(shì)動(dòng)態(tài)調(diào)整所述調(diào)度策略；當(dāng)所有所述子任務(wù)完成后，對(duì)所述子任務(wù)的結(jié)果進(jìn)行合并和驗(yàn)證，輸出最終的推理結(jié)果；所述多模態(tài)語(yǔ)義融合模型基于多頭注意力機(jī)制和多層感知機(jī)網(wǎng)絡(luò)構(gòu)建，所述時(shí)間序列預(yù)測(cè)模型采用長(zhǎng)短期記憶網(wǎng)絡(luò)或門(mén)控循環(huán)單元構(gòu)建；所述在任務(wù)執(zhí)行過(guò)程中使用多模態(tài)語(yǔ)義融合模型和時(shí)間序列預(yù)測(cè)模型進(jìn)行動(dòng)態(tài)模態(tài)變化監(jiān)測(cè)，實(shí)時(shí)分析所述任務(wù)執(zhí)行過(guò)程中的模態(tài)變化趨勢(shì)，根據(jù)所述模態(tài)變化趨勢(shì)動(dòng)態(tài)調(diào)整所述調(diào)度策略，包括：在任務(wù)執(zhí)行過(guò)程中，通過(guò)多模態(tài)語(yǔ)義融合模型對(duì)不同模態(tài)的特征向量進(jìn)行融合，生成多模態(tài)語(yǔ)義特征向量；將所述多模態(tài)語(yǔ)義特征向量作為所述時(shí)間序列預(yù)測(cè)模型的輸入，并根據(jù)所述時(shí)間序列預(yù)測(cè)模型的輸出結(jié)果確定所述任務(wù)執(zhí)行過(guò)程中的模態(tài)變化趨勢(shì)，所述時(shí)間序列預(yù)測(cè)模型用于將所述多模態(tài)語(yǔ)義特征向量轉(zhuǎn)換為時(shí)間序列數(shù)據(jù)進(jìn)行預(yù)測(cè)；當(dāng)根據(jù)所述模態(tài)變化趨勢(shì)確定調(diào)度策略不滿足模態(tài)變化后的任務(wù)需求時(shí)，根據(jù)所述模態(tài)變化趨勢(shì)進(jìn)行任務(wù)遷移操作。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人山東極視角科技股份有限公司，其通訊地址為：266000 山東省青島市黃島區(qū)廬山路57-1號(hào)301；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。