買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜深圳市大數(shù)據(jù)研究院申請的專利一種多模態(tài)大語言模型的評估方法以及裝置獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN117951275B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-04-01發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202410123712.6，技術(shù)領(lǐng)域涉及：G06F16/3329；該發(fā)明授權(quán)一種多模態(tài)大語言模型的評估方法以及裝置是由葛文韜;陳桂銘;陳舒年;陳俊穎;萬翔;王本友設(shè)計研發(fā)完成，并于2024-01-29向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種多模態(tài)大語言模型的評估方法以及裝置在說明書摘要公布了：本發(fā)明公開了多模態(tài)大語言模型的評估方法以及裝置，其方法實現(xiàn)包括：采集待處理圖像數(shù)據(jù)，并基于所述待處理圖像數(shù)據(jù)，構(gòu)建評估集，所述評估集中包括多個評估數(shù)據(jù)；基于所述評估數(shù)據(jù)以及目標(biāo)大語言模型，構(gòu)建評估準(zhǔn)則；將所述評估數(shù)據(jù)輸入至待評估大語言模型中，以得到回答信息；將所述評估準(zhǔn)則以及所述回答信息輸入至評估模型中進(jìn)行評估處理，以得到所述待評估大語言模型的評估結(jié)果。本申請實施例中，通過構(gòu)造多模態(tài)大語言模型評估集，并使用評估模型作為評估者評估多模態(tài)大語言模型能力。可以適用于構(gòu)造模擬現(xiàn)實生活的復(fù)雜場景、復(fù)雜指令的開放性任務(wù)評估集以及評估模型在這類任務(wù)下的回答。可以有效解決評估多模態(tài)大語言模型的方法單一性問題。

本發(fā)明授權(quán)一種多模態(tài)大語言模型的評估方法以及裝置在權(quán)利要求書中公布了：1.一種多模態(tài)大語言模型的評估方法，其特征在于，所述方法，包括：采集待處理圖像數(shù)據(jù)，并基于所述待處理圖像數(shù)據(jù)，構(gòu)建評估集，所述評估集中包括多個評估數(shù)據(jù)；其中，所述采集待處理圖像數(shù)據(jù)，包括：劃分待評估多模態(tài)大語言模型的能力指標(biāo)，以模擬人類認(rèn)知的層級，將所述待評估多模態(tài)大語言模型的能力劃分為由淺入深的6個層次；基于所述能力指標(biāo)，從多數(shù)據(jù)源采集多領(lǐng)域最新圖像數(shù)據(jù)，作為所述待處理圖像數(shù)據(jù)；所述基于所述待處理圖像數(shù)據(jù)，構(gòu)建評估集，包括：基于所述待處理圖像數(shù)據(jù)，按照預(yù)設(shè)指令生成策略，通過預(yù)設(shè)評估集構(gòu)建模型生成指令信息；對所述指令信息以及所述待處理圖像數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，以得到所述評估數(shù)據(jù)；基于所述評估數(shù)據(jù)，生成所述評估集；其中，所述評估數(shù)據(jù)以圖片-指令對形式存在，一個圖片對應(yīng)一個指令；基于所述評估數(shù)據(jù)以及目標(biāo)多模態(tài)大語言模型，構(gòu)建評估準(zhǔn)則，包括：通過人工標(biāo)注的方式，對所述評估數(shù)據(jù)進(jìn)行標(biāo)注，以構(gòu)建評估準(zhǔn)則生成指導(dǎo)；構(gòu)建評估準(zhǔn)則生成提示詞；基于所述評估準(zhǔn)則生成指導(dǎo)、所述評估數(shù)據(jù)以及所述評估準(zhǔn)則生成提示詞，通過所述目標(biāo)多模態(tài)大語言模型生成所述評估準(zhǔn)則；對于有明確答案的問題，通過所述評估數(shù)據(jù)、所述評估準(zhǔn)則生成指導(dǎo)以及所述評估準(zhǔn)則生成提示詞輸出的評估準(zhǔn)則，得到具體的參考答案，而對于需要主觀描述或產(chǎn)生模糊答案的指令的情況下，通過所述評估數(shù)據(jù)、所述評估準(zhǔn)則生成指導(dǎo)以及所述評估準(zhǔn)則生成提示詞輸出的評估準(zhǔn)則，提供制定回答的關(guān)鍵信息；將所述評估數(shù)據(jù)輸入至待評估多模態(tài)大語言模型中，以得到回答信息；將所述評估準(zhǔn)則以及所述回答信息輸入至評估模型中進(jìn)行評估處理，以得到所述待評估多模態(tài)大語言模型的評估結(jié)果。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人深圳市大數(shù)據(jù)研究院，其通訊地址為：518000 廣東省深圳市龍崗區(qū)龍城街道龍翔大道2001號道遠(yuǎn)樓225室；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。