買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜亞信科技(南京)有限公司申請的專利一種應(yīng)用于垂直領(lǐng)域的多模態(tài)RAG知識(shí)問答方法及裝置獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN119150998B 。

龍圖騰網(wǎng)通過國家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-05-02發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號(hào)為：202411660708.X，技術(shù)領(lǐng)域涉及：G06N5/04；該發(fā)明授權(quán)一種應(yīng)用于垂直領(lǐng)域的多模態(tài)RAG知識(shí)問答方法及裝置是由嚴(yán)志偉;宋勇;滕澤宇;張鈺涵;葉曉舟;歐陽曄設(shè)計(jì)研發(fā)完成，并于2024-11-20向國家知識(shí)產(chǎn)權(quán)局提交的專利申請。

本一種應(yīng)用于垂直領(lǐng)域的多模態(tài)RAG知識(shí)問答方法及裝置在說明書摘要公布了：本發(fā)明提供一種應(yīng)用于垂直領(lǐng)域的多模態(tài)RAG知識(shí)問答方法及裝置，涉及人工智能技術(shù)領(lǐng)域，本發(fā)明支持多模態(tài)輸入待解答文本，包括文本、圖片、音頻和視頻，充分利用多模態(tài)數(shù)據(jù)的語義信息。利用多個(gè)預(yù)設(shè)檢索模型檢索待解答文本對應(yīng)的知識(shí)片段，得到多種檢索結(jié)果。通過RRF算法融合多種檢索結(jié)果，并用目標(biāo)重排序模型計(jì)算得分進(jìn)行重排，從而提高了召回率。基于檢索內(nèi)容及預(yù)設(shè)知識(shí)頻率信息，進(jìn)一步微調(diào)排序，使其更加精準(zhǔn)，符合用戶期望。結(jié)合大語言模型的自然語言理解能力和目標(biāo)獎(jiǎng)勵(lì)模型，以及RAG召回的相關(guān)信息，生成最優(yōu)解答數(shù)據(jù)，同時(shí)利用目標(biāo)打分模型和領(lǐng)域?qū)＜抑R(shí)，提供更專業(yè)且符合實(shí)際需求的高質(zhì)量解答數(shù)據(jù)。

本發(fā)明授權(quán)一種應(yīng)用于垂直領(lǐng)域的多模態(tài)RAG知識(shí)問答方法及裝置在權(quán)利要求書中公布了：1.一種應(yīng)用于垂直領(lǐng)域的多模態(tài)RAG知識(shí)問答方法，其特征在于，所述方法包括：接收多個(gè)多模態(tài)類型數(shù)據(jù)，利用預(yù)設(shè)的轉(zhuǎn)換模型將所有多模態(tài)類型數(shù)據(jù)轉(zhuǎn)換為文本類型數(shù)據(jù)并進(jìn)行匯總，得到待解答文本；利用多個(gè)預(yù)設(shè)檢索模型從知識(shí)庫中檢索所述待解答文本對應(yīng)的知識(shí)片段，得到多個(gè)包含所述待解答文本和多個(gè)知識(shí)片段的排序列表；所述知識(shí)庫預(yù)先基于問答對數(shù)據(jù)和純文本數(shù)據(jù)進(jìn)行構(gòu)建；根據(jù)倒數(shù)排序融合算法將所有排序列表中的所述知識(shí)片段進(jìn)行融合；利用目標(biāo)重排序模型計(jì)算融合后的列表中每個(gè)知識(shí)片段相應(yīng)的得分，基于所述得分對所述融合后的列表中每個(gè)知識(shí)片段進(jìn)行排序，得到第一排序列表；所述目標(biāo)重排序模型由預(yù)先利用預(yù)設(shè)垂直領(lǐng)域數(shù)據(jù)集對開源重排序模型進(jìn)行微調(diào)訓(xùn)練得到；根據(jù)預(yù)設(shè)知識(shí)頻率信息計(jì)算所述第一排序列表中每個(gè)知識(shí)片段的權(quán)重，結(jié)合所述得分和所述權(quán)重計(jì)算所述第一排序列表中每個(gè)知識(shí)片段的目標(biāo)得分并進(jìn)行排序，得到第二排序列表；從所述第二排序列表中提取k個(gè)所述知識(shí)片段進(jìn)行排列組合，得到排列結(jié)果，每個(gè)所述排列結(jié)果和所述待解答文本構(gòu)建提示組合，得到k個(gè)提示組合；利用目標(biāo)獎(jiǎng)勵(lì)模型計(jì)算所有提示組合的分?jǐn)?shù)，根據(jù)所述分?jǐn)?shù)從大到小的順序提取出n個(gè)所述提示組合，標(biāo)記為目標(biāo)提示組合；所述目標(biāo)獎(jiǎng)勵(lì)模型由預(yù)先利用預(yù)設(shè)LLM問答的偏好數(shù)據(jù)集對開源獎(jiǎng)勵(lì)模型進(jìn)行訓(xùn)練得到；利用大語言模型生成每個(gè)所述目標(biāo)提示組合相應(yīng)的解答數(shù)據(jù)，并利用目標(biāo)打分模型計(jì)算所有解答數(shù)據(jù)的分?jǐn)?shù)，將分?jǐn)?shù)最大的所述解答數(shù)據(jù)進(jìn)行輸出；所述目標(biāo)打分模型由預(yù)先利用預(yù)設(shè)問答對訓(xùn)練集對基于Transformer編碼器的打分模型進(jìn)行訓(xùn)練得到。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人亞信科技(南京)有限公司，其通訊地址為：210009 江蘇省南京市鼓樓區(qū)古平崗4號(hào)鼓樓紫金智夢園B座；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。