買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜成都考拉悠然科技有限公司申請的專利一種基于多模態大模型的交互方法、系統、設備及介質獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119884691B 。

龍圖騰網通過國家知識產權局官網在2025-06-20發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510352943.9，技術領域涉及：G06F18/21；該發明授權一種基于多模態大模型的交互方法、系統、設備及介質是由沈復民;張靜然;申恒濤設計研發完成，并于2025-03-25向國家知識產權局提交的專利申請。

本一種基于多模態大模型的交互方法、系統、設備及介質在說明書摘要公布了：本發明提供了一種基于多模態大模型的交互方法、系統、設備及介質，涉及多模態大模型技術領域，本方法包括：獲取實時輸入信息集；對實時輸入信息集分別進行處理，得到處理數據，處理數據包括第一處理信息、第二處理信息及第三處理信息，其中對實時視頻信息進行處理得到第一處理信息，對實時音頻信息進行處理得到第二處理信息，對實時文本信息進行處理得到第三處理信息；通過預設模態關聯模型對處理數據進行關聯計算；根據關聯損失信息對處理數據進行拼接處理，得到拼接數據集；對拼接數據集進行解碼輸出，得到交互響應數據，交互響應數據用于反饋交互信息。本方法解決了對實時輸入數據實現跨模態間的關聯，方便擴展到更加復雜的多模態組合。

本發明授權一種基于多模態大模型的交互方法、系統、設備及介質在權利要求書中公布了：1.一種基于多模態大模型的交互方法，其特征在于，包括：獲取實時輸入信息集，所述實時輸入信息集包括實時視頻信息、實時音頻信息和實時文本信息；對所述實時輸入信息集分別進行處理，得到處理數據，所述處理數據包括第一處理信息、第二處理信息及第三處理信息，其中對所述實時視頻信息進行處理得到第一處理信息，對所述實時音頻信息進行處理得到第二處理信息，對所述實時文本信息進行處理得到第三處理信息；通過預設模態關聯模型對處理數據進行關聯計算，以獲取第一處理信息、第二處理信息及第三處理信息的關聯損失信息；其中，包括：獲取視頻文本關聯的損失信息；獲取音頻文本關聯的損失信息；根據視頻文本關聯的損失信息和音頻文本關聯的損失信息獲取整體關聯損失信息；其中，所述視頻文本關聯的損失信息的損失計算為： ；上式中，表示第一預測信息，表示預設文本的處理信息時第一處理信息的概率，表示第一處理信息，表示預設文本的處理信息，表示第二預測信息，表示預設視頻的處理信息時第三處理信息的概率，表示第三處理信息，表示預設視頻的處理信息，表示視頻文本關聯的損失信息；所述音頻文本關聯的損失信息的損失計算為： ；上式中，表示第三預測信息，表示預設文本的處理信息時第二處理信息的概率，表示第二處理信息，表示預設文本的處理信息，表示第四預測信息，表示預設音頻的處理信息時第三處理信息的概率，表示第三處理信息，表示預設音頻的處理信息，表示音頻文本關聯的損失信息；所述整體關聯損失信息的損失計算為： ；上式中，表示整體關聯損失信息，表示視頻文本關聯的損失信息，表示音頻文本關聯的損失信息，表示正則化項；根據關聯損失信息對所述處理數據進行拼接處理，得到拼接數據集；當視頻文本關聯的損失信息、音頻文本關聯的損失信息以及整體關聯損失信息與預設目標損失信息進行逐一比較后，均滿足預設目標損失信息要求，進行拼接處理；所述預設目標損失信息要求根據大模型對不同模態的關聯要求進行設定；對所述拼接數據集進行解碼輸出，得到交互響應數據，所述交互響應數據用于反饋交互信息。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人成都考拉悠然科技有限公司，其通訊地址為：610095 四川省成都市高新區天府五街200號4號樓A區10層1001、1002、1003室；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。