買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜天翼云科技有限公司申請(qǐng)的專利視頻理解問題的答案生成方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN119357340B 。

龍圖騰網(wǎng)通過國家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-03-25發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202411933160.1，技術(shù)領(lǐng)域涉及：G06F16/332；該發(fā)明授權(quán)視頻理解問題的答案生成方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品是由梁丞瑜設(shè)計(jì)研發(fā)完成，并于2024-12-26向國家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本視頻理解問題的答案生成方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品在說明書摘要公布了：本申請(qǐng)涉及視頻理解技術(shù)領(lǐng)域，特別是涉及一種視頻理解問題的答案生成方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。所述方法包括：獲取長視頻數(shù)據(jù)以及視頻理解問題；將長視頻數(shù)據(jù)分割為多個(gè)短視頻片段，采用短期視覺字幕生成器基于每個(gè)短視頻片段的圖像信息，生成對(duì)應(yīng)的描述文本；按照每個(gè)短視頻片段對(duì)應(yīng)的時(shí)間順序依次拼接描述文本得到目標(biāo)描述文本；將目標(biāo)描述文本與視頻理解問題輸入至大語言模型，得到大語言模型基于目標(biāo)描述文本生成的與視頻理解問題對(duì)應(yīng)的答案。采用本方法能夠解決現(xiàn)有的長視頻理解模型推理訓(xùn)練成本高且周期長的問題，起到簡化長視頻理解的復(fù)雜性，提高長視頻理解中的問答生成效率以及準(zhǔn)確率的技術(shù)效果。

本發(fā)明授權(quán)視頻理解問題的答案生成方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品在權(quán)利要求書中公布了：1.一種視頻理解問題的答案生成方法，其特征在于，所述方法包括：獲取長視頻數(shù)據(jù)以及與所述長視頻數(shù)據(jù)對(duì)應(yīng)的視頻理解問題；將所述長視頻數(shù)據(jù)分割為多個(gè)短視頻片段，采用短期視覺字幕生成器基于每個(gè)所述短視頻片段的圖像信息，生成與每個(gè)所述短視頻片段對(duì)應(yīng)的描述文本；按照每個(gè)所述短視頻片段對(duì)應(yīng)的時(shí)間順序，依次拼接與每個(gè)所述短視頻片段對(duì)應(yīng)的描述文本，得到目標(biāo)描述文本；將所述目標(biāo)描述文本與所述視頻理解問題輸入至大語言模型，得到所述大語言模型基于所述目標(biāo)描述文本生成的與所述視頻理解問題對(duì)應(yīng)的答案；其中，所述短期視覺字幕生成器的訓(xùn)練方式包括：獲取短視頻圖像樣本以及與所述短視頻圖像樣本對(duì)應(yīng)的描述文本樣本，將所述短視頻圖像樣本和所述描述文本樣本輸入至初始的字幕生成器，所述字幕生成器包括圖像解碼器、第一文本解碼器、基于圖像的第二文本解碼器以及基于圖像的第三文本解碼器；通過所述圖像解碼器對(duì)所述短視頻圖像樣本進(jìn)行解碼得到對(duì)應(yīng)的圖像信息，通過所述字幕生成器利用所述圖像信息生成與所述短視頻圖像樣本對(duì)應(yīng)的預(yù)測描述文本；通過所述第一文本解碼器對(duì)所述描述文本樣本進(jìn)行解碼得到對(duì)應(yīng)的文本信息，基于所述圖像信息和所述文本信息的相似性確定所述圖像信息、所述文本信息與所述預(yù)測描述文本之間的生成損失值；將所述描述文本樣本輸入至所述基于圖像的第二文本解碼器，將所述圖像信息輸入至所述基于圖像的第二文本解碼器的第二跨注意機(jī)制，利用所述基于圖像的第二文本解碼器的第三前饋網(wǎng)絡(luò)、第二跨注意機(jī)制以及第二雙向自注意機(jī)制對(duì)所述圖像信息和所述文本信息進(jìn)行處理，得到所述圖像信息與所述文本信息之間的匹配損失值；將所述描述文本樣本輸入至所述基于圖像的第三文本解碼器，將所述圖像信息輸入至所述基于圖像的第三文本解碼器的第三跨注意機(jī)制，利用所述基于圖像的第三文本解碼器的第四前饋網(wǎng)絡(luò)、第三跨注意機(jī)制、隨機(jī)自注意機(jī)制對(duì)所述圖像信息和所述文本信息進(jìn)行處理，得到所述圖像信息與所述文本信息之間的模型損失值；通過所述字幕生成器基于所述生成損失值、所述匹配損失值以及所述模型損失值調(diào)整模型參數(shù)，將模型參數(shù)調(diào)整后的字幕生成器作為所述短期視覺字幕生成器。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人天翼云科技有限公司，其通訊地址為：100007 北京市東城區(qū)青龍胡同甲1號(hào)、3號(hào)2幢2層205-32室；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。