買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜北京搜狐新媒體信息技術有限公司申請的專利一種基于自監督學習的視頻內容分析方法及相關裝置獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119600519B 。

龍圖騰網通過國家知識產權局官網在2025-05-09發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510122390.8，技術領域涉及：G06V20/40；該發明授權一種基于自監督學習的視頻內容分析方法及相關裝置是由魏豪;黎斯思;王卿云;章岑;楊田設計研發完成，并于2025-01-26向國家知識產權局提交的專利申請。

本一種基于自監督學習的視頻內容分析方法及相關裝置在說明書摘要公布了：本申請提供一種基于自監督學習的視頻內容分析方法及相關裝置，涉及軟件技術領域，預先以自監督學習的方式訓練獲得不同模型。對待處理的目標視頻進行視頻分段得到第一說話人對應的第一視頻片段；通過音頻檢測模型將第一視頻片段中的音頻轉換為第一音頻文本，通過字幕檢測模型和文本識別模型提取第一視頻片段中的第一字幕文本，以及，通過視頻編碼器提取第一視頻片段的視覺向量表示；以第一音頻文本和第一字幕文本構建提示詞，對提示詞進行分詞得到第一視頻片段的文本向量表示；將文本向量表示與視覺向量表示拼接后送入大語言模型中，以獲得大語言模型輸出的視頻內容分析結果。本申請通過無監督學習提高模型的泛化性，實現不同視頻內容分析任務。

本發明授權一種基于自監督學習的視頻內容分析方法及相關裝置在權利要求書中公布了：1.一種基于自監督學習的視頻內容分析方法，其特征在于，所述基于自監督學習的視頻內容分析方法包括：獲取待處理的目標視頻，并對所述目標視頻進行視頻分段得到第一說話人對應的第一視頻片段；通過音頻檢測模型將所述第一視頻片段中的音頻轉換為第一音頻文本，通過字幕檢測模型和文本識別模型提取所述第一視頻片段中的第一字幕文本，以及，通過視頻編碼器提取所述第一視頻片段的視覺向量表示；其中，所述音頻檢測模型、所述字幕檢測模型、所述文本識別模型和所述視頻編碼器是預先以自監督學習的方式訓練獲得的；以所述第一音頻文本和所述第一字幕文本構建提示詞，通過對所述提示詞進行分詞得到所述第一視頻片段的文本向量表示；將所述文本向量表示與所述視覺向量表示拼接后送入大語言模型中，以獲得所述大語言模型輸出的視頻內容分析結果；預先以自監督學習的方式訓練獲得所述音頻檢測模型、所述字幕檢測模型、所述文本識別模型和所述視頻編碼器的過程，包括：通過收集公開視頻構建視頻數據池；針對所述視頻數據池中的每個視頻來說，對該視頻進行視頻分段得到第二說話人對應的第二視頻片段；對所述第二視頻片段進行音頻提取得到第二音頻文本，同時，對所述第二視頻片段進行OCR識別得到第二字幕邊界框以及第二字幕文本；如果所述第二音頻文本與所述第二字幕文本匹配，通過多模態大模型提取所述第二視頻片段的視頻理解文本；將所述第二視頻片段、所述第二視頻片段中的音頻、所述第二音頻文本、所述第二字幕邊界框、所述第二字幕文本和所述視頻理解文本組成偽標簽數據集，以實現：利用所述第二視頻片段中的音頻和所述第二音頻文本訓練獲得所述音頻檢測模型；利用所述第二視頻片段和所述第二字幕邊界框訓練獲得所述字幕檢測模型；利用所述第二視頻片段和所述第二字幕文本訓練獲得所述文本識別模型；以固定所述大語言模型權重的方式，利用所述視頻理解文本訓練獲得所述視頻編碼器。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人北京搜狐新媒體信息技術有限公司，其通訊地址為：100190 北京市海淀區科學院南路2號院3號樓12層1201；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。