恭喜中國傳媒大學顏金堯獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網恭喜中國傳媒大學申請的專利IP化視頻制播系統中音視頻監測方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN112383771B 。
龍圖騰網通過國家知識產權局官網在2025-05-23發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202011256101.7,技術領域涉及:H04N17/00;該發明授權IP化視頻制播系統中音視頻監測方法是由顏金堯;王晨;韓璐設計研發完成,并于2020-11-11向國家知識產權局提交的專利申請。
本IP化視頻制播系統中音視頻監測方法在說明書摘要公布了:本發明提供IP化視頻制播系統中音視頻監測方法,可打破國外專業設備一體機的限制,在軟件層面實現了便于我們的研究與數據包層面的控制更改。發明采用采集緩存、解析、播放多線程并發的高效形式,通過視頻數據流捕獲、計算具備不同視頻格式適應性初始隊列長度、阻塞隊列數據緩存、視頻數據處理、視頻監測與顯示五個主要步驟實現IP化視頻流的實時解析與監測。本發明可根據不同視頻格式適應性隊列長度的阻塞隊列來緩存視頻數據,以及針對視頻封裝標準的精準解封裝和數據處理,達到了低時延、低丟包率的實時視頻解析和監測。該方法適用于SMPTEST2022?6或SMPTEST2110?20標準下的標清、高清、超高清不同清晰度的視頻格式。
本發明授權IP化視頻制播系統中音視頻監測方法在權利要求書中公布了:1.IP化視頻制播系統中音視頻監測方法,其特征在于,該方法具體包括:采用采集緩存、解析、播放多線程并發的高效形式,通過視頻數據流捕獲、計算具備不同視頻格式適應性初始隊列長度、阻塞隊列數據緩存、視頻數據處理、視頻監測與顯示五個主要步驟實現IP化視頻流的實時解析與監測;1利用WinPcap嗅探網卡捕獲數據包,首先創建一個網絡設備鏈表以獲取本機的適配器,并得到適配器的詳細信息,詳細信息包括名稱、掩碼、源目的地址、廣播地址,打開適配器并開始捕獲視頻數據包,同時設定所需捕獲的數據最大字節數,并對數據流量過濾;2通過自適應性隊列長度算法確定阻塞隊列的長度,來保證實時視頻解析和監測的低時延和低丟包率;3將采集到的視頻數據緩存入阻塞隊列;解析視頻數據時從阻塞隊列中取出;通過一個共享的阻塞隊列,固定隊列的數據出入口,數據由入口進入、出口處被取出,同時采用先進先出模式,保證隊列中的數據被取出時的順序與進入時的順序是一致的;4ST2022-6和ST2110系列標準的視頻封裝協議從外到內包裝的次序依次為:以太網、IP、UDP、RTP、最內部為無壓縮的視頻數據、音頻和輔助數據;其中ST2022-6標準中最內層封裝的為上述描述的SDI數據格式,即HBRMT高比特率媒體傳輸協議,而在ST2110系列標準中視頻、音頻、輔助數據根據相應的標準單獨封裝傳輸;在ST2110-20標準最內層數據僅封裝視頻內容,即SDI數據格式中的數字有效行內容;根據不同的標準解封裝協議頭,獲取協議頭中的視頻信息,判斷、篩選、排列視頻數據中有效的視頻像素信息,進行視頻幀圖像信息的拼接,最后將一幀幀視頻像素信息傳入播放器;5視頻監測與顯示系統裝置采用SDL多媒體開發庫;SDL顯示視頻的流程主要分成兩大部分:初始化和循環顯示畫面;初始化的流程又細分為初始化SDL、創建窗口、基于窗口創建渲染器、創建紋理四個大步驟;循環顯示畫面包括設置紋理的數據、紋理復制給渲染目標、顯示;所述步驟2和4具體為:步驟2:阻塞隊列的輸入速率λ是指每秒采集經網絡傳輸后到達隊列的視頻數據包的速率,由計算機直接根據一段時間內接收的數據包個數n除以相應時間t得到;輸出速率μ是指視頻播放時每秒解析播放數據包的速率,由視頻播放的幀頻F*每幀的數據包數得到;每幀的數據包數計算分兩種情況:第一種情況,由ST2022-6標準封裝的逐行掃描和隔行掃描視頻和由ST2110-20標準封裝的逐行掃描視頻每幀的數據包數等于兩個連續幀中具備標志位M的數據包序列號Seq_num2和Seq_num1的差值;其中標志位M在代表這一個數據包為這一幀的最后一個數據包;第二種情況,由ST2110-20標準封裝的隔行掃描視頻中標志位M表示一場的最后一個數據包,因此該隔行掃描的一幀數據包數需要一場的數據包數再乘2,其中超高清格式的視頻沒有隔行掃描格式;視頻流的采集速率是恒定的,但是在IP網絡傳輸過程中,隊列的輸入速率是變化的,長期穩態條件下小于或等于輸出速率;當輸入速率小于輸出速率時,隊列長度L1等于視頻流輸出速率μ減去輸入速率λ后,乘實時視頻時長duration:L1=μ-λ*duration1第一種情況:L1_first=[Seq_num2-Seq_num1*F-nt]*duration2第二種情況:L1_second=[Seq_num2-Seq_num1*F*2-nt]*duration3當輸入速率約等于輸出速率時,隊列長度L2等于輸入抖動input_jitter,加初始解析播放延遲delay_len;在PTP同步前提下,網絡的輸入抖動由數據包中攜帶的RTP時間戳與接收到包的實際時間差表示;網絡的輸入抖動是指分組延遲的變化程度,變化具備隨機性,因此采用一種最大抖動時延處理,具體實現為通過對到達數據包的時間間隔抖動測量和預測獲得最大抖動隊列長度input_jitter;或將一段時間的視頻數據歷史輸入擬合多種數學模型,求出擬合度最高的到達數學模型,求出最大抖動隊列長度input_jitter;初始解析播放延遲是指在視頻流到來時,為防止網絡抖動,先緩存一部分數據所需要的隊列長度,再進行視頻解析播放,以保障視頻的輸出流暢;初始解析播放延遲設計為緩存相應視頻格式的一幀數據包的隊列長度delay_len,即為兩個連續幀中具備標志位M的數據包序列號Seq_num2和Seq_num1的差值,ST2110-20封裝的隔行掃描視頻時需*2,超高清不包括隔行掃描,保證了播放過程中隊列不會出現清空的狀態;L2=input_jitter+delay_len4第一種情況:L2_first=input_jitter+Seq_num2-Seq_num15第二種情況:L2_second=input_jitter+Seq_num2-Seq_num1*26步驟4:在獲取數據包后,根據SMPTEST2022-6標準或ST2110系列標準,驗證數據包格式是否符合標準規定,用數據包對應位置數值賦值結構體內各個字段及數組,完成視頻數據參數的傳遞,包括視頻寬高、幀率、色度采樣、隔行逐行參數的傳遞,根據寬高并新建相應字節大小的圖像緩存區;在ST2022-6標準中,通過對SDI數據格式中TRS的判斷得到圖像起始行的數據包,進而讀取屬于同一幀的數據包;然后根據SAV中的數字消隱信息封裝格式,來剝除輔助數據、音頻數據、其他數據,僅剩數字有效行的圖像數據;在ST2110-20標準中,直接根據RTP有效載荷標頭的封裝標準,通過長度、行數、偏移量的判斷來獲取視頻幀的首包及同一幀的所有數據包;接著通過相鄰字節拼接恢復出原始取樣像素值元組,再結合計算機顯示圖像的特性,將原始元組像素數據進行處理,以方便圖像顯示;最后將圖像對應像素的Y、Cb、Cr亮度色度進行賦值,直到圖像緩存區完全被填滿,便得到了一幀完整圖像;重復數據處理過程,不斷更新圖像緩存區內的圖像。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人中國傳媒大學,其通訊地址為:100024 北京市朝陽區定福莊東街1號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。