恭喜中國傳媒大學楊成獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網恭喜中國傳媒大學申請的專利基于多模態實體對齊的圖片描述生成方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN119599014B 。
龍圖騰網通過國家知識產權局官網在2025-06-03發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202510142480.3,技術領域涉及:G06F40/284;該發明授權基于多模態實體對齊的圖片描述生成方法是由楊成;周勁飛;張亞娜;朱亞平設計研發完成,并于2025-02-10向國家知識產權局提交的專利申請。
本基于多模態實體對齊的圖片描述生成方法在說明書摘要公布了:本發明涉及一種基于多模態實體對齊的圖片描述生成方法,屬于圖像處理技術領域,解決了現有技術中圖像實體描述準確性不高的問題。具體步驟包括:基于包含標注實體后的圖像和與其相關文章的第一樣本集,訓練得到多模態實體對齊模型;基于包含標注描述后的圖像和與其相關文章的第二樣本集,利用多模態實體對齊模型,得到實體對齊后的候選實體詞;基于第二樣本集和候選實體詞,訓練得到基于多模態實體對齊的圖像描述生成模型;基于未標注描述的圖像和文章,利用多模態實體對齊模型,得到對應的候選實體詞,結合未標注描述的圖像和文章,利用所述圖像描述生成模型,得到圖像描述結果,提升了圖像實體選擇的召回率和精確率。
本發明授權基于多模態實體對齊的圖片描述生成方法在權利要求書中公布了:1.一種基于多模態實體對齊的圖片描述生成方法,其特征在于,包括如下步驟:基于包含標注實體后的圖像和與其相關文章的第一樣本集,訓練得到多模態實體對齊模型;基于包含標注描述后的圖像和與其相關文章的第二樣本集,利用所述多模態實體對齊模型,得到實體對齊后的候選實體詞;基于所述第二樣本集和所述候選實體詞,訓練得到基于多模態實體對齊的圖像描述生成模型;基于未標注描述的圖像和文章,利用所述多模態實體對齊模型,得到對應的候選實體詞,結合未標注描述的圖像和文章,利用所述圖像描述生成模型,得到圖像描述結果;所述多模態實體對齊模型包括特征提取模塊、多重決策特征融合模塊及實體輸出網絡,其中,特征提取模塊,用于分別對包含標注實體后的圖像和與其相關文章的樣本集進行特征提取,得到圖像特征和文章上下文特征,其中,所述文章上下文特征包含多個文章子詞特征;多重決策特征融合模塊,用于對所述圖像特征和文章上下文特征進行跨模態特征融合,得到多個融合子詞特征和對應得分;實體輸出網絡,用于基于所述融合子詞特征和對應得分,得到與圖像相關的多個實體詞。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人中國傳媒大學,其通訊地址為:100024 北京市朝陽區定福莊東街1號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。