恭喜杭州電子科技大學湯景凡獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網恭喜杭州電子科技大學申請的專利一種基于知識圖譜的圖像場景圖生成方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN114329010B 。
龍圖騰網通過國家知識產權局官網在2025-04-29發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202111638030.1,技術領域涉及:G06F16/51;該發明授權一種基于知識圖譜的圖像場景圖生成方法是由湯景凡;吳志威;張旻;李鵬飛;姜明設計研發完成,并于2021-12-29向國家知識產權局提交的專利申請。
本一種基于知識圖譜的圖像場景圖生成方法在說明書摘要公布了:本發明公開了一種基于知識圖譜的圖像場景圖生成方法,本發明首先使用OPENIE模型將圖像描述轉化成三元組,并轉化成實體和實體對應關系,導入NEO4J中,構建COCO和VisualGenome數據集的知識圖譜;其次模型結合知識圖譜,對輸入的圖像進行目標檢測,識別出對應的對象類別和對象屬性,以及兩兩候選框之間有交集的關系。將得到的對象屬性放入知識圖譜中,作為檢索關鍵點,并調用NEO4J數據庫得到標記權重的關系節點以及對應的另一個實體節點;同理,將關系屬性特征放入到知識圖譜中,得到節點屬性組;將通過知識圖譜得到的指定數量的三元組放入排列模塊;放入到場景圖生成的網絡中,最終生成基于知識圖譜的場景圖。本發明針對圖像目標識別和關系檢測的問題,提出了優化方案。
本發明授權一種基于知識圖譜的圖像場景圖生成方法在權利要求書中公布了:1.一種基于知識圖譜的圖像場景圖生成方法,其特征在于包括以下步驟:步驟1使用OPENIE模型將圖像描述轉化成三元組,并轉化成實體和實體對應關系,導入NEO4J中,構建COCO和VisualGenome數據集的知識圖譜;步驟2對輸入的圖像使用FasterR-CNN目標檢測得到候選框,得到每一個候選框中的目標特征Obj_feature,并預測對象屬性Obj_attr以及兩兩候選框之間的關系特征Rel_fearure,并預測關系屬性Rel_attr;步驟3將得到的對象屬性Obj_attr放入知識圖譜中,作為檢索關鍵點,并調用NEO4J數據庫得到標記權重的關系節點以及對應的另一個實體節點;步驟4將得到的關系屬性Rel_attr放入到知識圖譜中,作為檢索關鍵點,同理調用NEO4J數據庫,通過關系屬性來找到相關的節點屬性組;步驟5將通過知識圖譜得到的指定數量的三元組放入排列模塊;步驟6將經過排列模塊的三元組信息,放入到場景圖生成的網絡中,最終生成基于知識圖譜的場景圖;步驟6具體實現過程如下:7-1采用交叉熵損失來優化場景圖生成網絡,設置e′和l′分別表示實體和謂詞的預測標號,e和l表示實體和謂詞基本真值,如公式14所示: 其中,Z1和Z2是權重參數;7-2將三元組信息輸入到場景圖生成模型進行端到端的訓練,epoch設置為10,學習率為0.00001,batchsize為16中,得到場景圖。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人杭州電子科技大學,其通訊地址為:310018 浙江省杭州市下沙高教園區2號大街;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。