買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉杭州電子科技大學(xué)申請的專利一種基于知識圖譜的圖像場景圖生成方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN114329010B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-04-29發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202111638030.1，技術(shù)領(lǐng)域涉及：G06F16/51；該發(fā)明授權(quán)一種基于知識圖譜的圖像場景圖生成方法是由湯景凡;吳志威;張旻;李鵬飛;姜明設(shè)計(jì)研發(fā)完成，并于2021-12-29向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種基于知識圖譜的圖像場景圖生成方法在說明書摘要公布了：本發(fā)明公開了一種基于知識圖譜的圖像場景圖生成方法，本發(fā)明首先使用OPENIE模型將圖像描述轉(zhuǎn)化成三元組,并轉(zhuǎn)化成實(shí)體和實(shí)體對應(yīng)關(guān)系，導(dǎo)入NEO4J中，構(gòu)建COCO和VisualGenome數(shù)據(jù)集的知識圖譜；其次模型結(jié)合知識圖譜，對輸入的圖像進(jìn)行目標(biāo)檢測，識別出對應(yīng)的對象類別和對象屬性，以及兩兩候選框之間有交集的關(guān)系。將得到的對象屬性放入知識圖譜中，作為檢索關(guān)鍵點(diǎn)，并調(diào)用NEO4J數(shù)據(jù)庫得到標(biāo)記權(quán)重的關(guān)系節(jié)點(diǎn)以及對應(yīng)的另一個(gè)實(shí)體節(jié)點(diǎn)；同理，將關(guān)系屬性特征放入到知識圖譜中，得到節(jié)點(diǎn)屬性組；將通過知識圖譜得到的指定數(shù)量的三元組放入排列模塊；放入到場景圖生成的網(wǎng)絡(luò)中，最終生成基于知識圖譜的場景圖。本發(fā)明針對圖像目標(biāo)識別和關(guān)系檢測的問題，提出了優(yōu)化方案。

本發(fā)明授權(quán)一種基于知識圖譜的圖像場景圖生成方法在權(quán)利要求書中公布了：1.一種基于知識圖譜的圖像場景圖生成方法，其特征在于包括以下步驟：步驟1使用OPENIE模型將圖像描述轉(zhuǎn)化成三元組，并轉(zhuǎn)化成實(shí)體和實(shí)體對應(yīng)關(guān)系，導(dǎo)入NEO4J中，構(gòu)建COCO和VisualGenome數(shù)據(jù)集的知識圖譜；步驟2對輸入的圖像使用FasterR-CNN目標(biāo)檢測得到候選框，得到每一個(gè)候選框中的目標(biāo)特征Obj_feature，并預(yù)測對象屬性O(shè)bj_attr以及兩兩候選框之間的關(guān)系特征Rel_fearure，并預(yù)測關(guān)系屬性Rel_attr；步驟3將得到的對象屬性O(shè)bj_attr放入知識圖譜中，作為檢索關(guān)鍵點(diǎn)，并調(diào)用NEO4J數(shù)據(jù)庫得到標(biāo)記權(quán)重的關(guān)系節(jié)點(diǎn)以及對應(yīng)的另一個(gè)實(shí)體節(jié)點(diǎn)；步驟4將得到的關(guān)系屬性Rel_attr放入到知識圖譜中，作為檢索關(guān)鍵點(diǎn)，同理調(diào)用NEO4J數(shù)據(jù)庫，通過關(guān)系屬性來找到相關(guān)的節(jié)點(diǎn)屬性組；步驟5將通過知識圖譜得到的指定數(shù)量的三元組放入排列模塊；步驟6將經(jīng)過排列模塊的三元組信息，放入到場景圖生成的網(wǎng)絡(luò)中，最終生成基于知識圖譜的場景圖；步驟6具體實(shí)現(xiàn)過程如下：7-1采用交叉熵?fù)p失來優(yōu)化場景圖生成網(wǎng)絡(luò)，設(shè)置e′和l′分別表示實(shí)體和謂詞的預(yù)測標(biāo)號，e和l表示實(shí)體和謂詞基本真值，如公式14所示： 其中，Z1和Z2是權(quán)重參數(shù)；7-2將三元組信息輸入到場景圖生成模型進(jìn)行端到端的訓(xùn)練，epoch設(shè)置為10，學(xué)習(xí)率為0.00001，batchsize為16中，得到場景圖。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人杭州電子科技大學(xué)，其通訊地址為：310018 浙江省杭州市下沙高教園區(qū)2號大街；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。