恭喜南京信息工程大學劉珂玉獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網恭喜南京信息工程大學申請的專利一種基于相似性代理輔助的演化神經架構搜索方法和系統獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN119623515B 。
龍圖騰網通過國家知識產權局官網在2025-05-23發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202510170315.9,技術領域涉及:G06N3/042;該發明授權一種基于相似性代理輔助的演化神經架構搜索方法和系統是由劉珂玉;薛羽;田偉;徐昕;鐘水明;項正龍;王修來;許艷丹設計研發完成,并于2025-02-17向國家知識產權局提交的專利申請。
本一種基于相似性代理輔助的演化神經架構搜索方法和系統在說明書摘要公布了:本發明提供了一種基于相似性代理輔助的演化神經架構搜索方法和系統,所述方法包括:步驟1,初始化一個架構種群,選擇性能最佳的架構作為初始基準架構;步驟2,構建一種圖神經網絡變體作為特征提取器;步驟3,構建代理模型,通過聯合損失函數訓練代理模型;步驟4,根據適應度值保留高潛力架構,并對高潛力架構進行真實性能評估,將評估結果加入訓練集;將當前種群與代理模型預測篩選出的高性能架構合并,通過環境選擇策略更新種群;步驟5,重復步驟3和步驟4直至種群性能收斂,最終輸出全局最優架構。本發明能夠在有限的計算資源下快速搜索到高性能的神經網絡架構,為神經網絡的自動化設計與優化提供了一種高效、智能的新型解決方案。
本發明授權一種基于相似性代理輔助的演化神經架構搜索方法和系統在權利要求書中公布了:1.一種基于相似性代理輔助的演化神經架構搜索方法,其特征在于,包括以下步驟:步驟1,初始化一個架構種群,執行演化,并通過真實評估獲取全部個體的真實性能,選擇性能最佳的一個架構作為初始基準架構;同時,將全部個體及個體對應的性能數據保存為訓練集;步驟2,設計基于相似性的圖卷積網絡的傳輸與聚合策略,構建一種圖神經網絡變體,作為特征提取器,將搜索空間中的架構映射至特征空間中,用于學習和提取架構的特征表示;步驟3,采用孿生神經網絡框架構建代理模型,利用特征提取器獲得的架構嵌入特征計算架構間的相似性,并通過聯合損失函數訓練代理模型;步驟4,基于當前種群中的架構生成候選架構,利用代理模型預測候選架構與基準架構之間的相似度,作為個體的適應度;根據適應度值保留高潛力架構,并對高潛力架構進行真實性能評估,將評估結果加入訓練集;同時,將當前種群與代理模型預測篩選出的高性能架構合并,通過環境選擇策略更新種群;步驟5,重復步驟3和步驟4直至種群性能收斂,最終輸出全局最優架構;將所述全局最優架構用于圖像識別任務;步驟1中,通過隨機采樣策略從搜索空間中選取N個架構作為初始種群P0,N表示種群大??;隨后,通過真實評估獲取每個架構的真實性能值,所有已評估的架構及性能值記錄至架構池Dtrain,表示為: 其中,真實評估是指將每個架構對應的神經網絡在目標數據集上進行完整的訓練與驗證,記錄每個架構對應的神經網絡在驗證集上的分類準確率作為性能值;Arci,Yi表示第i個架構的記錄對,Arci表示第i個架構,Yi表示第i個架構對應的性能值,Num是架構池中架構的總數;從架構池Dtrain中選取性能值最高的N個架構作為當前種群并將性能最優的架構設定為初始基準架構Arcbest;在步驟2中,將每個架構表示為圖結構數據,采用有向無環圖G的形式表示為G={V,E},其中頂點V代表架構對應的神經網絡的層級節點,每個層級節點對應一種操作,邊E表示層級之間的連接關系;將圖的節點特征矩陣X和鄰接矩陣A輸入到由圖卷積網絡和多層感知器構成的圖神經網絡變體中進行處理,實現架構的特征提取,所述圖卷積網絡用于提取節點特征,所述多層感知器用于提取結構特征;步驟2具體包括如下步驟:步驟2.1,基于圖卷積網絡捕獲節點特征:通過引入相似性度量的方法,改進圖卷積網絡的靜態傳輸與聚合規則,以捕獲節點間特征的相關性,基于相似性聚合策略的圖卷積網絡更新公式為: 其中是節點i在第l層的節點特征向量,σ是非線性激活函數,Wil表示節點i在第l層的可學習權重矩陣,表示第l層從節點j到節點i的傳輸矩陣,矩陣通過第i個節點特征hi與第j個節點特征hj的余弦相似度乘以i節點與j節點的鄰接關系Aij計算得到,∥hi∥2表示節點特征hi的歐幾里得范數,表示矩陣轉置;鄰居集合表示節點i在第l層的在聚合過程中保留的k個鄰居索引值,定義為ik表示參與節點i特征聚合的第k個索引值,θ∈[0,1]是相似度閾值,根據所有計算分布的均值和標準差設定,只保留相似度高于閾值θ的鄰居節點進行聚合計算;步驟2.2,基于多層感知器捕獲結構特征:將鄰接矩陣A展平為一維向量xA=flattenA,并輸入至多層感知器以捕獲結構特征,flatten表示將矩陣按行優先展平為一維向量的操作,多層感知器的特征傳播公式為: 其中,表示第l層隱藏層輸出的結構特征向量,且初始輸入是第l層的權重矩陣,用于實現線性變換,bl為第l層的偏置項;為實現節點特征與結構特征的聯合表征,將圖卷積網絡與多層感知器的輸出進行線性組合,公式為: 其中,Hl是第l層的節點特征向量矩陣,是第l層的結構特征向量矩陣,β∈[0,1]是一個可學習參數,用于動態平衡節點特征與結構特征對嵌入學習的貢獻,是第l層的特征向量矩陣;最終,將特征提取器的輸出展平為一維向量Emb即所捕獲的架構特征向量,L是特征提取器的總層數;步驟3包括:步驟3.1,劃分相似性標簽,制作訓練數據集:對于架構池Dtrain中的架構,按照兩兩組合的方式生成樣本對,總計得到Sum個樣本對,Sum=Num-1×Num2,構成代理模型的訓練數據集其中,yij是兩個樣本Arci,和Arcj的相似性標簽,對于樣本對{Arci,Yi,Arcj,Yj},性能差ΔY定義為ΔY=Yi-Yj,則相似度similarity的計算方法為:當ΔY≥0時,當ΔY0時,其中e表示自然常數;如果similarity大于閾值,表示兩個樣本Arci,Arcj的特性相似;否則表示兩個樣本Arci,Arcj的特性不相似;如果兩個樣本Arci,Arcj的特性相似,則yij=1表示正樣本對;如果兩個樣本Arci,Arcj的特性不相似,則yij=0表示負樣本對;步驟3.2,搭建代理模型:采用孿生神經網絡作為代理模型Model,代理模型Model包括兩個結構和參數完全共享的分支子網絡;所述分支子網絡由步驟2中定義的特征提取器構成,包括用于提取節點特征的圖卷積網絡和用于提取結構特征的多層感知器;將樣本對{Arci,Yi,Arcj,Yj}中的兩個樣本Arci,Yi和Arcj,Yj分別輸入兩個分支子網絡,得到第i個樣本Arci,Yi的特征向量Embi和第j個樣本Arcj,Yj的特征向量Embj,計算Embi和Embj的余弦相似度Dij作為預測的適應度值,表示架構Arci和架構Arcj的相似程度: 步驟3.3,訓練代理模型:利用訓練數據集Data,基于聯合損失函數計算損失值,通過反向傳播算法更新代理模型的可訓練參數,重復步驟3.3直至代理模型收斂;λ∈[0,1]是一個可學習參數;其中,相似性損失M表示樣本對總數,margin為調節負樣本對距離的閾值;max表示取最大值函數;回歸損失其中表示與當前架構相似度高于閾值τ的前k個提前訓練好的樣本的索引值集合,τ是相似度閾值;Yi是第i個樣本的真實性能值。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人南京信息工程大學,其通訊地址為:211899 江蘇省南京市江北新區華富路1號數智溪谷4號樓;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。