華為技術有限公司唐業輝獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉華為技術有限公司申請的專利一種注意力模型、特征提取方法及相關裝置獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN113627163B 。
龍圖騰網通過國家知識產權局官網在2025-05-13發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202110731775.6,技術領域涉及:G06F40/279;該發明授權一種注意力模型、特征提取方法及相關裝置是由唐業輝;韓凱;王云鶴;肖安;許春景設計研發完成,并于2021-06-29向國家知識產權局提交的專利申請。
本一種注意力模型、特征提取方法及相關裝置在說明書摘要公布了:本申請實施例公開了一種注意力模型以及特征提取方法,應用于人工智能技術領域。該注意力模型包括:一個或多個串行連接的自注意力網絡,所述自注意力網絡包括自注意力模塊、多層感知機和第一神經網絡層;所述自注意力模塊包括多個并行的特征提取層和融合層,所述融合層分別與所述多個并行的特征提取層連接;所述多層感知機與所述自注意力模塊串行連接,所述多層感知機包括多個串行的第一全連接層;所述第一神經網絡層與所述自注意力模塊以及所述多層感知機中的一個或多個并行連接,其中所述第一神經網絡層用于執行特征變換。基于本方案,能夠增加注意力模型所提取的特征的多樣性,增強了特征的表達能力,從而提高注意力模型的性能。
本發明授權一種注意力模型、特征提取方法及相關裝置在權利要求書中公布了:1.一種特征提取方法,其特征在于,包括:獲取待處理數據,所述待處理數據為圖像或文本;將所述待處理數據輸入一個或多個串行連接的自注意力網絡,得到所述待處理數據的特征;其中,所述自注意力網絡包括自注意力模塊、多層感知機和第一神經網絡層,所述自注意力模塊包括多個并行的特征提取層和融合層,所述融合層分別與所述多個并行的特征提取層連接,所述多層感知機與所述自注意力模塊串行連接,且所述多層感知機位于所述自注意力模塊之后,所述多層感知機包括多個串行的第一全連接層,所述第一神經網絡層與所述自注意力模塊并行連接,或者所述第一神經網絡層與所述多層感知機并行連接,或者所述第一神經網絡層與所述自注意力模塊和所述多層感知機并行連接,所述第一神經網絡層用于執行特征變換。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人華為技術有限公司,其通訊地址為:518129 廣東省深圳市龍崗區坂田華為總部辦公樓;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。