買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜華為技術(shù)有限公司申請的專利一種注意力模型、特征提取方法及相關(guān)裝置獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN113627163B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-05-13發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202110731775.6，技術(shù)領(lǐng)域涉及：G06F40/279；該發(fā)明授權(quán)一種注意力模型、特征提取方法及相關(guān)裝置是由唐業(yè)輝;韓凱;王云鶴;肖安;許春景設(shè)計研發(fā)完成，并于2021-06-29向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種注意力模型、特征提取方法及相關(guān)裝置在說明書摘要公布了：本申請實施例公開了一種注意力模型以及特征提取方法，應(yīng)用于人工智能技術(shù)領(lǐng)域。該注意力模型包括：一個或多個串行連接的自注意力網(wǎng)絡(luò)，所述自注意力網(wǎng)絡(luò)包括自注意力模塊、多層感知機和第一神經(jīng)網(wǎng)絡(luò)層；所述自注意力模塊包括多個并行的特征提取層和融合層，所述融合層分別與所述多個并行的特征提取層連接；所述多層感知機與所述自注意力模塊串行連接，所述多層感知機包括多個串行的第一全連接層；所述第一神經(jīng)網(wǎng)絡(luò)層與所述自注意力模塊以及所述多層感知機中的一個或多個并行連接，其中所述第一神經(jīng)網(wǎng)絡(luò)層用于執(zhí)行特征變換。基于本方案，能夠增加注意力模型所提取的特征的多樣性，增強了特征的表達(dá)能力，從而提高注意力模型的性能。

本發(fā)明授權(quán)一種注意力模型、特征提取方法及相關(guān)裝置在權(quán)利要求書中公布了：1.一種特征提取方法，其特征在于，包括：獲取待處理數(shù)據(jù)，所述待處理數(shù)據(jù)為圖像或文本；將所述待處理數(shù)據(jù)輸入一個或多個串行連接的自注意力網(wǎng)絡(luò)，得到所述待處理數(shù)據(jù)的特征；其中，所述自注意力網(wǎng)絡(luò)包括自注意力模塊、多層感知機和第一神經(jīng)網(wǎng)絡(luò)層，所述自注意力模塊包括多個并行的特征提取層和融合層，所述融合層分別與所述多個并行的特征提取層連接，所述多層感知機與所述自注意力模塊串行連接，且所述多層感知機位于所述自注意力模塊之后，所述多層感知機包括多個串行的第一全連接層，所述第一神經(jīng)網(wǎng)絡(luò)層與所述自注意力模塊并行連接，或者所述第一神經(jīng)網(wǎng)絡(luò)層與所述多層感知機并行連接，或者所述第一神經(jīng)網(wǎng)絡(luò)層與所述自注意力模塊和所述多層感知機并行連接，所述第一神經(jīng)網(wǎng)絡(luò)層用于執(zhí)行特征變換。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人華為技術(shù)有限公司，其通訊地址為：518129 廣東省深圳市龍崗區(qū)坂田華為總部辦公樓；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。