買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜山東浪潮科學研究院有限公司申請的專利一種視覺Transformer加速器實現方法和系統獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119692408B 。

龍圖騰網通過國家知識產權局官網在2025-05-23發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510199558.5，技術領域涉及：G06N3/063；該發明授權一種視覺Transformer加速器實現方法和系統是由李樂樂;王帥;趙鑫鑫;姜凱設計研發完成，并于2025-02-24向國家知識產權局提交的專利申請。

本一種視覺Transformer加速器實現方法和系統在說明書摘要公布了：本發明公開了一種視覺Transformer加速器實現方法和系統，屬于計算機視覺技術領域，基于環形可重構架構實現視覺Transformer加速器，所述環形可重構架構，通過AXI總線將多個Transformer加速核、存儲單元以及共享內存組成環形拓撲；采用流水線架構構建Transformer計算單元，其中包括多頭注意力單元和多層感知機單元；多頭注意力單元與多層感知機單元復用矩陣乘法子單元和層歸一化單元實現數據的歸一化和乘加運算。本發明不僅可以極大提升視覺Transformer模型的執行速度，還可以為開發者提供更多創新的空間，推動計算機視覺技術向更廣泛的應用領域發展。

本發明授權一種視覺Transformer加速器實現方法和系統在權利要求書中公布了：1.一種視覺Transformer加速器實現方法，其特征在于，基于環形可重構架構實現視覺Transformer加速器，所述環形可重構架構，通過AXI總線將多個Transformer加速核、存儲單元以及共享內存組成環形拓撲，實現Transformer加速核的統一管理及靈活的執行路徑配置；采用流水線架構構建Transformer計算單元，其中包括多頭注意力單元和多層感知機單元；多頭注意力單元與多層感知機單元復用矩陣乘法子單元和層歸一化單元實現數據的歸一化和乘加運算，多頭注意力單元的Softmax子單元和多層感知機單元的GeLU子單元分別實現標準化、激活計算；所述Transformer計算單元具體包含多頭注意力單元、多層感知機單元以及緩沖；多頭注意力單元包括層歸一化子單元、鍵值生成子單元、MatMul子單元、Softmax子單元、轉置子單元以及緩沖；多層感知機單元包括層歸一化子單元、MatMul子單元、Dropout子單元、GeLU激活子單元以及緩沖，其中層歸一化子單元和MatMul子單元作為復用單元；當圖像經過預處理轉換成向量序列XI輸入到Transformer計算單元中的多頭注意力單元，其內的層歸一化子單元對輸入的向量序列沿著XI的通道維度進行歸一化處理和參數調整，使得每一個激活值分布更加均勻；歸一化后的序列數據XL存入緩沖中；鍵值生成子單元從緩沖中取出序列數據XL，分別與可被訓練的矩陣向量QW、KW、VW做矩陣乘法運算，得到Q、K、V三個特征矩陣，分別緩存到對應的緩存中；然后Q矩陣與K矩陣通過MatMul子單元完成矩陣乘法運算，再將結果轉發給Softmax子單元進行標準化運算，得到R矩陣；同時V矩陣輸入轉置子單元實現轉置運算得到結果VT矩陣；R矩陣與VT矩陣再經由MatMul子單元實現矩陣乘法運算，注意力計算，最終將m個注意力計算結果連接起來組成矩陣A；矩陣A與權重矩陣WO再進行矩陣乘法運算得到多頭矩陣Z，當存在殘差路徑時，輸入向量序列XI與多頭矩陣Z相加實現殘差連接操作，最終輸出的向量序列XO包含了所有注意力的信息，該矩陣輸入多層感知機單元；多層感知機單元包含層歸一化子單元、GeLU激活子單元以及多個Dropout子單元，當向量序列XO輸入到多層感知機單元，層歸一化子單元沿著XO的通道維度進行歸一化處理和參數調整，結果存入緩沖中；再經由Dropout子單元進行正則化操作，以防止過度擬合；然后再經過GeLU激活子單元執行非線性激活操作，使其輸入接近零時逼近線性函數；輸出時再次經過一個Dropout子單元，以提高模型的整體表達能力。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人山東浪潮科學研究院有限公司，其通訊地址為：250000 山東省濟南市高新區浪潮路1036號S02號樓；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。