恭喜中科南京軟件技術(shù)研究院武斌獲國(guó)家專利權(quán)
買專利賣專利找龍圖騰,真高效! 查專利查商標(biāo)用IPTOP,全免費(fèi)!專利年費(fèi)監(jiān)控用IP管家,真方便!
龍圖騰網(wǎng)恭喜中科南京軟件技術(shù)研究院申請(qǐng)的專利一種多層次相對(duì)位置編碼方法及系統(tǒng)獲國(guó)家發(fā)明授權(quán)專利權(quán),本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予,授權(quán)公告號(hào)為:CN119272810B 。
龍圖騰網(wǎng)通過國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-03-25發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉:該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為:202411766567.X,技術(shù)領(lǐng)域涉及:G06N3/0455;該發(fā)明授權(quán)一種多層次相對(duì)位置編碼方法及系統(tǒng)是由武斌;王少將;楊格兒設(shè)計(jì)研發(fā)完成,并于2024-12-04向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。
本一種多層次相對(duì)位置編碼方法及系統(tǒng)在說明書摘要公布了:本發(fā)明公開了一種xPos相對(duì)位置編碼的參數(shù)取值估計(jì)方法、多層次相對(duì)位置編碼方法及系統(tǒng),涉及深度學(xué)習(xí)技術(shù)領(lǐng)域,解決了Transformer模型在處理長(zhǎng)序列時(shí)魯棒性較弱且準(zhǔn)確性較低的技術(shù)問題,其技術(shù)方案要點(diǎn)在xPos相對(duì)位置編碼中引入了指數(shù)衰減因子,使用指數(shù)衰減對(duì)查詢和鍵向量的編碼方式進(jìn)行調(diào)節(jié),抑制高頻成分的振蕩,增強(qiáng)了模型對(duì)長(zhǎng)距離依賴的捕捉能力,進(jìn)一步提升模型在未見長(zhǎng)序列任務(wù)中的長(zhǎng)度外推能力。同時(shí)將xPos相對(duì)位置編碼用于文本序列的段內(nèi)編碼和段間編碼,實(shí)現(xiàn)雙層編碼,通過將段內(nèi)和段間編碼相結(jié)合,捕捉了文本序列中的層次結(jié)構(gòu)信息,能夠更有效地處理訓(xùn)練期間未見過的長(zhǎng)序列,提升模型的長(zhǎng)度外推能力。
本發(fā)明授權(quán)一種多層次相對(duì)位置編碼方法及系統(tǒng)在權(quán)利要求書中公布了:1.一種多層次相對(duì)位置編碼方法,其特征在于,該方法通過xPos相對(duì)位置編碼的參數(shù)取值估計(jì)方法得到的xPos相對(duì)位置編碼實(shí)現(xiàn),包括:將文本序列S劃分為一系列不重疊的模塊化段,即;其中,表示第n個(gè)段,N表示段的總數(shù),表示串聯(lián)操作,,和分別表示段的起始索引和結(jié)束索引;,表示第個(gè)詞元,表示文本序列的總長(zhǎng)度;通過xPos相對(duì)位置編碼對(duì)每個(gè)段的段內(nèi)位置進(jìn)行編碼;通過xPos相對(duì)位置編碼對(duì)各個(gè)段進(jìn)行段間編碼,完成多層次相對(duì)位置編碼;其中,xPos相對(duì)位置編碼的參數(shù)取值估計(jì)方法包括:步驟S1:當(dāng)xPos相對(duì)位置編碼中兩個(gè)詞元之間的索引距離為n時(shí),且兩個(gè)詞元間兼容性得分的注意力期望值序列為s[n],對(duì)xPos相對(duì)位置編碼的注意力分辨率Rs進(jìn)行定義,表示為: ;其中,j表示距離為j的兩個(gè)詞元間兼容性得分的索引;表示表示距離為j的兩個(gè)詞元間兼容性得分的指數(shù)變換;注意力分辨率Rs用于評(píng)估注意力對(duì)位置的識(shí)別能力;步驟S2:對(duì)xPos相對(duì)位置編碼的查詢編碼函數(shù)和鍵編碼函數(shù)進(jìn)行定義,分別表示為: ; ;其中,表示查詢編碼函數(shù);表示鍵編碼函數(shù);q表示查詢向量;k表示鍵向量;為實(shí)數(shù)衰減因子;頻率參數(shù);i表示虛數(shù)單位;d表示模型的維度;則查詢編碼函數(shù)和鍵編碼函數(shù)滿足: ;其中,表示位置為n+r的查詢編碼;表示位置為0的鍵編碼;表示位置為r的查詢編碼;表示偽內(nèi)積,n和r分別表示位置和相對(duì)偏移;步驟S3:根據(jù)實(shí)數(shù)衰減因子對(duì)相對(duì)位置的特性函數(shù)進(jìn)行定義,表示為: ;其中,,表示第i'個(gè)維度的衰減因子;表示第i'個(gè)維度的頻率參數(shù);步驟S4:對(duì)進(jìn)行定義,并結(jié)合注意力分辨率Rs、查詢編碼函數(shù)以及鍵編碼函數(shù)對(duì)的取值進(jìn)行估計(jì),完成xPos相對(duì)位置編碼的參數(shù)取值估計(jì);表示為: ;其中,表示超參數(shù)。
如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù),可聯(lián)系本專利的申請(qǐng)人或?qū)@麢?quán)人中科南京軟件技術(shù)研究院,其通訊地址為:211135 江蘇省南京市麒麟科創(chuàng)園創(chuàng)研路266號(hào)人工智能產(chǎn)業(yè)園4號(hào)樓11樓;或者聯(lián)系龍圖騰網(wǎng)官方客服,聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。
1、本報(bào)告根據(jù)公開、合法渠道獲得相關(guān)數(shù)據(jù)和信息,力求客觀、公正,但并不保證數(shù)據(jù)的最終完整性和準(zhǔn)確性。
2、報(bào)告中的分析和結(jié)論僅反映本公司于發(fā)布本報(bào)告當(dāng)日的職業(yè)理解,僅供參考使用,不能作為本公司承擔(dān)任何法律責(zé)任的依據(jù)或者憑證。
- 恭喜三星顯示有限公司金京勳獲國(guó)家專利權(quán)
- 恭喜三星電子株式會(huì)社成昌勳獲國(guó)家專利權(quán)
- 恭喜湖南中煙工業(yè)有限責(zé)任公司孫志偉獲國(guó)家專利權(quán)
- 恭喜中核龍?jiān)萍加邢薰局烀魃将@國(guó)家專利權(quán)
- 恭喜廈門漢印股份有限公司請(qǐng)求不公布姓名獲國(guó)家專利權(quán)
- 恭喜新思考電機(jī)有限公司矢野智義獲國(guó)家專利權(quán)
- 恭喜上海奔騰電工有限公司蘇錦軍獲國(guó)家專利權(quán)
- 恭喜聞泓森獲國(guó)家專利權(quán)
- 恭喜豪洛捷公司K·F·德弗雷塔斯獲國(guó)家專利權(quán)
- 恭喜三星電子株式會(huì)社李泰淵獲國(guó)家專利權(quán)


熱門推薦
- 恭喜深圳市凱中精密技術(shù)股份有限公司何升學(xué)獲國(guó)家專利權(quán)
- 恭喜東莞廣華汽車飾件科技有限公司莊吳釧獲國(guó)家專利權(quán)
- 恭喜普羅伊爾有限責(zé)任公司F·蘭達(dá)索獲國(guó)家專利權(quán)
- 恭喜三菱電機(jī)株式會(huì)社田中信秋獲國(guó)家專利權(quán)
- 恭喜南京墨行信息技術(shù)有限公司曾富理獲國(guó)家專利權(quán)
- 恭喜深圳市卓馭科技有限公司李然獲國(guó)家專利權(quán)
- 恭喜華為技術(shù)有限公司范巍巍獲國(guó)家專利權(quán)
- 恭喜株式會(huì)社NTT都科摩小原知也獲國(guó)家專利權(quán)
- 恭喜三星顯示有限公司韓相鉉獲國(guó)家專利權(quán)
- 恭喜北京航天愛銳科技有限責(zé)任公司趙偉獲國(guó)家專利權(quán)