買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜中科南京軟件技術(shù)研究院申請(qǐng)的專利一種多層次相對(duì)位置編碼方法及系統(tǒng)獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN119272810B 。

龍圖騰網(wǎng)通過國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-03-25發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202411766567.X，技術(shù)領(lǐng)域涉及：G06N3/0455；該發(fā)明授權(quán)一種多層次相對(duì)位置編碼方法及系統(tǒng)是由武斌;王少將;楊格兒設(shè)計(jì)研發(fā)完成，并于2024-12-04向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種多層次相對(duì)位置編碼方法及系統(tǒng)在說明書摘要公布了：本發(fā)明公開了一種xPos相對(duì)位置編碼的參數(shù)取值估計(jì)方法、多層次相對(duì)位置編碼方法及系統(tǒng)，涉及深度學(xué)習(xí)技術(shù)領(lǐng)域，解決了Transformer模型在處理長(zhǎng)序列時(shí)魯棒性較弱且準(zhǔn)確性較低的技術(shù)問題，其技術(shù)方案要點(diǎn)在xPos相對(duì)位置編碼中引入了指數(shù)衰減因子，使用指數(shù)衰減對(duì)查詢和鍵向量的編碼方式進(jìn)行調(diào)節(jié)，抑制高頻成分的振蕩，增強(qiáng)了模型對(duì)長(zhǎng)距離依賴的捕捉能力，進(jìn)一步提升模型在未見長(zhǎng)序列任務(wù)中的長(zhǎng)度外推能力。同時(shí)將xPos相對(duì)位置編碼用于文本序列的段內(nèi)編碼和段間編碼，實(shí)現(xiàn)雙層編碼，通過將段內(nèi)和段間編碼相結(jié)合，捕捉了文本序列中的層次結(jié)構(gòu)信息，能夠更有效地處理訓(xùn)練期間未見過的長(zhǎng)序列，提升模型的長(zhǎng)度外推能力。

本發(fā)明授權(quán)一種多層次相對(duì)位置編碼方法及系統(tǒng)在權(quán)利要求書中公布了：1.一種多層次相對(duì)位置編碼方法，其特征在于，該方法通過xPos相對(duì)位置編碼的參數(shù)取值估計(jì)方法得到的xPos相對(duì)位置編碼實(shí)現(xiàn)，包括：將文本序列S劃分為一系列不重疊的模塊化段，即；其中，表示第n個(gè)段，N表示段的總數(shù)，表示串聯(lián)操作，，和分別表示段的起始索引和結(jié)束索引；，表示第個(gè)詞元，表示文本序列的總長(zhǎng)度；通過xPos相對(duì)位置編碼對(duì)每個(gè)段的段內(nèi)位置進(jìn)行編碼；通過xPos相對(duì)位置編碼對(duì)各個(gè)段進(jìn)行段間編碼，完成多層次相對(duì)位置編碼；其中，xPos相對(duì)位置編碼的參數(shù)取值估計(jì)方法包括：步驟S1：當(dāng)xPos相對(duì)位置編碼中兩個(gè)詞元之間的索引距離為n時(shí)，且兩個(gè)詞元間兼容性得分的注意力期望值序列為s[n]，對(duì)xPos相對(duì)位置編碼的注意力分辨率Rs進(jìn)行定義，表示為： ；其中，j表示距離為j的兩個(gè)詞元間兼容性得分的索引；表示表示距離為j的兩個(gè)詞元間兼容性得分的指數(shù)變換；注意力分辨率Rs用于評(píng)估注意力對(duì)位置的識(shí)別能力；步驟S2：對(duì)xPos相對(duì)位置編碼的查詢編碼函數(shù)和鍵編碼函數(shù)進(jìn)行定義，分別表示為： ； ；其中，表示查詢編碼函數(shù)；表示鍵編碼函數(shù)；q表示查詢向量；k表示鍵向量；為實(shí)數(shù)衰減因子；頻率參數(shù)；i表示虛數(shù)單位；d表示模型的維度；則查詢編碼函數(shù)和鍵編碼函數(shù)滿足： ；其中，表示位置為n+r的查詢編碼；表示位置為0的鍵編碼；表示位置為r的查詢編碼；表示偽內(nèi)積，n和r分別表示位置和相對(duì)偏移；步驟S3：根據(jù)實(shí)數(shù)衰減因子對(duì)相對(duì)位置的特性函數(shù)進(jìn)行定義，表示為： ；其中，，表示第i'個(gè)維度的衰減因子；表示第i'個(gè)維度的頻率參數(shù)；步驟S4：對(duì)進(jìn)行定義，并結(jié)合注意力分辨率Rs、查詢編碼函數(shù)以及鍵編碼函數(shù)對(duì)的取值進(jìn)行估計(jì)，完成xPos相對(duì)位置編碼的參數(shù)取值估計(jì)；表示為： ；其中，表示超參數(shù)。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人中科南京軟件技術(shù)研究院，其通訊地址為：211135 江蘇省南京市麒麟科創(chuàng)園創(chuàng)研路266號(hào)人工智能產(chǎn)業(yè)園4號(hào)樓11樓；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。