国产精品天干天干在线播放,大尺度揉捏胸床戏视频,樱花草www日本在线观看,狠狠躁夜夜躁人人爽天天天天97

Document
拖動(dòng)滑塊完成拼圖
個(gè)人中心

預(yù)訂訂單
服務(wù)訂單
發(fā)布專利 發(fā)布成果 人才入駐 發(fā)布商標(biāo) 發(fā)布需求

在線咨詢

聯(lián)系我們

龍圖騰公眾號(hào)
首頁(yè) 專利交易 科技果 科技人才 科技服務(wù) 國(guó)際服務(wù) 商標(biāo)交易 會(huì)員權(quán)益 IP管家助手 需求市場(chǎng) 關(guān)于龍圖騰
 /  免費(fèi)注冊(cè)
到頂部 到底部
清空 搜索
  • 我要求購(gòu)
  • 我要出售
當(dāng)前位置 : 首頁(yè) > 專利喜報(bào) > 恭喜中科南京軟件技術(shù)研究院武斌獲國(guó)家專利權(quán)

恭喜中科南京軟件技術(shù)研究院武斌獲國(guó)家專利權(quán)

買專利賣專利找龍圖騰,真高效! 查專利查商標(biāo)用IPTOP,全免費(fèi)!專利年費(fèi)監(jiān)控用IP管家,真方便!

龍圖騰網(wǎng)恭喜中科南京軟件技術(shù)研究院申請(qǐng)的專利一種多層次相對(duì)位置編碼方法及系統(tǒng)獲國(guó)家發(fā)明授權(quán)專利權(quán),本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予,授權(quán)公告號(hào)為:CN119272810B 。

龍圖騰網(wǎng)通過國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-03-25發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉:該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為:202411766567.X,技術(shù)領(lǐng)域涉及:G06N3/0455;該發(fā)明授權(quán)一種多層次相對(duì)位置編碼方法及系統(tǒng)是由武斌;王少將;楊格兒設(shè)計(jì)研發(fā)完成,并于2024-12-04向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

一種多層次相對(duì)位置編碼方法及系統(tǒng)在說明書摘要公布了:本發(fā)明公開了一種xPos相對(duì)位置編碼的參數(shù)取值估計(jì)方法、多層次相對(duì)位置編碼方法及系統(tǒng),涉及深度學(xué)習(xí)技術(shù)領(lǐng)域,解決了Transformer模型在處理長(zhǎng)序列時(shí)魯棒性較弱且準(zhǔn)確性較低的技術(shù)問題,其技術(shù)方案要點(diǎn)在xPos相對(duì)位置編碼中引入了指數(shù)衰減因子,使用指數(shù)衰減對(duì)查詢和鍵向量的編碼方式進(jìn)行調(diào)節(jié),抑制高頻成分的振蕩,增強(qiáng)了模型對(duì)長(zhǎng)距離依賴的捕捉能力,進(jìn)一步提升模型在未見長(zhǎng)序列任務(wù)中的長(zhǎng)度外推能力。同時(shí)將xPos相對(duì)位置編碼用于文本序列的段內(nèi)編碼和段間編碼,實(shí)現(xiàn)雙層編碼,通過將段內(nèi)和段間編碼相結(jié)合,捕捉了文本序列中的層次結(jié)構(gòu)信息,能夠更有效地處理訓(xùn)練期間未見過的長(zhǎng)序列,提升模型的長(zhǎng)度外推能力。

本發(fā)明授權(quán)一種多層次相對(duì)位置編碼方法及系統(tǒng)在權(quán)利要求書中公布了:1.一種多層次相對(duì)位置編碼方法,其特征在于,該方法通過xPos相對(duì)位置編碼的參數(shù)取值估計(jì)方法得到的xPos相對(duì)位置編碼實(shí)現(xiàn),包括:將文本序列S劃分為一系列不重疊的模塊化段,即;其中,表示第n個(gè)段,N表示段的總數(shù),表示串聯(lián)操作,,和分別表示段的起始索引和結(jié)束索引;,表示第個(gè)詞元,表示文本序列的總長(zhǎng)度;通過xPos相對(duì)位置編碼對(duì)每個(gè)段的段內(nèi)位置進(jìn)行編碼;通過xPos相對(duì)位置編碼對(duì)各個(gè)段進(jìn)行段間編碼,完成多層次相對(duì)位置編碼;其中,xPos相對(duì)位置編碼的參數(shù)取值估計(jì)方法包括:步驟S1:當(dāng)xPos相對(duì)位置編碼中兩個(gè)詞元之間的索引距離為n時(shí),且兩個(gè)詞元間兼容性得分的注意力期望值序列為s[n],對(duì)xPos相對(duì)位置編碼的注意力分辨率Rs進(jìn)行定義,表示為: ;其中,j表示距離為j的兩個(gè)詞元間兼容性得分的索引;表示表示距離為j的兩個(gè)詞元間兼容性得分的指數(shù)變換;注意力分辨率Rs用于評(píng)估注意力對(duì)位置的識(shí)別能力;步驟S2:對(duì)xPos相對(duì)位置編碼的查詢編碼函數(shù)和鍵編碼函數(shù)進(jìn)行定義,分別表示為: ; ;其中,表示查詢編碼函數(shù);表示鍵編碼函數(shù);q表示查詢向量;k表示鍵向量;為實(shí)數(shù)衰減因子;頻率參數(shù);i表示虛數(shù)單位;d表示模型的維度;則查詢編碼函數(shù)和鍵編碼函數(shù)滿足: ;其中,表示位置為n+r的查詢編碼;表示位置為0的鍵編碼;表示位置為r的查詢編碼;表示偽內(nèi)積,n和r分別表示位置和相對(duì)偏移;步驟S3:根據(jù)實(shí)數(shù)衰減因子對(duì)相對(duì)位置的特性函數(shù)進(jìn)行定義,表示為: ;其中,,表示第i'個(gè)維度的衰減因子;表示第i'個(gè)維度的頻率參數(shù);步驟S4:對(duì)進(jìn)行定義,并結(jié)合注意力分辨率Rs、查詢編碼函數(shù)以及鍵編碼函數(shù)對(duì)的取值進(jìn)行估計(jì),完成xPos相對(duì)位置編碼的參數(shù)取值估計(jì);表示為: ;其中,表示超參數(shù)。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù),可聯(lián)系本專利的申請(qǐng)人或?qū)@麢?quán)人中科南京軟件技術(shù)研究院,其通訊地址為:211135 江蘇省南京市麒麟科創(chuàng)園創(chuàng)研路266號(hào)人工智能產(chǎn)業(yè)園4號(hào)樓11樓;或者聯(lián)系龍圖騰網(wǎng)官方客服,聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。

免責(zé)聲明
1、本報(bào)告根據(jù)公開、合法渠道獲得相關(guān)數(shù)據(jù)和信息,力求客觀、公正,但并不保證數(shù)據(jù)的最終完整性和準(zhǔn)確性。
2、報(bào)告中的分析和結(jié)論僅反映本公司于發(fā)布本報(bào)告當(dāng)日的職業(yè)理解,僅供參考使用,不能作為本公司承擔(dān)任何法律責(zé)任的依據(jù)或者憑證。
主站蜘蛛池模板: 贺州市| 东光县| 南雄市| 安吉县| 宽城| 会宁县| 大同市| 田林县| 渝中区| 怀柔区| 茂名市| 新昌县| 闽清县| 偃师市| 崇左市| 衡山县| 德保县| 霞浦县| 郯城县| 汉寿县| 双鸭山市| 鹤壁市| 准格尔旗| 永川市| 禹州市| 芮城县| 江孜县| 泰州市| 伊通| 嵩明县| 谢通门县| 汶上县| 特克斯县| 柞水县| 绵竹市| 济源市| 潮州市| 修武县| 兴隆县| 浪卡子县| 亳州市|