買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜波音公司;中國科學(xué)院自動(dòng)化研究所申請的專利神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯方法、模型及模型形成方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN111401081B 。

龍圖騰網(wǎng)通過國家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-07-01發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號(hào)為：201811534845.3，技術(shù)領(lǐng)域涉及：G06F40/58；該發(fā)明授權(quán)神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯方法、模型及模型形成方法是由張家俊;周龍;周玉;宗成慶;楊里設(shè)計(jì)研發(fā)完成，并于2018-12-14向國家知識(shí)產(chǎn)權(quán)局提交的專利申請。

本神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯方法、模型及模型形成方法在說明書摘要公布了：本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯方法、模型及模型形成方法。形成神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型的方法包括：形成編碼器，其包括第一多頭注意力模型；形成解碼器，其包括第二多頭注意力模型和未來信息模型，未來信息模型表示當(dāng)前預(yù)測單詞和已經(jīng)生成單詞的第一注意力隱層表示和當(dāng)前預(yù)測單詞和未來可能的單詞的第二注意力隱層表示的融合；通過編碼器和解碼器形成第一機(jī)器翻譯模型；以及對第一機(jī)器翻譯模型進(jìn)行對源語言序列從左至右和從右至左的解碼訓(xùn)練，以形成神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型，其中，第一多頭注意力模型和未來信息模型為第二多頭注意力模型提供輸入。本發(fā)明解決了在機(jī)器翻譯的過程中，在預(yù)測當(dāng)前單詞時(shí)，未來信息不能被充分利用的問題。

本發(fā)明授權(quán)神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯方法、模型及模型形成方法在權(quán)利要求書中公布了：1.一種形成神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型的方法，其特征在于，包括： 形成編碼器，所述編碼器包括第一多頭注意力模型； 形成解碼器，所述解碼器包括第二多頭注意力模型和未來信息模型，所述未來信息模型表示當(dāng)前預(yù)測單詞和已經(jīng)生成單詞的第一注意力隱層表示和當(dāng)前預(yù)測單詞和未來可能的單詞的第二注意力隱層表示的融合； 通過所述編碼器和所述解碼器形成第一機(jī)器翻譯模型；以及 對所述第一機(jī)器翻譯模型進(jìn)行對源語言序列從左至右和從右至左的解碼訓(xùn)練，以形成所述神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型， 其中，所述第一多頭注意力模型和所述未來信息模型為所述第二多頭注意力模型提供輸入， 其中，形成所述解碼器包括形成所述未來信息模型，形成所述未來信息模型包括： 利用點(diǎn)積注意力機(jī)制計(jì)算當(dāng)前預(yù)測單詞和已經(jīng)生成單詞的第一注意力隱層表示：其中，表示第一注意力隱層表示，表示當(dāng)前時(shí)刻的隱層狀態(tài)查詢值，表示歷史的隱層狀態(tài)鍵值，表示歷史的隱層狀態(tài)實(shí)值，Attention為點(diǎn)積注意力機(jī)制的數(shù)學(xué)函數(shù)表示； 利用點(diǎn)積注意力機(jī)制計(jì)算所述當(dāng)前預(yù)測單詞和未來可能的單詞的第二注意力隱層表示：其中，表示第二注意力隱層表示，表示未來的隱層狀態(tài)鍵值，表示未來的隱層狀態(tài)實(shí)值； 將所述第一注意力隱層表示和所述第二注意力隱層表示融合以形成融合注意力隱層表示； 利用所述融合注意力隱層表示形成點(diǎn)積注意力模型； 對所述點(diǎn)積注意力模型設(shè)置線性變換模型，以通過線性變換將所述點(diǎn)積注意力模型的輸入映射為多組預(yù)定維度的向量； 對所述點(diǎn)積注意力模型設(shè)置連接模型，以將所述向量經(jīng)由所述點(diǎn)積注意力模型處理后所得的向量進(jìn)行連接；以及 通過所述點(diǎn)積注意力模型、所述線性變換模型和所述連接模型形成所述未來信息模型。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人波音公司;中國科學(xué)院自動(dòng)化研究所，其通訊地址為：美國伊利諾斯州；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。