買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜北京長河數智科技有限責任公司;長河信息股份有限公司申請的專利一種基于Transformer的摘要生成方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN118885608B 。

龍圖騰網通過國家知識產權局官網在2025-04-04發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202411018664.0，技術領域涉及：G06F16/34；該發明授權一種基于Transformer的摘要生成方法是由張煇;剌昊躍;師盼磊設計研發完成，并于2024-07-29向國家知識產權局提交的專利申請。

本一種基于Transformer的摘要生成方法在說明書摘要公布了：本申請公開了一種基于Transformer的摘要生成方法，涉及摘要生成技術領域，包括：獲取文本序列；建立語言模型獲取詞嵌入矩陣；將詞嵌入矩陣輸入位置編碼模型進行位置編碼，得到加入位置信息的詞嵌入矩陣；構建Transformer模型，生成摘要；Transformer模型包含編碼器和解碼器，編碼器通過多層注意力機制編碼輸入文本序列的語義信息；解碼器通過多層注意力機制生成摘要序列；解碼器包含自注意力層，在自注意力層中，通過全連接網絡獲得遮擋向量，將遮擋向量與解碼器內部的鍵值表示進行點積計算，以獲得調整后的注意力權重分布；在編碼器和解碼器之間建立殘差連接，將編碼器輸出的語義特征直接輸入到解碼器。針對現有技術中生成摘要精度低的問題，本申請提高摘要精度。

本發明授權一種基于Transformer的摘要生成方法在權利要求書中公布了：1.一種基于Transformer的摘要生成方法，包括：獲取待生成摘要的輸入文本序列；建立語言模型，對輸入的文本序列進行詞嵌入表示，得到詞嵌入矩陣；將詞嵌入矩陣輸入預訓練的位置編碼模型進行位置編碼，得到加入位置信息的詞嵌入矩陣；構建Transformer模型，將加入位置信息的詞嵌入矩陣作為輸入，利用Transformer模型對輸入文本序列進行編碼和解碼，生成輸入文本序列的摘要；在詞嵌入表示中加入位置編碼，包括：獲取詞嵌入矩陣中每個詞向量的位置信息，構建位置信息矩陣；其中，位置信息包含：詞向量在序列中的絕對位置pos，詞向量的維度索引i以及詞向量的總維度dmodel；對于詞嵌入矩陣中的每個詞向量，計算每個詞向量的位置編碼，得到位置編碼矩陣；將位置編碼矩陣與詞嵌入矩陣逐元素相加，得到加入位置編碼的詞嵌入矩陣；計算每個詞向量的位置編碼，包括：構建位置編碼模型，用于根據詞向量的位置信息生成對應的位置編碼；其中，位置編碼模型包含位置編碼層，位置編碼層采用前饋神經網絡結構，用于學習位置信息到位置編碼的映射函數，位置編碼層的輸入為得到的位置信息矩陣，輸出為對應的位置編碼矩陣；對于位置信息矩陣中的每個位置信息向量，利用位置編碼層計算位置映射函數： 其中，和為位置編碼層的學習權重矩陣，和表示位置編碼層的偏置向量，Gelu為高斯激活函數；和分別表示位置偏移量和縮放因子；位置編碼層包含門控單元，位置編碼層輸出的位置編碼經門控單元正則化處理，門控單元包含sigmoid激活的門控向量g，對位置編碼進行縮放處理，得到縮放處理后的位置映射函數： 其中，g為門控向量，取值范圍0至1；計算位置編碼： 。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人北京長河數智科技有限責任公司;長河信息股份有限公司，其通訊地址為：100071 北京市豐臺區汽車博物館西路8號院3號樓7層705；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。