買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜齊魯工業大學(山東省科學院);山東省人工智能研究院申請的專利一種改進TinyLlama模型準確率的方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119204109B 。

龍圖騰網通過國家知識產權局官網在2025-05-09發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202411699214.2，技術領域涉及：G06N3/0455；該發明授權一種改進TinyLlama模型準確率的方法是由李志慧;苗繼浦;吳濘宇;賀勁;石明;蔡立林;喬一梁;陳文娜設計研發完成，并于2024-11-26向國家知識產權局提交的專利申請。

本一種改進TinyLlama模型準確率的方法在說明書摘要公布了：本發明涉及自然語言處理技術領域，尤其是提供了一種改進TinyLlama模型準確率的方法。該方法包括獲取對話數據集S，對數據集S進行數據預處理，得到預處理后的對話數據集I；構建改進的TinyLlama網絡結構，改進的TinyLlama網絡結構包括：輸入層，改進的Transformer編碼器，輸出層，將所述預處理后的對話數據集I中的第i條數Ii輸入到改進的TinyLlama網絡結構，得到輸出文本，該方法加強了模型在低算力的條件下，對長文本和上下文語義的理解能力，提升了模型回復的準確率。

本發明授權一種改進TinyLlama模型準確率的方法在權利要求書中公布了：1.一種改進TinyLlama模型準確率的方法，其特征在于，所述方法包括：步驟1、獲取對話數據集，表示對話數據集S中的第i條數據，，對數據集S進行數據預處理，得到預處理后的對話數據集；步驟2、構建改進的TinyLlama網絡結構，所述改進的TinyLlama網絡結構包括：輸入層，改進的Transformer編碼器，輸出層，將所述預處理后的對話數據集I中的第i條數輸入到改進的TinyLlama網絡結構，得到輸出文本；所述步驟2包括：步驟21、通過對話數據集S中的第i條數據輸入到輸入層，得到一個實數向量logger；其中輸入層包括四個階段，依次為：序列化，索引化，嵌入和位置編碼；步驟22、將實數向量logger經過編碼器得到隱藏狀態序列X；其中編碼器包括第一階段至第十階段，每個階段均包括改進的Attention模塊和Forword模塊，每個階段的模塊和參數完全一致，后一階段的輸入為前一階段的輸出；改進的Attention模塊包括連續的五部分，依次為：均方根歸一化函數，全連接層，改進的注意力機制，SoftMax激活函數和全連接層，Forword模塊包括兩個連續的部分，依次為：均方根歸一化函數和全連接層；步驟23、將隱藏序列X輸入到輸出層，用于生成下一個詞的概率分布；其中輸出層包括均方根歸一化函數、全連接層、SoftMax激活函數。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人齊魯工業大學(山東省科學院);山東省人工智能研究院，其通訊地址為：250353 山東省濟南市長清區西部新城大學科技園；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。